摘要:随着社会经济的发展,城市化规模的扩大,居民机动车持有量爆炸式增长,汽车的普及,一方面方便了人们的出行,另一方面,也带来了许多道路交通管理问题。首先,人、车、路矛盾日益突出,交通拥堵,出行困难,通行效率低下。其次,交通数据分散,形式多元,利用不充分等问题,造成交通管理的碎片化。最后,交通数据信息的爆发式增长,海量数据的存储与处理面临巨大的挑战。而将大数据分析技术应用于城市短时交通流的预测则可以有效解决上述问题。
本文采用HDFS分布式文件系统对物联层采集到的城市交通流数据进行读写存储。由于HDFS支持流数据处理和超大规模文件处理,具有良好的容错能力,可有效解决城市交通流数据分散,多元,量大等问题。并且HDFS采用主从结构模型,可有效解决交通流数据利用不充分,交通管理碎片化的问题。由于传统的交通流预测方法大多考虑了交通流数据的非线性特点,却忽视了交通流数据的时间相关性,综合比较各类算法发现K-means聚类算法基于相似性度量,划分数据簇,可对交通流数据进行充分挖掘,但当数据量巨大时,无法运行这一聚类,此时结合Hadoop平台下的MapReduce并行编程模式,将聚类算法分配到不同交通路口的机器上运行,进行分布式处理,从而更好地实现城市短时交通流的预测。
关键词:交通流预测;HDFS分布式文件系统;K-means聚类算法
目录
摘要
ABSTRACT
第一章 绪论-1
1.1短时交通流预测的研究背景与意义-1
1.2短时交通流预测的发展状况与特点-2
1.2.1国外发展状况-2
1.2.2国内发展状况-2
1.2.3短时交通流预测的特点-3
1.3本文主要研究内容-3
1.4本章小结-4
第二章 短时交通流预测算法-5
2.1短时交通流预测算法分类-5
2.2三种短时交通流预测算法的比较-8
2.3本章小结-9
第三章 基于HDFS短时交通流数据的处理与分析-10
3.1交通流预测体系的架构-10
3.2 HDFS在短时交通流数据处理分析中的应用-11
3.2.1 HDFS性能介绍-11
3.2.2 HDFS的存储原理-11
3.2.3 HDFS在交通流数据处理分析中的架构-13
3.2.4 HDFS在交通流数据处理分析中的实现-13
第四章 基于MapReduce的K-means聚类算法在短时交通流预测中的应用-18
4.1 MapReduce相关介绍-18
4.1.1MapReduce性能介绍-18
4.1.2 MapReduce 模型的架构-19
4.2 基于MapReduce的K-means聚类算法在短时交通流预测中的应用-19
4.2.1 K-means聚类算法相关介绍-19
4.2.2 K-means算法的MapReduce并行化在短时交通流预测中的实现-20
4.3 实验及数据分析-21
4.3.1 串并行时间复杂度分析-21
4.3.2集群加速比实验分析-22
第五章 总结与展望-24
5.1论文工作情况总结-24
5.2对短时交通流预测的思考-24
5.3未来展望-25
结束语-26
致谢-27
参考文献-28