基于hadoop的大数据平台在交通行业的应用研究.doc

摘要:最近十年来，交通拥堵日益严重。因为交通系统的落后，无法分析反馈的大量数据。早在2011年的时候，国家就开始有发展大数据的趋势，且以交通问题为起点。因此，研究Hadoop大数据改善交通拥堵的方法具有重要意义。

首先，本文以研究江苏省某运输企业一小时的车载终端获取的定位数据为例进行分析，在Hadoop上配置伪分布式单节点，先用MapReduce程序按照车辆的id划分数据，对数据进行初步处理。其次，我们用处理过的数据作为输入数据在Hadoop平台上计算行驶半径。路程是在半径的基础上进行计算的，就是将每个计算出来的两坐标点的距离依次累加。最后，用计算出的半径和路程数据存储到HBase，然后通过HBase读取数据，统计分布展现到图表中。研究基于Hadoop技术的大数据平台在交通行业的应用研究这个课题具有重要意义。可以有效的利用大量的数据资源和低成本的大数据技术，促进交通运输的发展，从而促进社会发展进步。

关键词  Hadoop；大数据；智能交通；交通拥堵

目录

摘要

Abstract

1 绪论-1

1.1 课题研究的背景及意义-1

1.1.1 研究背景-1

1.1.2 研究意义-1

1.2 国内外的研究现状-1

1.2.1 国内研究现状-1

1.2.2 国外研究现状-2

1.3 解决的主要问题-2

1.4 论文结构组织-2

1.5 论文所用工具-3

2 大数据在交通行业的研究-4

2.1 大数据的发展及遇到的挑战-4

2.2 大数据平台应用于交通行业-4

2.3 大数据解决交通问题的展望-4

3 基于Hadoop的交通行业平台和技术介绍-6

3.1 Hadoop起源和构成-6

3.1.1 Hadoop起源-6

3.1.2 Hadoop构成-6

3.2 Hadoop平台核心内容-6

3.2.1 MapReduce-6

3.2.2 HDFS-7

3.2.3 Hbase-8

3.3 Eclipse简介-9

3.4 JSP技术-9

4 基于Hadoop的交通行业应用研究实验设计思路-10

4.1 Hadoop大数据平台在交通行业研究实验思路-10

4.2 MapReduce分布式计算方法处理初步数据-10

4.2.1 数据的初步处理-10

4.2.2 计算行驶半径和路程-10

4.3 实验创新与不足-12

4.3.1 实验的创新-12

4.3.2 实验的不足-12

5 Hadoop平台实验具体操作流程-14

5.1 数据抽取上传-14

5.2 数据分析计算-15

5.2.1 Hadoop计算行驶半径-10

5.2.2 Hadoop计算行驶路程-10

5.3 数据结果展现-17

5.3.1 行驶最大半径的展现-10

5.3.2 行驶路程的展现-10

6具体分析-22

6.1 分析行驶最大半径图-22

6.2 分析行驶路程图-23

6.3 实际应用研究分析-24

结论-25

致谢-26

参考文献-27

附录-28