基于Hadoop的技术实现的离线电商分析平台.doc

摘要:随着云计算的大力发展与广泛的应用，大数据这个词汇在生活、工作中的出现也越来越频繁，如何利用好大数据平台也逐渐成为很多公司的工作重点之一。

众多大型公司以Hadoop生态圈为核心的大数据分析技术不断完善，这为公司繁多的大数据处理需求提供了很大的帮助。

本文是在Hadoop的集群介绍基础上，对数据收集、分析以及展示模块分别进行需求的分析，并进行文件的配置和代码得实现。根据对数据的收集分析，完成整个离线电商分析平台的设计工作。

在设计实现过程当中，主要是将用户日志数据存储在Hadoop的HDFS存储系统当中，并利用MapReduce系统框架对用户数据进行计算。在对系统设计进行需求分析之后，研究整个平台设计的具体实现方法，主要包括三大模块系统的代码实现：用户数据收集、用户信息数据的分析以及数据分析结果展示。当中又将对七个小模块的数据进行具体分析，分别为：用户基本信息分析模块、操作系统分析模块、地域信息分析模块、用户浏览深度分析模块、外链数据分析模块、订单分析模块和事件分析模块。最后提供API对数据结果进行展示，并且将整个设计进行整合，完成整个平台的实现。

关键词 Hadoop；大数据；离线电商数据；数据挖掘分析；HDFS

目录

摘要

Abstract

1 绪论-1

1.1 研究背景及意义-1

1.2 国内外研究现状-1

1.3 主要研究内容-2

1.4 论文组织结构-2

2 相关技术分析-3

2.1 Hadoop-3

2.1.1 HDFS分布式文件系统-3

2.1.2 MapReduce-5

2.2 HBase技术介绍-7

2.3 Hive技术介绍-8

2.4 Sqoop技术介绍-8

2.5 本章小结-9

3 离线电商分析平台的需求与设计-10

3.1 日志收集系统-10

3.1.1 JavaSDK需求分析-10

3.1.2 JsSDK需求分析-10

3.2 数据分析系统-11

3.3 数据展示系统-11

3.4 本章小结-11

4 离线电商分析平台的搭建与实现-12

4.1 系统开发环境及运行环境-12

4.1.1 创建用户-12

4.1.2 修改主机名及SSH免密码登录-12

4.1.3 JDK安装-13

4.1.3 Hadoop安装-13

4.2 离线电商的分析平台的功能模块的实现-14

4.2.1 日志收集系统模块-14

4.2.2 数据分析系统模块-16

4.2.3 数据展示系统模块-17

结论-19

致谢-20

参考文献-21

附录-22