HADOOP下并行遗传算法实现及其性能测试.zip

摘要:遗传算法越来越被应用于处理大规模数据问题，但是传统的基于MPI的遗传算法表现的并不是太好，MapReduce是谷歌用来处理大规模数据而开发的一种强大而高容错的算法模型。在这篇论文中，我们通过使用MapReduce模式来重新实现遗传算法。我们通过MapReduce的开源实现hadoop，将传统的遗传算法利用MapReduce，部署在其Hdfs上。我们测试了少于150种的变异问题，相信通过更大的集群我们能够处理更大规模的数据。

关键词 hadoop；hdfs；mapreduce；遗传算法

目录

摘要

Abstract

1 绪论-3

1.1项目研究的背景-3

1.1.1 hadoop产生背景以及发展状况-3

1.1.2 遗传算法研究背景-4

1.2项目研究的意义-4

2云计算技术-6

2.1 Linux相关操作基础-6

2.1.1 Linux操作系统的基础概念-6

2.1.2 Linux命令-6

2.2云计算的概念与发展状况-7

2.2.1云计算的概念-7

2.2.2云计算的发展-7

2.3谷歌云计算-8

2.3.1 Google云计算技术架构-8

2.3.2  Google云计算的关键技术-9

2.3.3  google云计算的平台-----Google App Engine-10

2.4 Hadoop：Google云计算的开源实现-12

2.4.1 Hadoop简介-12

2.4.2  HDFS-14

2.4.3 MapReduce-20

3 遗传算法-22

3.1基本概念-22

3.2遗传算法定义-22

3.3遗传算法特点-23

3.4遗传算法的应用-23

3.4.1函数优化-23

3.4.2组合优化-24

3.5遗传运算-24

3.5.1遗传运算算法描述-24

3.5.2运算过程-24

4 hadoop集群搭建-28

4.1 linux下集群搭建-28

4.1.1安装相关软件-28

4.1.2安装步骤-29

4.2windows下集群搭建-36

4.2.1安装相关软件-36

4.2.2安装步骤-37

4.2.3注意事项-43

5 hadoop的遗传实现-44

5.1简单函数的遗传实现-44

5.1.1 MapReduce程序设计过程-44

5.1.2 运行环境-45

5.1.3  简单函数的hadoop寻优-45

5.1.3  复杂函数的hadoop寻优-48

结论-51

致谢-52

参考文献-53