基于网络爬虫搜索引擎设计与实现.doc

摘要:今天网络传输的信息量是次方级增长，信息的传播速度更是不断突破。Internet方便了我们的生活方式，随着时代进步，用户对于准确、快速地获取所需信息有更高的要求，互联网搜索引擎为解决此类问题而诞生。

对于用户日常上网搜集资料和企业记录用户足迹而言，使用到搜索引擎的过程是双向、是双赢的。高效的搜索引擎可以为企业推广自身口碑，同时分析用户历史，采用大数据技术进行分析，进一步优化引擎性能。检索的体验也是当前的重点研究方向，比如系统流畅性，输出的准确性、界面的友好性。本文重点阐述了实现网络爬虫所用技术及其特点，子系统之间相互关系，以及完整的引擎实现过程，重点设计并实现了一个可复用的、可扩展的索引建立与管理子系统和一个灵活、简洁的用户接口。

关键词：搜索引擎；爬虫；检索

目录

摘要

ABSTRACT

1.绪论-1

1.1项目背景-1

1.2国内外发展现状-1

2.开发平台和相关技术-2

 2.1系统开发平台-2

 2.2系统开发技术-2

 2.2.1 Catch-2

 2.2.2 Search-2

 2.2.3 Refrash-2

3.系统分析与设计-5

3.1系统需求分析-5

3.2模拟成员关系-5

3.2.1 系统Field模型-8

3.2.2 阶段模型-9

3.3系统详细设计-10

3.3.1 封装和提取-10

3.3.2 界面设计-14

4.系统的实现-15

4.1搜索首页-15

4.2控制中心-18

4.3用户接口子系统-21

结论-23

致谢-24

参考文献-25