基于Python的网络爬虫的设计与实现.doc

摘要:当代万维网和互联网技术发展迅猛，有时候在浏览某些网页、相册或者某些图片网站时，发现很多图片都很喜欢想要下载到本地，但是数量较多时操作会过于繁琐。此爬虫软件是为了使用户能够便捷的获取并下载某些网站的图片，它的最终目的是能够实现对大多数网站进行成功的获取并下载。网络爬虫是一个能够对网页实现自动提取的程序，在搜索引擎中，从万维网上它能为其下载网页，故是组成搜索引擎的重要部分。本软件由Python语言进行开发，并采用已有的比较成熟的Scrapy架构进行图片相关的URL分析处理以及下载。经过测试与修改一段时间后，已经基本实现了并可应用到对个别网站的爬取，使本软件的可运用的范围达到更大的扩展。

关键词 ：爬虫；万维网；Python；Scrapy架构

目录

摘要

Abstract

1 绪论-1

1.1 选题的目的和意义-1

1.2 国内外文献综述-1

1.3 论文研究内容-2

2 系统设计说明-3

2.1 系统设计的背景和意义-3

2.2 系统设计的目标-3

2.3 设计原则-3

2.3.1 可靠性原则-3

2.3.2 效率性原则-3

2.3.3 实用性原则-3

3 系统分析-4

3.1 网络爬虫工作原理-4

3.2 可行性分析-5

3.2.1 可行性研究的前提-5

3.2.2 技术可行性-5

3.2.3 可行性操作-5

3.2.4 社会可行性-6

3.2.5 经济可行性-6

3.3 软件运行和开发环境-6

4  开发技术及工具-7

4.1 开发技术介绍-7

4.1.1 Python语言特点-7

4.1.2 Scrapy架构技术-7

4.2 开发工具介绍-8

5 系统设计-9

5.1 爬虫体系结构-9

5.2 爬虫的概要设计-10

6 详细设计与实现-11

6.1 爬虫模块化-11

6.2 爬虫具体流程设计-11

6.2.1 起始URL的爬取-11

6.2.2 封装URL成应答包（Response）-11

6.2.3 爬虫解析应答包-12

6.2.4 解析出项目（Item），交给管道处理-12

6.2.5 返回需要爬取的URL到调度器-12

7 爬虫爬取结果-13

7.1 百度贴吧-13

7.2 豆瓣相册-14

结   论-15

参 考 文 献-16

致    谢-17