基于Scrapy的分布式网络爬虫的设计与实现.doc

本论文主要先研究 python 爬虫开发的技术细节，包括各种的类型网页数据抓取的方法，以及怎么友好的爬取目标网页的数据而不触发其反爬虫机制。然后研究分布式系统的设计和原理，以...

分类：计算机信息 - 字数：13905

基于Scrapy框架的高效分布式爬虫系统的设计与实现.doc

本文详细介绍了基于Scrapy框架的分布式爬虫系统采用的具体技术，Scrapy框架深入研究，还有系统的设计、开发的全过程。将在以下的几章中予以介绍：绪论。本章主要介绍了论文的研究...

分类：计算机信息 - 字数：19784

本页最多显示30条记录，更多相关论文请输入关键字查找。