摘要：近年来，随着大数据时代的来临，在互联网这个行业中，最宝贵的资源之一就是数据，尤其在当今B2C时代，数据变得更加宝贵。海量数据蕴含着巨大的研究价值，挖掘数据在互联网行业中具有重要的意义。社交网络不断普及，社交平台覆盖面越来越广，传播速度加快，存在大量直接或间接数据，在各个垂直领域都存在对目标网站的数据进行实时抓取、分析并推送给目标用户的需求。
论文阐述了网站数据抓取（网络爬虫）的原理和组成结构，介绍了基于Python的Scrapy框架的各个组成部分和控制流程，然后以4个典型的高信息价值的网站：财经博客、本地论坛、房产网站、新浪微博作为数据来源进行数据抓取和分析，开发了专门针对这些网站的垂直数据抓取和分析的网络爬虫，将正则表达式匹配到的数据存储到MySql数据库并进行数据分析。本文分析采用正则表达式匹配算法/预定关键词进行用户特征分析，基于文本聚合进行智能分类，使用标签技术智能推送关联不同分类。最后结合最新的移动互联网技术，创新地使用了Android APP客户端技术将用户需要的信息实时推送和呈现到用户手机上。
本系统也可以较方便地拓展到其他各个行业的垂直网站，通过自动数据抓取和分析并推送到目标用户手机上，信息产生最大的价值，具有很好的应用前景。
关键词 Python爬虫；数据分析；用户特征分析；移动应用开发
目录
摘要
Abstract
1 绪论-1
1.1 研究背景及意义-1
1.1.1 研究的背景-1
1.1.2 选题的来源-1
1.1.3 研究的意义-2
1.2 国内外研究现状-2
1.2.1 国内的研究现状-2
1.2.2 国外的研究现状-2
1.3 研究的重点及技术路线-3
1.3.1 本文研究的重点-3
1.3.2 技术路线-3
2 开发工具和相关技术介绍-4
2.1 开发工具简介-4
2.2 Python简介-4
2.3 Scrapy爬虫简介-5
2.4 Django框架-6
2.5 Gson解析-7
2.6 Android开源图标库MPAndroidChart-8
3 环境搭建及安装-10
3.1 基于Python抓取的环境搭建及安装-10
3.2 Android环境搭建及安装-12
4 基于Python的媒体数据抓取-13
4.1 数据抓取（网络爬虫）技术-13
4.2 媒体数据抓取-14
4.3 媒体数据存储-16
4.4 本章小结-19
5 基于Python文本聚类的文本分析-20
5.1 概述-20
5.2 数据来源及分析目标统计-20
5.3 数据相关性分析原理-22
5.4 本章小结-22
6 博客数据智能分类和博主特征分析-23
6.1 概述-23
6.2 智能分类推送之财经博客-23
6.2.1 博主头像及其他属性相关规律-23
6.2.2 不同等级博主和回复率关系规律-23
6.2.3 股票分析之博主偏好-24
6.3 基于用户模型的博主行为特征分析-24
6.3.1 博客博主行为特征模型建立-24
6.3.2 用户行为特征分析实现-25
6.4 基于股票类型博主分析-25
6.4.1 基于关键词的股票流派分类库生成-26
6.4.2 博主博文流派倾向性统计-26
6.5 本章小结-26
7 基于Android客户端系统实现-28
7.1 基于第三方授权登录注册管理模块-28
7.1.1 模块功能-28
7.1.2 界面设计-28
7.1.3 授权实现-30
7.2 面向行为属性的博客博主分析模块-33
7.2.1 模块功能-33
7.2.2 界面设计-33
7.2.3 行为分析实现-34
7.3 基于行为特征的论坛智能分类模块-37
7.3.1 模块功能-37
7.3.2 界面设计-37
7.3.3 论坛智能分类实现-39
7.4 面向楼盘的房产分析模块-40
7.4.1 模块功能-40
7.4.2 界面设计-40
7.4.3 房产分析实现-42
7.5 基于微侦探模式的用户特征分析模块-43
7.5.1 模块功能-43
7.5.2 界面设计-43
7.5.3 用户特征分析实现-45
7.6 面向用户个性偏好的微乐推商品推荐模块-43
7.6.1 模块功能-43
7.6.2 界面设计-43
7.6.3 商品推荐-44
7.7 个人中心模块-45
7.7.1 模块功能-45
7.7.2 界面设计-45
7.7.3 个人中心-46
结论-47
致谢-48
参考文献-49
提示：本站支持手机（IOS，Android）下载论文，如果手机下载不知道存哪或打不开，可以用电脑下载，不会重复扣费
