内容摘要:在科技高速发展的今天,我们已经迈入了所谓的大数据时代。我们身边充斥着越来越多的信息。你的每一次出行,每一次购物,每一次网上消费甚至你从出生到现在所经历的一切都以信息的形式记录在文件、云盘和网络中。信息时代,最重要的就是信息,信息就是资源。如何更加有效的利用这些信息就成为了我们学习研究的难点。数据信息可视化就是在这种情况下产生的。我们可以通过信息可视化这样一门技术来提高数据的展示效果,让我们得以更加全面的观察数据,提取我们需要的内容。Python和Matlab可以帮助我们实现这样的功能。我们可以对数据进行分析,得出我们想要的结论。在我们进行数据分析之前,我们需要收集整理数据。网络爬虫可以具有针对性的抓取满足需求的数据。Python网络爬虫是我们进行数据信息可视化的第一步。数据信息可视化对我们分析数据,发现规律,总结经验以及预测未来提供了可靠的保障。
本文主要概述了两部分的研究,分别是数据获取、数据分析。首先介绍用Python语言编写网络爬虫,重点在网络爬虫的原理和结构,之后详细叙述其功能。再解释说明对抓取到的信息进行分析以及可视化,并作图帮助预测某城市未来某一天的天气温度。
关键词:数据信息 MATLAB Python 网络爬虫 可视化
目次
摘要
Abstract
1.-引言-1
2.-数据获取-2
2.1.-准备工作-2
2.2.-确定目标-2
2.3.-分析目标-2
2.3.1.-查看网页内容-2
2.3.2.-分析网页源代码-2
2.4.-编写爬虫-2
3.-数据分析-5
3.1.-模型表示-5
3.2.-代价函数-6
3.3.-梯度下降-6
3.4.-梯度下降的线性回归-7
3.5.-重要代码解释-8
3.6.-算法实现结果-8
4.-总结-11
参考文献-12
致谢-13