• 欢迎关注我的微信公众号,每周更新最新内容,一起学习数据分析!点击

标签:爬虫

Python

天气信息爬虫 & Python阿里云短信平台的使用

天气信息爬虫 & Python阿里云短信平台的使用
家里老人比较关注天气变化,但是又不会使用智能手机随时上网查看天气信息,只能观看天气预报或者拨打天气热线查看。何不写个程序,每天自动给老人发送短信,告诉天气信息呢? Google 查询后,发现网上有很多已封装好的 API 接口,但试了试又不大满意,主要有以下两方面的问题: 地域范围太大,最低也是以县级市为单位预报天气 天气信息准确性不可知,数据来源未知,多久……继续阅读 »

大坚果 3年前 (2018-06-20) 7516浏览

Python

代理池的搭建

代理池的搭建
在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理 ip 爬取这个网页,很有可能 ip 会被禁止访问网页,所以基本上做爬虫的都躲不过去 ip 的问题。因此,我们借助某种方式来伪装 IP,让服务器无法识别,也就是代理的使用。 代理的使用方法 ……继续阅读 »

大坚果 3年前 (2018-05-29) 3389浏览

Linux

我的服务器用在哪儿啦?

我的服务器用在哪儿啦?
  我用的是阿里云服务器,前段时间搞活动买的,相对比较便宜,直接买了三年的。 点击 链接 有优惠券 系统安装的 64 位 CentOS 6.8 (Linux系统更加节省服务器资源),单核 2G 内存, 1M 带宽。 目前服务器用途主要有以下几点: 搭建博客,使用的 WordPress 主题及 MySQL 数据库 爬虫,Requests 库及 S……继续阅读 »

大坚果 3年前 (2018-05-19) 2470浏览