• 欢迎关注我的微信公众号,每周更新最新内容,一起学习数据分析!点击

天气信息爬虫 & Python阿里云短信平台的使用

天气信息爬虫 & Python阿里云短信平台的使用
家里老人比较关注天气变化,但是又不会使用智能手机随时上网查看天气信息,只能观看天气预报或者拨打天气热线查看。何不写个程序,每天自动给老人发送短信,告诉天气信息呢? Google 查询后,发现网上有很多已封装好的 API 接口,但试了试又不大满意,主要有以下两方面的问题: 地域范围太大,最低也是以县级市为单位预报天气 天气信息准确性不可知,数据来源未知,多久……继续阅读 »

大坚果 3年前 (2018-06-20) 7516浏览

代理池的搭建

代理池的搭建
在爬虫的过程中,我们经常会遇见很多网站采取了防爬取技术,或者说因为自己采集网站信息的强度和采集速度太大,给对方服务器带去了太多的压力,所以你一直用同一个代理 ip 爬取这个网页,很有可能 ip 会被禁止访问网页,所以基本上做爬虫的都躲不过去 ip 的问题。因此,我们借助某种方式来伪装 IP,让服务器无法识别,也就是代理的使用。 代理的使用方法 ……继续阅读 »

大坚果 3年前 (2018-05-29) 3389浏览