• 欢迎关注我的微信公众号,每周更新最新内容,一起学习数据分析!点击

我的2018年总结

个人随笔 大坚果 3年前 (2019-02-18) 849次浏览 0个评论 扫描二维码

2019 年转眼过去一个多月了,这里对 2018 年的工作、学习做一个总结!回顾一下自己 2018 年在专业技术方面学习了哪些内容

个人网站的搭建

本来就想学习下Linux,机缘巧合之下买了三年的阿里云服务器,一下子走进了Linux的世界而不可自拔,各种倒腾捣鼓。

有了人生第一个云服务,自然想搭建一个属于自己的网站。了解网站前端、后台、数据库等知识,学习了 Django Web 框架,终于初步的简略版网站搭建好了,能够实现简单的文章发表、查看、评论等功能。

简略的网站是搭建好了,但每次需要使用 IP 地址来登录,总是怪怪的。因此购买并注册了我的个人域名,网上信息填写、电话审核、表格邮寄、幕布拍照,历时 20 多天,我的域名终于是注册好了

网站是用 Django 框架,但前端的美化及内容的丰富需要自己来设计及开发,这对于做数据的我来说,既有难度又无意义,而我只是想搭建网站记录自己日常笔记。

为更加专注于网站内容本身,我使用了 WordPress 这一简单且满足我需求的网站搭建框架。漂亮的前端界面、完善的后台管理、丰富多彩的各类插件,免去了对网站 UI 的设计,成型的网站也很快就搭建起来了。经过不断的完善、修改,目前网站采用的 WordPress 5.0,正常运行,非常方便。

 

Linux 系统的学习

我购买的服务器安装的是 CentOS 6.8,也就是Linux系统,一切的操作都是在命令行上进行的。因此Linux的学习成为必修课

不是做运维,对Linux的使用主要是用于网站搭建、Python 脚本云端运行,因此没有对Linux做深入的研究。但这简单的学习,也让我认识到 Linux 的强大及方便之处:所有的重复性操作都可以写入到脚本中后续直接运行、软件安装配置非常简单、Google 可查询的资料非常多,系统稳定性高。即使非常低的计算机配置,在 Linux 系统上也可以很流畅的运行

目前在 windows 系统上使用的 Linux 工具。WDCP,在线的云主机管理系统,功能非常齐全;Putty,windows 上非常好用的命令行连接工具,可以连接到 linux 服务器;WinSCP,一般用来在本地和服务器端进行文件传输,也集成了 Putty 功能,稳定性较高

Linux 上值得推荐的特色功能:定时任务。Crontab 命令非常方便地配置脚本程序自动运行,简单不能更强大。下面是我写的关于 Linux 的笔记。

科学上网梯子的搭建

在网站搭建、Linux 系统学习开始后,在网上搜索资料必不可少。众所周知,专业知识搜索方面,Google 永远是第一选择。但由于国内网络的限制,无法直接访问 google,就需要借助各种科学上网工具。

最初我尝试在网上花 30 块钱购买了 1 个月的 VPN,使用了不到一个周,发现网速实在是太不稳定太慢,有时候连网页也打不开。而且,使用别人的 VPN,有潜在的安全风险。因此我决定购买国外的服务器,自己搭建梯子自己用。

有了 Linux 的操作基础,很快也就搭建晚上,费用和速度上都比买别人的 VPN 划算不少,目前已经使用近一年了,很少出现网速异常的情况。这里有我之前写的搭建方法,因为政策原因我设置了密码。若有需要请在页面右上角关注我的公众号留言,互相沟通学习。

Python 的使用

Python 是从换了工作之后就一直在学习的内容。慢慢对 Python 接触的多了,越发的感觉 Python 的强大。“人生苦短,我用 Python”就是最好的说明,下面我列举我用 Python 实现的一些功能(或许其他语言或工具也能实现,但我觉得用 Python 会更加快捷):

  • 爬虫,这应该是很多初学者最先关注 Python 的原因。相比较其他语言,Python 各种第三方库对爬虫的封装非常好,常用的 Requests、Scrapy 以及解析库 xpath/BeautifulSoup 等,使得爬虫变得很简单。目前我做的爬虫项目主要有企业工商信息、各类招聘网站、某笑话平台、房价、二手车市场等各种爬虫,目前这些爬虫部署在服务器上,24 小时不停歇地工作着。。。。。。
  •  
  • 各类 App 签到。现在经常有各种 App 签到送金币、大众点评抽奖得霸王餐等活动。通过 Python 脚本实现,每天自动签到、抽奖,美滋滋~~
  • 爬虫结合阿里云短信平台,为老爸写了个每天天气预报的提醒,这也算是最直接有用的脚本了。
  • 网站及爬虫数据库的备份。辛辛苦苦写了这么多文章,码了这么多字,万一哪天服务器被病毒攻破了,网站内容都没了,那可是很可惜的。使用 Python 写了数据库的备份脚本,每天自动备份并将内容上传到我的七牛云空间中,安全省事儿。
  • 微信公众号的自动回复。使用 Python 脚本,与第三方包相结合,实现自动回复别人的消息、自动讲笑话、接入图灵机器人等好玩的功能。
  • 工作上,Python 与 SQL Server/Excel 相结合,进行数据处理。Python 结合 pandas 库用作数据库的查询、处理、插入、更新等各种操作,并与 E-mail 系统结合实现自动邮件发送等,省去很多工作量
  • Python 大法机会无所不能,我还是用 MoviePy 用来剪辑视频、用 you-get 下载电影视频、调用各类公开的 API、公司服务器网站源码的上传下载、使用脚本模拟人工点击来操作浏览器等,让工作、生活中的重复性工作简化。

Tableau 的接触

首次知道 Tableau,就被那优美方便的可视化效果吸引。相比较 Python 在作图方面的自由丰富,Tableau 作图更加简单,点选的方式能让人更加关注图形本身而且代码的编写。

接触 Tableau 不就后,公司也购买了 Tableau,但还没设置好权限。目前使用 Tableau 做了山东客户地理分布图、结合爬虫发布潜在客户招聘信息等,后续功能不断完善

Summary

2018 年是我在技术方面进步最大的一年,很大程度上得益于阿里云服务器这个契机,很多东西落实起来,形成一种思维,愿意去做、肯去做,有方向去努力,有时不知不觉就到了半夜。

希望自己 2019 年能够继续,不断尝试新的知识、内容。坚持下去每周写一篇东西,既是笔记,又是对自己的督促


墨痕|畅所欲言的小笔记 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:我的2018年总结
喜欢 (1)

您必须 登录 才能发表评论!