记录常用数据库的基本操作,主要包括 MySQL, MongoDB,Redis。这些数据库作为爬虫、网站后台使用,包括数据库的操作、远程服务器的搭建及连接
Redis
Redis 确切说不算数据库,在计算机内存中快速处理数据。由于其有序的属性,我这用来搭建 Proxy 和 Cookie 池
Redis 的启动与重启命令
1 2 3 4 5 6 |
#启动 redis服务 redis-server #打开 redis redis-cli #重启redis服务 service redis restart |
Redis的远程连接,可实在本地连接远程服务器的Redis数据库。我这里用到的是,在本地调用 selenium 调用 chrome 获取 cookies,病存储到服务器的 redis 服务器上,建立 cookie 池用于爬虫。
Redis服务器端的打开方式如下,其中 redis.conf 文件的配置是关键
1 2 |
# redis配置文件的形式启动 /usr/bin/redis-server /etc/redis.conf |
主要修改 conf 文件如下几个地方:
bind 127.0.0.1
改为#bind 127.0.0.1
,即将只允许本地访问改为任意 IP 访问,当然也可以指定 IP,以空格分割- protected-mode 改为 yes
- daemonize 改为 yes,使 redis 在后台运行
- requirepass 的注释取消,在后面输入密码,提高安全性
但是,除此之外,还有两个地方需要修改:
- 我的服务器是阿里云服务器,还需要“安全配置”中打开 6379 的端口
- 关闭服务器防火墙
service iptables stop
或systemctl stop firewalld.service
1 2 |
# 本地计算机连接远程Redis服务器 redis-cli -h x.x.x.x -p 6397 -a passpord |
Redis的桌面可视化工具: Redis Desktop Manager,可方便地进行数据查询处理等操作,也可连接远程服务器