crontab是Linux一个定时执行特定任务的程序,网上也有很多使用教程,在这里举一个例子,抛砖引玉。
为了运行.py,建议使用.sh脚本批量运行,并且在.sh内输出日志。
Ubuntu系统crontab设置请参考:
https://www.linuxidc.com/Linux/2013-05/84770.htm
建立.sh文件
在目录下新建xxx.sh文件,内容为:
1 | exec 1>>crawl_log |
第一行是输出标准日志到crawl_log
第二行是输出标准错误日志到crawl_log_err
第三与第四行是为了实行.sh而设置的环境
第四行及之后就可以执行.py啦
设置crontab
在/var/spool/cron/(你的用户名)文件中添加一行:
1 | */15 * * * * cd /home/xxxxx && sh crawl_item.sh |
代表每15分钟去往/home/xxxxxx目录执行一次crawl_item.sh
由于日志在.sh中已经输出,这边可以不特别保存日志了