Python while true實現爬蟲定時任務
更新時間：2020年06月08日 11:33:42 作者：戰(zhàn)俘巡航
這篇文章主要介紹了Python爬蟲定時任務簡單實現,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
記得以前的windows 任務定時是可以的正常使用的，今天試了下，發(fā)現不能正常使用了，任務計劃總是掛起。
接下來記錄下python 爬蟲定時任務的幾種解決方法。
今天是第一篇，后面會陸續(xù)更新。
首先最容易的是while true死循環(huán)掛起，上代碼
import osimport timeimport sysfrom datetime import datetime, timedelta
def One_Plan():
# 設置啟動周期
Second_update_time = 24 * 60 * 60
# 當前時間
now_Time = datetime.now()
# 設置 任務啟動時間
plan_Time = now_Time.replace(hour=9, minute=0, second=0, microsecond=0)
# 設置差值，-1 day, 21:48:53.246576，類似于這樣
# time.sleep()需要傳入int，所以下面使用.total_seconds()
# 主要用來計算差值，返回int，具體功能可以自行查閱相關資料
delta = plan_Time - now_Time
first_plan_Time = delta.total_seconds() % Second_update_time
print("距離第一次執(zhí)行需要睡眠%d秒" % first_plan_Time)
return first_plan_Time
# while Ture代碼塊，掛起程序，睡眠時間結束后調用函數名進行執(zhí)行
while True:
s1 = One_Plan()
time.sleep(s1)
# 下面這里是自己定義的函數，想跑代碼的可以換成hellow world函數或者注釋掉這行測試下
exe_file(D_list)
print("正在執(zhí)行首次更新程序")
個人感覺使用這種方式進行定時計劃的啟動如果為單個程序，并且一天執(zhí)行一次的話沒什么問題，如果要考慮到一天執(zhí)行多個任務并且一天需要執(zhí)行多次，短板一下就凸顯出來了，
在工作的情況中還需要考慮到很多因素，比如爬蟲程序需要在晚上12點和早上6點，9點，下午3點執(zhí)行四次，并且需要同時執(zhí)行4個爬蟲，還需要考慮到網絡是否穩(wěn)定，如果程序掛掉該怎么處理等等因素
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
通過本文的介紹,相信你已經對PyQt5中的QPushButton控件有了深入的了解,從基礎介紹到常用屬性和方法,再到應用場景和樣式定制,本文為你提供了全面的指南,感興趣的朋友跟隨小編一起看看吧2024-08-08
Python Request爬取seo.chinaz.com百度權重網站的查詢結果過程解析
這篇文章主要介紹了Request爬取網站（seo.chinaz.com）百度權重的查詢結果過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了在Python的Django框架中使用通用視圖的方法,同時提到了相關的安全問題，需要的朋友可以參考下2015-07-07
@符號用做函數的修飾符,可以在模塊或者類的定義層內對函數進行修飾,下面這篇文章主要給大家介紹了關于Python中@符號是什么意思的相關資料,需要的朋友可以參考下2021-09-09
這篇文章主要介紹了python使用正則表達式分析網頁中的圖片并進行替換的方法,涉及Python使用正則表達式的技巧,具有一定參考借鑒價值,需要的朋友可以參考下2015-03-03
這篇文章主要介紹了python yield和Generator函數用法詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了基于Python制作一個戀愛對話小程序，文章詳細介紹了小程序的實現過程，感興趣的小伙伴可以跟隨小編一起學習學習2022-01-01
這篇文章主要介紹了Pytorch高階OP操作where，gather原理,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
win8下python3.4安裝和環(huán)境配置圖文教程
這篇文章主要為大家詳細介紹了win8下python3.4安裝和環(huán)境配置圖文教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-07-07
Visdom 是一個專門用于 PyTorch 的交互式可視化工具,可以對實時數據進行豐富的可視化,幫助我們實時監(jiān)控在遠程服務器上進行的科學實驗,這篇文章主要給大家介紹了關于Pytorch可視化之Visdom使用的相關資料,需要的朋友可以參考下2021-08-08