欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

淺析python實現(xiàn)scrapy定時執(zhí)行爬蟲

 更新時間：2018年03月04日 11:03:39   投稿：mrr  
這篇文章主要介紹了淺析python實現(xiàn)scrapy定時執(zhí)行爬蟲的相關(guān)資料,需要的朋友可以參考下

項目需要程序能夠放在超算中心定時運行，于是針對scrapy寫了一個定時爬蟲的程序main.py ，直接放在scrapy的存儲代碼的目錄中就能設(shè)定時間定時多次執(zhí)行。

最簡單的方法：直接使用Timer類

import time
import os
while True:
  os.system("scrapy crawl News")
  time.sleep(86400) #每隔一天運行一次 24*60*60=86400s或者，使用標準庫的sched模塊
import sched
#初始化sched模塊的scheduler類
#第一個參數(shù)是一個可以返回時間戳的函數(shù)，第二個參數(shù)可以在定時未到達之前阻塞。
schedule = sched.scheduler ( time.time, time.sleep )
#被周期性調(diào)度觸發(fā)的函數(shù)
def func():
  os.system("scrapy crawl News")
def perform1(inc):
  schedule.enter(inc,0,perform1,(inc,))
  func()  # 需要周期執(zhí)行的函數(shù)
def mymain():
  schedule.enter(0,0,perform1,(86400,))
if __name__=="__main__":
  mymain()
  schedule.run() # 開始運行，直到計劃時間隊列變成空為止關(guān)于cmd的實現(xiàn)方法，本人在單次執(zhí)行爬蟲程序時使用的是 
cmdline.execute("scrapy crawl News".split())但可能因為cmdline是scrapy模塊中自帶的，所以定時執(zhí)行時只能執(zhí)行一次就退出了。

小伙伴有種方法是使用

import subprocess
subprocess.Popen("scrapy crawl News")

她的程序運行正?？梢远〞r多次執(zhí)行，而我的卻直接退出了，改為

from subprocess import Popen
subprocess.Popen("scrapy crawl News")

才正常，不知道為什么會這樣，如果有大神可以解釋原因還請指點。

反正

os.system、subprocess.Popen

都是pythoncmd的實現(xiàn)方法，可以根據(jù)需要選擇使用。

總結(jié)

以上所述是小編給大家介紹的python實現(xiàn)scrapy定時執(zhí)行爬蟲，希望對大家有所幫助，如果大家有任何疑問歡迎給我留言，小編會及時回復(fù)大家的！

相關(guān)文章

  • 簡單介紹利用TK在Python下進行GUI編程的教程

    簡單介紹利用TK在Python下進行GUI編程的教程

    這篇文章主要介紹了簡單介紹利用TK在Python下進行GUI編程的教程,本文來自于IBM官方開發(fā)者技術(shù)文檔,需要的朋友可以參考下
    2015-04-04
  • Python實現(xiàn)輕松合并doc為txt的示例代碼

    Python實現(xiàn)輕松合并doc為txt的示例代碼

    這篇文章主要為大家詳細介紹了如何利用Python編程語言和wxPython模塊,打開指定文件夾中的DOC文檔,并將它們的內(nèi)容合并成一個便捷的TXT文檔,需要的可以參考下
    2024-03-03
  • python3.6之xlwt如何設(shè)置單元格對齊方式

    python3.6之xlwt如何設(shè)置單元格對齊方式

    這篇文章主要介紹了python3.6之xlwt如何設(shè)置單元格對齊方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
    2023-06-06
  • Python pytest.main()運行測試用例

    Python pytest.main()運行測試用例

    這篇文章主要介紹了Python pytest.main()運行測試用例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值，需要的朋友們下面隨著小編來一起學(xué)習吧
    2022-12-12
  • Python利用Flask-Mail實現(xiàn)發(fā)送郵件詳解

    Python利用Flask-Mail實現(xiàn)發(fā)送郵件詳解

    Flask?的擴展包?Flask?-?Mail?通過包裝了?Python?內(nèi)置的smtplib包，可以用在?Flask?程序中發(fā)送郵件。本文將利用這特性實現(xiàn)郵件發(fā)送功能，感興趣的可以了解一下
    2022-08-08
  • np.dot()函數(shù)的用法詳解

    np.dot()函數(shù)的用法詳解

    這篇文章主要介紹了np.dot()函數(shù)的用法詳解，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值，需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧
    2020-01-01
  • python實現(xiàn)靜態(tài)服務(wù)器

    python實現(xiàn)靜態(tài)服務(wù)器

    這篇文章主要為大家詳細介紹了python實現(xiàn)靜態(tài)服務(wù)器，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2019-09-09
  • 用Python解數(shù)獨的方法示例

    用Python解數(shù)獨的方法示例

    這篇文章主要介紹了用Python解數(shù)獨的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習或者工作具有一定的參考學(xué)習價值，需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧
    2019-10-10
  • Python文件打開讀取寫入方法實用案例

    Python文件打開讀取寫入方法實用案例

    我們在工作中經(jīng)常需要用python對文本文件進行內(nèi)容的讀取和寫入,下面這篇文章主要給大家介紹了關(guān)于Python文件打開讀取寫入方法的相關(guān)資料,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下
    2023-05-05
  • python 常見字符串與函數(shù)的用法詳解

    python 常見字符串與函數(shù)的用法詳解

    這篇文章主要介紹了python 常見字符串與函數(shù)的用法,本文通過實例代碼給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
    2018-11-11

最新評論