欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法

 更新時間:2015年11月04日 15:22:07   作者:intergret  
這篇文章主要介紹了Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法,涉及Python時間函數(shù)及正則匹配的相關(guān)操作技巧,具有一定參考借鑒價值,需要的朋友可以參考下

本文實例講述了Python實現(xiàn)周期性抓取網(wǎng)頁內(nèi)容的方法。分享給大家供大家參考,具體如下:

1.使用sched模塊可以周期性地執(zhí)行指定函數(shù)

2.在周期性執(zhí)行指定函數(shù)中抓取指定網(wǎng)頁,并解析出想要的網(wǎng)頁內(nèi)容,代碼中是六維論壇的在線人數(shù)

論壇在線人數(shù)統(tǒng)計代碼:

#coding=utf-8
import time,sched,os,urllib2,re,string
#初始化sched模塊的scheduler類
#第一個參數(shù)是一個可以返回時間戳的函數(shù),第二個參數(shù)可以在定時未到達之前阻塞。
s = sched.scheduler(time.time,time.sleep)
#被周期性調(diào)度觸發(fā)的函數(shù)
def event_func():
  req = urllib2.Request('http://bt.neu6.edu.cn/')
  response = urllib2.urlopen(req)
  rawdata = response.read()
  response.close()
  usernump = re.compile(r'總計 <em>.*?</em> 人在線')
  usernummatch = usernump.findall(rawdata)
  if usernummatch:
    currentnum=usernummatch[0]
    currentnum=currentnum[string.index(currentnum,'>')+1:string.rindex(currentnum,'<')]
    print "Current Time:",time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time())),'User num:',currentnum
    # 保存結(jié)果,供圖表工具amcharts使用
    result=open('liuvUserNUm','a')
    result.write('{year: new Date('+time.strftime('%Y,%m,%d,%H,%M',time.localtime(time.time()))+'),value:'+currentnum+'},\n')
    result.close()
#enter四個參數(shù)分別為:間隔事件、優(yōu)先級(用于同時間到達的兩個事件同時執(zhí)行時定序)、被調(diào)用觸發(fā)的函數(shù),給他的參數(shù)(注意:一定要以tuple給如,如果只有一個參數(shù)就(xx,))
def perform(inc):
  s.enter(inc,0,perform,(inc,))
  event_func()
def mymain(inc=900):
  s.enter(0,0,perform,(inc,))
  s.run()
if __name__ == "__main__":
  mymain()

希望本文所述對大家Python程序設(shè)計有所幫助。

相關(guān)文章

  • Django零基礎(chǔ)入門之常用過濾器詳解

    Django零基礎(chǔ)入門之常用過濾器詳解

    這篇文章主要介紹了Django零基礎(chǔ)入門之常用過濾器的使用,本文給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-09-09
  • Python Tkinter圖形工具使用方法及實例解析

    Python Tkinter圖形工具使用方法及實例解析

    這篇文章主要介紹了Python Tkinter圖形工具使用方法及實例解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
    2020-06-06
  • python 開發(fā)的三種運行模式詳細介紹

    python 開發(fā)的三種運行模式詳細介紹

    這篇文章主要介紹了python 開發(fā)的三種運行模式詳細介紹的相關(guān)資料,需要的朋友可以參考下
    2017-01-01
  • 一起來看看python的裝飾器代碼

    一起來看看python的裝飾器代碼

    這篇文章主要為大家詳細介紹了python裝飾器代碼,文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2022-03-03
  • python 使用openpyxl讀取excel數(shù)據(jù)

    python 使用openpyxl讀取excel數(shù)據(jù)

    這篇文章主要介紹了python 使用openpyxl讀取excel數(shù)據(jù)的方法,幫助大家更好的理解和學習使用python,感興趣的朋友可以了解下
    2021-02-02
  • 淺析python打包工具distutils、setuptools

    淺析python打包工具distutils、setuptools

    python包在開發(fā)中十分常見,一般的使用套路是所有的功能做一個python模塊包,打包模塊,然后發(fā)布,安裝使用。這篇文章給大家介紹了python打包工具distutils、setuptools的相關(guān)知識,感興趣的朋友一起看看吧
    2018-04-04
  • Python中map,reduce,filter和sorted函數(shù)的使用方法

    Python中map,reduce,filter和sorted函數(shù)的使用方法

    這篇文章主要介紹了Python中map,reduce,filter和sorted函數(shù)的使用方法,是Python入門學習中的基礎(chǔ)知識,需要的朋友可以參考下
    2015-08-08
  • python自帶tkinter庫實現(xiàn)棋盤覆蓋圖形界面

    python自帶tkinter庫實現(xiàn)棋盤覆蓋圖形界面

    這篇文章主要為大家詳細介紹了python自帶tkinter庫實現(xiàn)棋盤覆蓋圖形界面,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-07-07
  • Python中字典列表中刪除重復(fù)項

    Python中字典列表中刪除重復(fù)項

    本文主要介紹了Python中字典列表中刪除重復(fù)項,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2023-04-04
  • Python?Celery定時任務(wù)詳細講解

    Python?Celery定時任務(wù)詳細講解

    這篇文章主要介紹了Python?Celery定時任務(wù)詳細講解,文章圍繞主題展開詳細的內(nèi)容介紹,具有一定的參考價值,需要的朋友可以參考一下
    2022-08-08

最新評論