欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實現(xiàn)的批量下載RFC文檔

 更新時間:2015年03月10日 11:17:52   投稿:junjie  
這篇文章主要介紹了Python實現(xiàn)的批量下載RFC文檔,本文直接給出實現(xiàn)代碼,需要的朋友可以參考下

RFC文檔有很多,有時候在沒有聯(lián)網的情況下也想翻閱,只能下載一份留存本地了。
看了看地址列表,大概是這個范圍:
http://www.networksorcery.com/enp/rfc/rfc1000.txt
...
http://www.networksorcery.com/enp/rfc/rfc6409.txt

哈哈,很適合批量下載,第一個想到的就是迅雷……
可用的時候發(fā)現(xiàn)它只支持三位數(shù)的擴展(用的是迅雷7),我想要下的剛好是四位數(shù)……
郁悶之下萌生自己做一個的想法!
這東西很適合用python做,原理很簡單,代碼也很少,先讀為快。
代碼如下:

復制代碼 代碼如下:

#! /usr/bin/python
'''
  File      : getRFC.py
  Author    : Mike
  E-Mail    : Mike_Zhang@live.com
'''
import urllib,os,shutil,time

def downloadHtmlPage(url,tmpf = ''):
    i = url.rfind('/')
    fileName = url[i+1:]
    if tmpf : fileName = tmpf
    print url,"->",fileName
    urllib.urlretrieve(url,fileName)
    print 'Downloaded ',fileName   
    time.sleep(0.2)
    return fileName
   
# http://www.networksorcery.com/enp/rfc/rfc1000.txt
# http://www.networksorcery.com/enp/rfc/rfc6409.txt
if __name__ == '__main__':
    addr = 'http://www.networksorcery.com/enp/rfc'   
    dirPath = "RFC"
    #startIndex = 1000
    startIndex = int(raw_input('start : '))
    #endIndex = 6409
    endIndex = int(raw_input('end : '))
    if startIndex > endIndex :
        print 'Input error!'       
    if False == os.path.exists(dirPath):
        os.makedirs(dirPath)   
    fileDownloadList = []
    logFile = open("log.txt","w")
    for i in range(startIndex,endIndex+1):
        try:           
            t_url = '%s/rfc%d.txt' % (addr,i)
            fileName = downloadHtmlPage(t_url)
            oldName = './'+fileName
            newName = './'+dirPath+'/'+fileName
            if True == os.path.exists(oldName):
                shutil.move(oldName,newName)
                print 'Moved ',oldName,' to ',newName
        except:
            msgLog = 'get %s failed!' % (i)
            print msgLog
            logFile.write(msgLog+'\n')
            continue
    logFile.close()

除了RFC文檔,這個程序稍加修改也可以做其它事情:比如批量下載MP3、電子書等等。

好,就這些了,希望對你有幫助。

相關文章

  • Python打開指定網頁使用requests模塊爬蟲示例詳解

    Python打開指定網頁使用requests模塊爬蟲示例詳解

    這篇文章主要介紹了Python打開指定網頁使用requests模塊爬蟲的示例,Python?requests是一個常用的HTTP請求庫,可以方便地向網站發(fā)送HTTP請求,并獲取響應結果,requests模塊比urllib模塊更簡潔,感興趣的朋友可以參考下
    2024-02-02
  • Python優(yōu)先隊列實現(xiàn)方法示例

    Python優(yōu)先隊列實現(xiàn)方法示例

    這篇文章主要介紹了Python優(yōu)先隊列實現(xiàn)方法,結合實例形式分析了Python優(yōu)先隊列的具體定義與使用方法,具有一定參考借鑒價值,需要的朋友可以參考下
    2017-09-09
  • Python二進制串轉換為通用字符串的方法

    Python二進制串轉換為通用字符串的方法

    今天小編就為大家分享一篇Python二進制串轉換為通用字符串的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • 利用pyshp包給shapefile文件添加字段的實例

    利用pyshp包給shapefile文件添加字段的實例

    今天小編就為大家分享一篇利用pyshp包給shapefile文件添加字段的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • Python+Turtle實現(xiàn)繪制可愛的小倉鼠

    Python+Turtle實現(xiàn)繪制可愛的小倉鼠

    肉嘟嘟的小動物很是可愛,這篇文章主要為大家介紹一下如何運用Python中的turtle庫控制函數(shù)繪制小倉鼠,文中的實現(xiàn)方法講解詳細,感興趣的可以嘗試一下
    2022-10-10
  • Python使用pickle模塊存儲數(shù)據報錯解決示例代碼

    Python使用pickle模塊存儲數(shù)據報錯解決示例代碼

    這篇文章主要介紹了Python使用pickle模塊存儲數(shù)據報錯解決示例代碼,小編覺得還是挺不錯的,具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • 利用Hyperic調用Python實現(xiàn)進程守護

    利用Hyperic調用Python實現(xiàn)進程守護

    這篇文章主要為大家詳細介紹了利用Hyperic調用Python實現(xiàn)進程守護,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-01-01
  • Python多線程編程(三):threading.Thread類的重要函數(shù)和方法

    Python多線程編程(三):threading.Thread類的重要函數(shù)和方法

    這篇文章主要介紹了Python多線程編程(三):threading.Thread類的重要函數(shù)和方法,本文講解了線程名稱、join方法、setDaemon方法等內容,需要的朋友可以參考下
    2015-04-04
  • Python單元測試unittest的具體使用示例

    Python單元測試unittest的具體使用示例

    本篇文章主要介紹了Python單元測試unittest,詳細的介紹了unittest的概念和簡單的使用示例,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧
    2018-12-12
  • Python制作摩斯密碼翻譯器

    Python制作摩斯密碼翻譯器

    摩斯密碼是一種將文本信息作為一系列通斷的音調、燈光或咔嗒聲傳輸?shù)姆椒?,本文將介紹如何通過Python制作摩斯密碼翻譯器,感興趣的童鞋可以關注一下
    2021-11-11

最新評論