Python實(shí)現(xiàn)的批量下載RFC文檔
RFC文檔有很多,有時(shí)候在沒有聯(lián)網(wǎng)的情況下也想翻閱,只能下載一份留存本地了。
看了看地址列表,大概是這個(gè)范圍:
http://www.networksorcery.com/enp/rfc/rfc1000.txt
...
http://www.networksorcery.com/enp/rfc/rfc6409.txt
哈哈,很適合批量下載,第一個(gè)想到的就是迅雷……
可用的時(shí)候發(fā)現(xiàn)它只支持三位數(shù)的擴(kuò)展(用的是迅雷7),我想要下的剛好是四位數(shù)……
郁悶之下萌生自己做一個(gè)的想法!
這東西很適合用python做,原理很簡(jiǎn)單,代碼也很少,先讀為快。
代碼如下:
#! /usr/bin/python
'''
File : getRFC.py
Author : Mike
E-Mail : Mike_Zhang@live.com
'''
import urllib,os,shutil,time
def downloadHtmlPage(url,tmpf = ''):
i = url.rfind('/')
fileName = url[i+1:]
if tmpf : fileName = tmpf
print url,"->",fileName
urllib.urlretrieve(url,fileName)
print 'Downloaded ',fileName
time.sleep(0.2)
return fileName
# http://www.networksorcery.com/enp/rfc/rfc1000.txt
# http://www.networksorcery.com/enp/rfc/rfc6409.txt
if __name__ == '__main__':
addr = 'http://www.networksorcery.com/enp/rfc'
dirPath = "RFC"
#startIndex = 1000
startIndex = int(raw_input('start : '))
#endIndex = 6409
endIndex = int(raw_input('end : '))
if startIndex > endIndex :
print 'Input error!'
if False == os.path.exists(dirPath):
os.makedirs(dirPath)
fileDownloadList = []
logFile = open("log.txt","w")
for i in range(startIndex,endIndex+1):
try:
t_url = '%s/rfc%d.txt' % (addr,i)
fileName = downloadHtmlPage(t_url)
oldName = './'+fileName
newName = './'+dirPath+'/'+fileName
if True == os.path.exists(oldName):
shutil.move(oldName,newName)
print 'Moved ',oldName,' to ',newName
except:
msgLog = 'get %s failed!' % (i)
print msgLog
logFile.write(msgLog+'\n')
continue
logFile.close()
除了RFC文檔,這個(gè)程序稍加修改也可以做其它事情:比如批量下載MP3、電子書等等。
好,就這些了,希望對(duì)你有幫助。
相關(guān)文章
Python打開指定網(wǎng)頁使用requests模塊爬蟲示例詳解
這篇文章主要介紹了Python打開指定網(wǎng)頁使用requests模塊爬蟲的示例,Python?requests是一個(gè)常用的HTTP請(qǐng)求庫,可以方便地向網(wǎng)站發(fā)送HTTP請(qǐng)求,并獲取響應(yīng)結(jié)果,requests模塊比urllib模塊更簡(jiǎn)潔,感興趣的朋友可以參考下2024-02-02Python優(yōu)先隊(duì)列實(shí)現(xiàn)方法示例
這篇文章主要介紹了Python優(yōu)先隊(duì)列實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了Python優(yōu)先隊(duì)列的具體定義與使用方法,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2017-09-09Python二進(jìn)制串轉(zhuǎn)換為通用字符串的方法
今天小編就為大家分享一篇Python二進(jìn)制串轉(zhuǎn)換為通用字符串的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07利用pyshp包給shapefile文件添加字段的實(shí)例
今天小編就為大家分享一篇利用pyshp包給shapefile文件添加字段的實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12Python+Turtle實(shí)現(xiàn)繪制可愛的小倉鼠
肉嘟嘟的小動(dòng)物很是可愛,這篇文章主要為大家介紹一下如何運(yùn)用Python中的turtle庫控制函數(shù)繪制小倉鼠,文中的實(shí)現(xiàn)方法講解詳細(xì),感興趣的可以嘗試一下2022-10-10Python使用pickle模塊存儲(chǔ)數(shù)據(jù)報(bào)錯(cuò)解決示例代碼
這篇文章主要介紹了Python使用pickle模塊存儲(chǔ)數(shù)據(jù)報(bào)錯(cuò)解決示例代碼,小編覺得還是挺不錯(cuò)的,具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01利用Hyperic調(diào)用Python實(shí)現(xiàn)進(jìn)程守護(hù)
這篇文章主要為大家詳細(xì)介紹了利用Hyperic調(diào)用Python實(shí)現(xiàn)進(jìn)程守護(hù),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-01-01Python多線程編程(三):threading.Thread類的重要函數(shù)和方法
這篇文章主要介紹了Python多線程編程(三):threading.Thread類的重要函數(shù)和方法,本文講解了線程名稱、join方法、setDaemon方法等內(nèi)容,需要的朋友可以參考下2015-04-04