Python實(shí)現(xiàn)多線程HTTP下載器示例
本文將介紹使用Python編寫多線程HTTP下載器，并生成.exe可執(zhí)行文件。
環(huán)境：windows/Linux + Python2.7.x
單線程
在介紹多線程之前首先介紹單線程。編寫單線程的思路為：
1.解析url；
2.連接web服務(wù)器；
3.構(gòu)造http請求包；
4.下載文件。
接下來通過代碼進(jìn)行說明。
解析url
通過用戶輸入url進(jìn)行解析。如果解析的路徑為空，則賦值為'/'；如果端口號(hào)為空，則賦值為"80”；下載文件的文件名可根據(jù)用戶的意愿進(jìn)行更改（輸入'y'表示更改，輸入其它表示不需要更改）。
下面列出幾個(gè)解析函數(shù)：
#解析host和path
def analyHostAndPath(totalUrl):
protocol,s1 = urllib.splittype(totalUrl)
host, path = urllib.splithost(s1)
if path == '':
path = '/'
return host, path
#解析port
def analysisPort(host):
host, port = urllib.splitport(host)
if port is None:
return 80
return port
#解析filename
def analysisFilename(path):
filename = path.split('/')[-1]
if '.' not in filename:
return None
return filename
連接web服務(wù)器
使用socket模塊，根據(jù)解析url得到的host和port連接web服務(wù)器，代碼如下：
import socket from analysisUrl import port,host ip = socket.gethostbyname(host) s = socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect((ip, port)) print "success connected webServer！！"
構(gòu)造http請求包
根據(jù)解析url得到的path, host, port構(gòu)造一個(gè)HTTP請求包。
from analysisUrl import path, host, port packet = 'GET ' + path + ' HTTP/1.1\r\nHost: ' + host + '\r\n\r\n'
下載文件
根據(jù)構(gòu)造的http請求包，向服務(wù)器發(fā)送文件，抓取響應(yīng)報(bào)文頭部的"Content-Length"。
def getLength(self):
s.send(packet)
print "send success!"
buf = s.recv(1024)
print buf
p = re.compile(r'Content-Length: (\d*)')
length = int(p.findall(buf)[0])
return length, buf
下載文件并計(jì)算下載所用的時(shí)間。
def download(self):
file = open(self.filename,'wb')
length,buf = self.getLength()
packetIndex = buf.index('\r\n\r\n')
buf = buf[packetIndex+4:]
file.write(buf)
sum = len(buf)
while 1:
buf = s.recv(1024)
file.write(buf)
sum = sum + len(buf)
if sum >= length:
break
print "Success!!"
if __name__ == "__main__":
start = time.time()
down = downloader()
down.download()
end = time.time()
print "The time spent on this program is %f s"%(end - start)
多線程
抓取響應(yīng)報(bào)文頭部的"Content-Length"字段，結(jié)合線程個(gè)數(shù)，加鎖分段下載。與單線程的不同，這里將所有代碼整合為一個(gè)文件，代碼中使用更多的Python自帶模塊。
得到"Content-Length"：
def getLength(self):
opener = urllib2.build_opener()
req = opener.open(self.url)
meta = req.info()
length = int(meta.getheaders("Content-Length")[0])
return length
根據(jù)得到的Length，結(jié)合線程個(gè)數(shù)劃分范圍：
def get_range(self):
ranges = []
length = self.getLength()
offset = int(int(length) / self.threadNum)
for i in range(self.threadNum):
if i == (self.threadNum - 1):
ranges.append((i*offset,''))
else:
ranges.append((i*offset,(i+1)*offset))
return ranges
實(shí)現(xiàn)多線程下載，在向文件寫入內(nèi)容時(shí)，向線程加鎖，并使用with lock代替lock.acquire( )...lock.release( );使用file.seek( )設(shè)置文件偏移地址，保證寫入文件的準(zhǔn)確性。
def downloadThread(self,start,end):
req = urllib2.Request(self.url)
req.headers['Range'] = 'bytes=%s-%s' % (start, end)
f = urllib2.urlopen(req)
offset = start
buffer = 1024
while 1:
block = f.read(buffer)
if not block:
break
with lock:
self.file.seek(offset)
self.file.write(block)
offset = offset + len(block)
def download(self):
filename = self.getFilename()
self.file = open(filename, 'wb')
thread_list = []
n = 1
for ran in self.get_range():
start, end = ran
print 'starting:%d thread '% n
n += 1
thread = threading.Thread(target=self.downloadThread,args=(start,end))
thread.start()
thread_list.append(thread)
for i in thread_list:
i.join()
print 'Download %s Success!'%(self.file)
self.file.close()
運(yùn)行結(jié)果：
將(*.py)文件轉(zhuǎn)化為(*.exe)可執(zhí)行文件
當(dāng)寫好了一個(gè)工具，如何讓那些沒有安裝Python的人使用這個(gè)工具呢？這就需要將.py文件轉(zhuǎn)化為.exe文件。
這里用到Python的py2exe模塊，初次使用，所以對其進(jìn)行介紹：
py2exe是一個(gè)將Python腳本轉(zhuǎn)換成windows上可獨(dú)立執(zhí)行的可執(zhí)行文件（*.exe）的工具，這樣，就可以不用裝Python在windows上運(yùn)行這個(gè)可執(zhí)行程序。
接下來，在multiThreadDownload.py的同目錄下，創(chuàng)建mysetup.py文件，編寫：
from distutils.core import setup import py2exe setup(console=["multiThreadDownload.py"])
接著執(zhí)行命令：Python mysetup.py py2exe
生成dist文件夾，multiTjhreadDownload.exe文件位于其中，點(diǎn)擊運(yùn)行即可：
demo下載地址：HttpFileDownload_jb51.rar
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python中不同類之間調(diào)用方法的四種方式小結(jié)
類是一種面向?qū)ο蟮木幊谭妒?它允許我們將數(shù)據(jù)和功能封裝在一個(gè)實(shí)體中,本文主要介紹了Python中不同類之間調(diào)用方法的四種方式小結(jié),具有一定的參考價(jià)值,感興趣的可以了解一下2024-02-02
簡單分析Python中用fork()函數(shù)生成的子進(jìn)程
這篇文章主要介紹了Python中用fork()函數(shù)生成的子進(jìn)程,分析子進(jìn)程與父進(jìn)程的執(zhí)行順序,需要的朋友可以參考下2015-05-05
python 裝飾器帶參數(shù)和不帶參數(shù)步驟詳解
裝飾器是Python語言中一種特殊的語法,用于在不修改原函數(shù)代碼的情況下,為函數(shù)添加額外的功能或修改函數(shù)的行為,這篇文章主要介紹了python裝飾器帶參數(shù)和不帶參數(shù)的相關(guān)知識(shí),需要的朋友可以參考下2024-05-05
python執(zhí)行精確的小數(shù)計(jì)算方法
今天小編就為大家分享一篇python執(zhí)行精確的小數(shù)計(jì)算方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python異常處理與反射相關(guān)問題總結(jié)
今天給大家?guī)淼氖顷P(guān)于Python的相關(guān)知識(shí),文章圍繞著Python異常處理與反射展開,文中有非常詳細(xì)的介紹及代碼示例,需要的朋友可以參考下2021-06-06
Python.append()與Python.expand()用法詳解
今天小編就為大家分享一篇Python.append()與Python.expand()用法詳解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
閑來無事寫了個(gè)python快排序2009-11-11
在本篇文章里小編給大家分享的是關(guān)于Python pandas用法以及相關(guān)實(shí)例代碼，需要的朋友們可以學(xué)習(xí)下。2019-08-08
在本文里小編給大家整理了關(guān)于Python字典的相關(guān)知識(shí)點(diǎn)以及操作方式，有興趣的朋友們學(xué)習(xí)下。2019-03-03
用Python監(jiān)控你的朋友都在瀏覽哪些網(wǎng)站?
今天教各位小伙伴一個(gè)黑科技,用Python監(jiān)控你的朋友都在瀏覽哪些網(wǎng)站,文中有非常詳細(xì)的介紹,對正在學(xué)習(xí)python的小伙伴們很有幫助,需要的朋友可以參考下2021-05-05