Python爬蟲(chóng)之線程池的使用
更新時(shí)間：2021年05月11日 15:46:44 作者：世界的隱喻
這篇文章主要介紹了Python爬蟲(chóng)之線程池的使用,文中有非常詳細(xì)的的代碼示例，對(duì)正在學(xué)習(xí)python爬蟲(chóng)的小伙伴們很有幫助喲。需要的朋友可以參考下
一、前言
學(xué)到現(xiàn)在，我們可以說(shuō)已經(jīng)學(xué)習(xí)了爬蟲(chóng)的基礎(chǔ)知識(shí)，如果沒(méi)有那些奇奇怪怪的反爬蟲(chóng)機(jī)制，基本上只要有時(shí)間分析，一般的數(shù)據(jù)都是可以爬取的，那么到了這個(gè)時(shí)候我們需要考慮的就是爬取的效率了，關(guān)于提高爬蟲(chóng)效率，也就是實(shí)現(xiàn)異步爬蟲(chóng)，我們可以考慮以下兩種方式：一是線程池的使用（也就是實(shí)現(xiàn)單進(jìn)程下的多線程），一是協(xié)程的使用（如果沒(méi)有記錯(cuò)，我所使用的協(xié)程模塊是從python3.4以后引入的，我寫(xiě)博客時(shí)使用的python版本是3.9）。
今天我們先來(lái)講講線程池。
二、同步代碼演示
我們先用普通的同步的形式寫(xiě)一段代碼
import time
def func(url):
print("正在下載：", url)
time.sleep(2)
print("下載完成：", url)
if __name__ == '__main__':
start = time.time() # 開(kāi)始時(shí)間
url_list = [
"a", "b", "c"
]
for url in url_list:
func(url)
end = time.time() # 結(jié)束時(shí)間
print(end - start)
對(duì)于代碼運(yùn)行的結(jié)果我們心里都有數(shù)，但還是讓我們來(lái)看一下吧
不出所料。運(yùn)行時(shí)間果然是六秒
三、異步，線程池代碼
那么如果我們使用線程池運(yùn)行上述代碼又會(huì)怎樣呢？
import time
from multiprocessing import Pool
def func(url):
print("正在下載：", url)
time.sleep(2)
print("下載完成：", url)
if __name__ == '__main__':
start = time.time() # 開(kāi)始時(shí)間
url_list = [
"a", "b", "c"
]
pool = Pool(len(url_list)) # 實(shí)例化一個(gè)線程池對(duì)象，并且設(shè)定線程池的上限數(shù)量為列表長(zhǎng)度。不設(shè)置上限也可以。
pool.map(func, url_list)
end = time.time() # 結(jié)束時(shí)間
print(end - start)
下面就是見(jiàn)證奇跡的時(shí)候了，讓我們運(yùn)行程序
我們發(fā)現(xiàn)這次我們的運(yùn)行時(shí)間只用2～3秒。其實(shí)我們可以將線程池簡(jiǎn)單的理解為將多個(gè)任務(wù)同時(shí)進(jìn)行。
注意：
1.我使用的是 pycharm，如果使用的是 VS 或者說(shuō)是 python 自帶的 idle，在運(yùn)行時(shí)我們只能看到最后時(shí)間的輸出。
2.我們輸出結(jié)果可能并不是按 abc 的順序輸出的。
四、同步爬蟲(chóng)爬取圖片
因?yàn)槲覀兊闹攸c(diǎn)是線程池的爬取效率提高，我們就簡(jiǎn)單的爬取一頁(yè)的圖片。
import requests
import time
import os
from lxml import etree
def save_photo(url, title):
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 發(fā)送請(qǐng)求
photo = requests.get(url=url, headers=header).content
# 創(chuàng)建路徑，避免重復(fù)下載
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg"):
with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
print(title, "開(kāi)始下載?。?！")
fp.write(photo)
print(title, "下載完成?。?！")
if __name__ == '__main__':
start = time.time()
# 創(chuàng)建文件夾
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片"):
os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\同步爬蟲(chóng)爬取4K美女圖片")
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 指定url
url = "https://pic.netbian.com/4kmeinv/"
# 發(fā)送請(qǐng)求，獲取源碼
page = requests.get(url = url, headers = header).text
# xpath 解析，獲取圖片的下載地址的列表
tree = etree.HTML(page)
url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
# 通過(guò)下載地址獲取高清圖片的地址和圖片名稱(chēng)
for href in url_list:
new_url = "https://pic.netbian.com" + href
# 再一次發(fā)送請(qǐng)求
page = requests.get(url = new_url, headers = header).text
# 再一次 xpath 解析
new_tree = etree.HTML(page)
src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
# 編譯文字
title = title.encode("iso-8859-1").decode("gbk")
# 下載，保存
save_photo(src, title)
end = time.time()
print(end - start)
讓我們看看同步爬蟲(chóng)需要多長(zhǎng)時(shí)間
然后再讓我們看看使用線程池的異步爬蟲(chóng)爬取這些圖片需要多久
五、使用線程池的異步爬蟲(chóng)爬取4K美女圖片
import requests
import time
import os
from lxml import etree
from multiprocessing import Pool
def save_photo(src_title):
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 發(fā)送請(qǐng)求
url = src_title[0]
title = src_title[1]
photo = requests.get(url=url, headers=header).content
# 創(chuàng)建路徑，避免重復(fù)下載
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg"):
with open("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片\\" + title + ".jpg", "wb") as fp:
print(title, "開(kāi)始下載?。。?)
fp.write(photo)
print(title, "下載完成?。。?)
if __name__ == '__main__':
start = time.time()
# 創(chuàng)建文件夾
if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片"):
os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\高性能異步爬蟲(chóng)\\線程池\\異步爬蟲(chóng)爬取4K美女圖片")
# UA偽裝
header = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"
}
# 指定url
url = "https://pic.netbian.com/4kmeinv/"
# 發(fā)送請(qǐng)求，獲取源碼
page = requests.get(url = url, headers = header).text
# xpath 解析，獲取圖片的下載地址的列表
tree = etree.HTML(page)
url_list = tree.xpath('//*[@id="main"]/div[3]/ul/li/a/@href')
# 存儲(chǔ)最后的網(wǎng)址和標(biāo)題的列表
src_list = []
title_list = []
# 通過(guò)下載地址獲取高清圖片的地址和圖片名稱(chēng)
for href in url_list:
new_url = "https://pic.netbian.com" + href
# 再一次發(fā)送請(qǐng)求
page = requests.get(url = new_url, headers = header).text
# 再一次 xpath 解析
new_tree = etree.HTML(page)
src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
src_list.append(src)
title = new_tree.xpath('//*[@id="img"]/img/@title')[0].split(" ")[0]
# 編譯文字
title = title.encode("iso-8859-1").decode("gbk")
title_list.append(title)
# 下載，保存。使用線程池
pool = Pool()
src_title = zip(src_list, title_list)
pool.map(save_photo, list(src_title))
end = time.time()
print(end - start)
讓我們來(lái)看看運(yùn)行的結(jié)果
只用了 17 秒，可不要小瞧這幾秒，如果數(shù)據(jù)太大，這些差距后來(lái)就會(huì)更大了。
注意
不過(guò)我們必須要明白 線程池 是有上限的，這就是說(shuō)數(shù)據(jù)太大，線程池的效率也會(huì)降低，所以這就要用到協(xié)程模塊了。
到此這篇關(guān)于Python爬蟲(chóng)之線程池的使用的文章就介紹到這了,更多相關(guān)Python線程池的使用內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
VsCode終端激活anconda環(huán)境問(wèn)題解決
本文主要介紹了VsCode終端激活anconda環(huán)境問(wèn)題解決,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-01-01
保留小數(shù)位是我們經(jīng)常會(huì)碰到的問(wèn)題,尤其是刷題過(guò)程中,下面這篇文章主要給大家介紹了關(guān)于python保留兩位小數(shù)的3種方法,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-12-12
關(guān)于tf.nn.dynamic_rnn返回值詳解
今天小編就為大家分享一篇關(guān)于tf.nn.dynamic_rnn返回值詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01
詳解Python的循環(huán)結(jié)構(gòu)知識(shí)點(diǎn)
在本篇文章里小編給大家分享了關(guān)于Python循環(huán)結(jié)構(gòu)的相關(guān)知識(shí)點(diǎn)總結(jié)內(nèi)容，需要的朋友們跟著學(xué)習(xí)下吧。2019-05-05
就在前段時(shí)間，在大學(xué)睡我上鋪的兄弟，在兄嘚群里討論，說(shuō)：他發(fā)現(xiàn)女朋友這幾天只要下班就坐在電腦前，不是工作原因。而且只要他靠近一點(diǎn)就會(huì)立即退出頁(yè)面，所以他一直很懷疑，在群里問(wèn)我們這一個(gè)個(gè)單身狗。然后就出現(xiàn)下面這一段對(duì)話2021-10-10
在本篇文章當(dāng)中將主要給大家介紹?python?當(dāng)中的多繼承和mro，通過(guò)介紹在多繼承當(dāng)中存在的問(wèn)題就能夠理解在cpython當(dāng)中引入c3算法的原因了，從而能夠幫助大家更好的了理解mro,需要的朋友可以參考下2023-05-05
Java實(shí)現(xiàn)的執(zhí)行python腳本工具類(lèi)示例【使用jython.jar】
這篇文章主要介紹了Java實(shí)現(xiàn)的執(zhí)行python腳本工具類(lèi),結(jié)合實(shí)例形式分析了java使用jython.jar執(zhí)行Python腳本的具體操作技巧,需要的朋友可以參考下2018-03-03
Python獲取CPU、內(nèi)存使用率以及網(wǎng)絡(luò)使用狀態(tài)代碼
這篇文章主要介紹了Python獲取CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)使用狀態(tài)的相關(guān)代碼，對(duì)此有需要的朋友一起測(cè)試下。2018-02-02
Python實(shí)現(xiàn)約瑟夫環(huán)問(wèn)題的方法
這篇文章主要介紹了Python實(shí)現(xiàn)約瑟夫環(huán)問(wèn)題的方法,詳細(xì)分析了約瑟夫環(huán)問(wèn)題的描述、原理與解決方法,需要的朋友可以參考下2016-05-05
odoo?為可編輯列表視圖字段搜索添加查詢(xún)過(guò)濾條件的詳細(xì)過(guò)程
Odoo 是基于 Python 寫(xiě)的一系列開(kāi)源商業(yè)應(yīng)用程序套裝，前身是 OpenERP，這篇文章主要介紹了odoo?為可編輯列表視圖字段搜索添加查詢(xún)過(guò)濾條件,需要的朋友可以參考下2023-02-02