Python實現(xiàn)多線程爬表情包詳解
課程亮點
系統(tǒng)分析目標(biāo)網(wǎng)頁
html標(biāo)簽數(shù)據(jù)解析方法
海量圖片數(shù)據(jù)一鍵保存
環(huán)境介紹
python 3.8
pycharm
模塊使用
requests >>> pip install requests
parsel >>> pip install parsel
time 時間模塊 記錄運行時間
流程
一. 分析我們想要的數(shù)據(jù)內(nèi)容 是可以從哪里獲取
表情包 >>> 圖片url地址 以及 圖片名字
對于開發(fā)者工具的使用 >>>
二. 代碼實現(xiàn)步驟
1.發(fā)送請求
確定一下發(fā)送請求 url地址
請求方式是什么 get請求方式 post請求方式
請求頭參數(shù) : 防盜鏈 cookie …
2.獲取數(shù)據(jù)
獲取服務(wù)器返回的數(shù)據(jù)內(nèi)容
response.text 獲取文本數(shù)據(jù)
response.json() 獲取json字典數(shù)據(jù)
response.content 獲取二進(jìn)制數(shù)據(jù) 保存圖片/音頻/視頻/特定格式文件內(nèi)容 都是獲取二進(jìn)制數(shù)據(jù)內(nèi)容
3.解析數(shù)據(jù)
提取我們想要的數(shù)據(jù)內(nèi)容
I. 可以直接解析處理
II. json字典數(shù)據(jù) 鍵值對取值
III. re正則表達(dá)式
IV. css選擇器
V. xpath
4.保存數(shù)據(jù)
文本
csv
數(shù)據(jù)庫
本地文件夾
導(dǎo)入模塊
import requests # 數(shù)據(jù)請求模塊 第三方模塊 pip install requests import parsel # 數(shù)據(jù)解析模塊 第三方模塊 pip install parsel import re # 正則表達(dá)式模塊 import time # 時間模塊 import concurrent.futures
單線程爬取10頁數(shù)據(jù)
1. 發(fā)送請求
start_time = time.time() for page in range(1, 11): url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}html' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36' } response = requests.get(url=url, headers=headers) # <Response [200]> response 對象 200狀態(tài)碼 表示請求成功
2. 獲取數(shù)據(jù), 獲取文本數(shù)據(jù) / 網(wǎng)頁源代碼
# 在開發(fā)者工具上面 元素面板 看到有相應(yīng)標(biāo)簽數(shù)據(jù), 但是我發(fā)送請求之后 沒有這樣的數(shù)據(jù)返回 # 我們要提取數(shù)據(jù), 要根據(jù)服務(wù)器返回數(shù)據(jù)內(nèi)容 # xpath 解析方法 parsel 解析模塊 parsel這個模塊里面就可以調(diào)用xpath解析方法 # print(response.text)
3. 解析數(shù)據(jù)
# 解析速度 bs4 解析速度會慢一些 如果你想要對于字符串?dāng)?shù)據(jù)內(nèi)容 直接取值 只能正則表達(dá)式 selector = parsel.Selector(response.text) # 把獲取下來html字符串?dāng)?shù)據(jù)內(nèi)容 轉(zhuǎn)成 selector 對象 title_list = selector.css('.ui.image.lazy::attr(title)').getall() img_list = selector.css('.ui.image.lazy::attr(data-original)').getall() # 把獲取下來的這兩個列表 提取里面元素 一一提取出來 # 提取列表元素 for循環(huán) 遍歷 for title, img_url in zip(title_list, img_list):
4. 保存數(shù)據(jù)
# split() 字符串分割的方法 根據(jù)列表索引位置取值 # img_name_1 = img_url[-3:] # 通過字符串?dāng)?shù)據(jù) 進(jìn)行切片 # 從左往右 索引位置 是從 0 開始 從右往左 是 -1開始 # print(title, img_url) title = re.sub(r'[\/:*?"<>|\n]', '_', title) # 名字太長 報錯 img_name = img_url.split('.')[-1] # 通過split() 字符串分割的方法 根據(jù)列表索引位置取值 img_content = requests.get(url=img_url).content # 獲取圖片的二進(jìn)制數(shù)據(jù)內(nèi)容 with open('img\\' + title + '.' + img_name, mode='wb') as f: f.write(img_content) print(title)
多線程爬取10頁數(shù)據(jù)
def get_response(html_url): """發(fā)送請求""" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/95.0.4638.54 Safari/537.36' } response = requests.get(url=html_url, headers=headers) return response
def get_img_info(html_url): """獲取圖片url地址 以及 圖片名字""" response = get_response(html_url) selector = parsel.Selector(response.text) # 把獲取下來html字符串?dāng)?shù)據(jù)內(nèi)容 轉(zhuǎn)成 selector 對象 title_list = selector.css('.ui.image.lazy::attr(title)').getall() img_list = selector.css('.ui.image.lazy::attr(data-original)').getall() zip_data = zip(title_list, img_list) return zip_data
def save(title, img_url): """保存數(shù)據(jù)""" title = re.sub(r'[\/:*?"<>|\n]', '_', title) # 名字太長 報錯 img_name = img_url.split('.')[-1] # 通過split() 字符串分割的方法 根據(jù)列表索引位置取值 img_content = requests.get(url=img_url).content # 獲取圖片的二進(jìn)制數(shù)據(jù)內(nèi)容 with open('img\\' + title + '.' + img_name, mode='wb') as f: f.write(img_content) print(title)
多進(jìn)程爬取10頁數(shù)據(jù)
def main(html_url): zip_data = get_img_info(html_url) for title, img_url in zip_data: save(title, img_url)
if __name__ == '__main__': start_time = time.time() exe = concurrent.futures.ThreadPoolExecutor(max_workers=10) for page in range(1, 11): # 1. 發(fā)送請求 url = f'https://fabiaoqing.com/biaoqing/lists/page/{page}html' exe.submit(main, url) exe.shutdown() end_time = time.time() use_time = int(end_time - start_time) print('程序耗時: ', use_time)
單線程爬取10頁數(shù)據(jù) 61秒時間
多線程爬取10頁數(shù)據(jù) 19秒時間 >>> 13
多進(jìn)程爬取10頁數(shù)據(jù) 21秒時間 >>> 18
到此這篇關(guān)于Python實現(xiàn)多線程爬表情包詳解的文章就介紹到這了,更多相關(guān)Python 多線程爬表情包內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python爬蟲學(xué)習(xí)筆記之Beautifulsoup模塊用法詳解
這篇文章主要介紹了python爬蟲學(xué)習(xí)筆記之Beautifulsoup模塊用法,結(jié)合實例形式詳細(xì)分析了python爬蟲Beautifulsoup模塊基本功能、原理、用法及操作注意事項,需要的朋友可以參考下2020-04-04Python機(jī)器學(xué)習(xí)算法之k均值聚類(k-means)
這篇文章主要為大家詳細(xì)介紹了Python機(jī)器學(xué)習(xí)算法之k均值聚類,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-02-02python opencv把一張圖片嵌入(疊加)到另一張圖片上的實現(xiàn)代碼
這篇文章主要介紹了python opencv把一張圖片嵌入(疊加)到另一張圖片上,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-06-06golang/python實現(xiàn)歸并排序?qū)嵗a
這篇文章主要給大家介紹了關(guān)于golang/python實現(xiàn)歸并排序的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08