python 多線程爬取壁紙網(wǎng)站的示例
更新時(shí)間：2021年02月20日 15:15:47 作者：Martina_oh
這篇文章主要介紹了python 多線程爬取壁紙網(wǎng)站的示例，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
基本開(kāi)發(fā)環(huán)境
· Python 3.6
· Pycharm
需要導(dǎo)入的庫(kù)
目標(biāo)網(wǎng)頁(yè)分析
網(wǎng)站是靜態(tài)網(wǎng)站，沒(méi)有加密，可以直接爬取
整體思路：
1、先在列表頁(yè)面獲取每張壁紙的詳情頁(yè)地址
2、在壁紙?jiān)斍轫?yè)面獲取壁紙真實(shí)高清url地址
3、保存地址
代碼實(shí)現(xiàn)
模擬瀏覽器請(qǐng)請(qǐng)求網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)數(shù)據(jù)
這里只選擇爬取前10頁(yè)的數(shù)據(jù)
代碼如下
import threading
import parsel
import requests
def get_html(html_url):
'''
獲取網(wǎng)頁(yè)源代碼
:param html_url: 網(wǎng)頁(yè)url
:return:
'''
response = requests.get(url=html_url, headers=headers)
return response
def get_par(html_data):
'''
把 response.text 轉(zhuǎn)換成 selector 對(duì)象 解析提取數(shù)據(jù)
:param html_data: response.text
:return: selector 對(duì)象
'''
selector = parsel.Selector(html_data)
return selector
def download(img_url, title):
'''
保存數(shù)據(jù)
:param img_url: 圖片地址
:param title: 圖片標(biāo)題
:return:
'''
content = get_html(img_url).content
path = '壁紙\\' + title + '.jpg'
with open(path, mode='wb') as f:
f.write(content)
print('正在保存', title)
def main(url):
'''
主函數(shù)
:param url: 列表頁(yè)面 url
:return:
'''
html_data = get_html(url).text
selector = get_par(html_data)
lis = selector.css('.wb_listbox div dl dd a::attr(href)').getall()
for li in lis:
img_data = get_html(li).text
img_selector = get_par(img_data)
img_url = img_selector.css('.wb_showpic_main img::attr(src)').get()
title = img_selector.css('.wb_pictitle::text').get().strip()
download(img_url, title)
end_time = time.time() - s_time
print(end_time)
if __name__ == '__main__':
for page in range(1, 11):
url = 'http://www.deskbizhi.com/min/list-{}.html'.format(page)
main_thread = threading.Thread(target=main, args=(url,))
main_thread.start()
以上就是python 多線程爬取壁紙網(wǎng)站的示例的詳細(xì)內(nèi)容，更多關(guān)于python 爬取壁紙網(wǎng)站的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章介紹了python解析.pyd文件的詳細(xì)代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)。對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考2021-12-12
Python中線程的MQ消息隊(duì)列實(shí)現(xiàn)以及消息隊(duì)列的優(yōu)點(diǎn)解析
消息隊(duì)列(MQ,Message Queue)在消息數(shù)據(jù)傳輸中的保存作用為數(shù)據(jù)通信提供了保障和實(shí)時(shí)處理上的便利,這里我們就來(lái)看一下Python中線程的MQ消息隊(duì)列實(shí)現(xiàn)以及消息隊(duì)列的優(yōu)點(diǎn)解析2016-06-06
LyScript實(shí)現(xiàn)Hook隱藏調(diào)試器的方法詳解
LyScript?插件集成的內(nèi)置API函數(shù)可靈活的實(shí)現(xiàn)繞過(guò)各類反調(diào)試保護(hù)機(jī)制。本文將運(yùn)用LyScript實(shí)現(xiàn)繞過(guò)大多數(shù)通用調(diào)試機(jī)制，實(shí)現(xiàn)隱藏調(diào)試器的目的，需要的可以參考一下2022-09-09
基于Python __dict__與dir()的區(qū)別詳解
下面小編就為大家?guī)?lái)一篇基于Python __dict__與dir()的區(qū)別詳解。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-10-10
教你學(xué)會(huì)使用Python正則表達(dá)式
正則表達(dá)式是一個(gè)特殊的字符序列，它能幫助你方便的檢查一個(gè)字符串是否與某種模式匹配。 Python 自1.5版本起增加了re 模塊，它提供 Perl 風(fēng)格的正則表達(dá)式模式。re 模塊使 Python 語(yǔ)言擁有全部的正則表達(dá)式功能。2017-09-09
基于Keras的格式化輸出Loss實(shí)現(xiàn)方式
這篇文章主要介紹了基于Keras的格式化輸出Loss實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
Python中文分詞工具之結(jié)巴分詞用法實(shí)例總結(jié)【經(jīng)典案例】
這篇文章主要介紹了Python中文分詞工具之結(jié)巴分詞用法,結(jié)合實(shí)例形式總結(jié)分析了Python針對(duì)中文文件的讀取與分詞操作過(guò)程中遇到的問(wèn)題與解決方法,需要的朋友可以參考下2017-04-04
python3?cookbook解壓可迭代對(duì)象賦值給多個(gè)變量的問(wèn)題及解決方案
這篇文章主要介紹了python3?cookbook-解壓可迭代對(duì)象賦值給多個(gè)變量,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2024-01-01
這篇文章主要介紹了python求列表交集的方法,實(shí)例匯總了三個(gè)常用的方法,具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2014-11-11
Python實(shí)現(xiàn)的讀寫(xiě)json文件功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的讀寫(xiě)json文件功能,結(jié)合實(shí)例形式分析了Python針對(duì)json文件進(jìn)行讀寫(xiě)的常見(jiàn)操作技巧與注意事項(xiàng),需要的朋友可以參考下2018-06-06