Python 批量下載陰陽師網(wǎng)站壁紙
代碼復(fù)制可直接使用,記得pip install下載requests和bs4
最終版本
# 引入系統(tǒng)類庫用于打開關(guān)閉文件
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類庫
import requests
#圖片保存目錄
path = 'D:/陰陽師'
#陰陽師壁紙網(wǎng)站
html_doc = "https://yys.163.com/media/picture.html"
# 請(qǐng)求
requests_html_doc = requests.get(html_doc).text
# 正則匹配所有href地址
regex = re.compile('.*?href="(.*?)2732x2048.jpg" rel="external nofollow" ')
urls = regex.findall(requests_html_doc)
# set集合可以防止下載的圖片重復(fù)
result = set()
for i in urls:
result.add(i)
# 計(jì)數(shù)器用于圖片命名
num = 0
# 文件路徑、操作模式、編碼 # r''
# 打開文件錄入圖片
f = open(r'result.txt', 'w', encoding='utf-8')
for a in urls:
try:
image_data = requests.get(a).content
image_name = '{}.jpg'.format(num) # 給每張圖片命名
save_path = path + '/' + image_name # 圖片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下載成功!??!')
num = num+1 # 下一張圖片名字序號(hào)加一
except:
pass
# 關(guān)閉文件錄入
f.close()
print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")
過程
借鑒代碼
自己從0開始,沒有頭緒,而且對(duì)python掌握度不高,那先借鑒別人的代碼開始,第一篇借鑒的代碼如下
# 引入系統(tǒng)類庫
import sys
# 使用文檔解析類庫
from bs4 import BeautifulSoup
# 使用網(wǎng)絡(luò)請(qǐng)求類庫
import urllib.request
path = 'D:/陰陽師'
html_doc = "https://yys.163.com/media/picture.html"
# 獲取請(qǐng)求
req = urllib.request.Request(html_doc)
# 打開頁面
webpage = urllib.request.urlopen(req)
# 讀取頁面內(nèi)容
html = webpage.read()
# 解析成文檔對(duì)象
soup = BeautifulSoup(html, 'html.parser') # 文檔對(duì)象
# 非法URL 1
invalidLink1 = '#'
# 非法URL 2
invalidLink2 = 'javascript:void(0)'
# set集合可以防止下載的圖片連接重復(fù)
result = set()
# 計(jì)數(shù)器用于圖片命名
num = 0
# 查找文檔中所有a標(biāo)簽
for k in soup.find_all('a'):
# print(k)
# 查找href標(biāo)簽
link = k.get('href')
# 過濾沒找到的
if(link is not None):
# 過濾非法鏈接
if link == invalidLink1:
pass
elif link == invalidLink2:
pass
elif link.find("javascript:") != -1:
pass
else:
result.add(link)
for a in result:
# 文件路徑、操作模式、編碼 # r''
f = open(r'result.txt', 'w', encoding='utf-8')
# image_data = urllib.request.get(url=a).content
image_data = requests.get(url=a).content
image_name = '{}.jpg'.format(num) # 給每張圖片命名
save_path = path + '/' + image_name # 圖片的保存地址
with open(save_path, 'wb') as f:
f.write(image_data)
print(image_name, '=======================>下載成功?。。?)
num = num+1 # 下一張圖片名字序號(hào)加一
f.close()
print("\r\n掃描結(jié)果已寫入到result.txt文件中\(zhòng)r\n")
思考urllib.request和requests
借鑒的代碼中使用urllib.request來請(qǐng)求,剛開始學(xué)習(xí)看到的一些代碼實(shí)例也常用urllib.request來發(fā)起請(qǐng)求,之后看到有的代碼使用的是requests。對(duì)于我個(gè)人,主觀感受requests更加便捷,少寫了幾行代碼,于是便去查閱了解兩者的區(qū)別。
BeautifulSoup
接觸到了BeautifulSoup,并且在一些文章的評(píng)論中看到對(duì)BeautifulSoup的稱贊,進(jìn)入文檔查閱了下用法,改變了我之前對(duì)python,獲取文檔中部分特征的元素節(jié)點(diǎn)的寫法困難的印象。
優(yōu)化處理
之所以要加正則匹配,因?yàn)橐婚_始獲取到的圖片鏈接里有空字符串的現(xiàn)象,在下載圖片的時(shí)候直接報(bào)錯(cuò)整個(gè)程序掛掉,而且這個(gè)借鑒代碼中的invalidLink1和invalidLink2看起來屬實(shí)不舒服。所以添加了正則從源頭保證鏈接的有效性,并且在執(zhí)行下載代碼中,添加了try,except保證程序出錯(cuò)也不會(huì)掛掉。
借鑒的代碼中每一次的下載,都會(huì)對(duì)要保存的目錄進(jìn)行打開和關(guān)閉,于是將打開關(guān)閉抽離到最外層,下載的邏輯放在里面,下載圖片成功的提速果然肉眼可見~
總結(jié)
壁紙確實(shí)不戳~,希望下一個(gè)學(xué)習(xí)的腳本能更加有趣~
以上就是Python 批量下載陰陽師網(wǎng)站壁紙的詳細(xì)內(nèi)容,更多關(guān)于python 下載陰陽師網(wǎng)站壁紙的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
python在線編譯器的簡(jiǎn)單原理及簡(jiǎn)單實(shí)現(xiàn)代碼
這篇文章主要介紹了python在線編譯器的簡(jiǎn)單原理及簡(jiǎn)單實(shí)現(xiàn)代碼,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-02-02
Python技巧分享之如何將字符串轉(zhuǎn)回DataFrame格式
平常我們使用pandas,一般使用的是DataFrame和Series,但個(gè)別交換數(shù)據(jù)的時(shí)候,只能使用字符串,那如何再將字符串再轉(zhuǎn)回DataFrame格式呢,本文就來和大家講講解決辦法2023-06-06
pycharm 使用tab跳出正在編輯的括號(hào)(){}{}等問題
這篇文章主要介紹了pycharm 使用tab跳出正在編輯的括號(hào)(){}{}等問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-02-02
利用For循環(huán)遍歷Python字典的三種方法實(shí)例
字典由多個(gè)鍵和其對(duì)應(yīng)的值構(gòu)成的鍵—值對(duì)組成,鍵和值中間以冒號(hào):隔開,項(xiàng)之間用逗號(hào)隔開,整個(gè)字典是由大括號(hào){}括起來的,下面這篇文章主要給大家介紹了關(guān)于如何利用For循環(huán)遍歷Python字典的三種方法,需要的朋友可以參考下2022-03-03
python發(fā)送多人郵件沒有展示收件人問題的解決方法
這篇文章主要為大家詳細(xì)介紹了python發(fā)送多人郵件沒有展示收件人問題的解決方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-06-06

