基于python實(shí)現(xiàn)獲取網(wǎng)頁圖片過程解析
更新時(shí)間：2020年05月11日 10:18:57 作者：哈哈哈天蝎
這篇文章主要介紹了基于python實(shí)現(xiàn)獲取網(wǎng)頁圖片過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
環(huán)境：python3， 要安裝bs4這個(gè)第三方庫
獲取請(qǐng)求頭的方法
這里使用的是Chrome瀏覽器。
打開你想查詢的網(wǎng)站，按F12，或者鼠標(biāo)右鍵一下選擇檢查。會(huì)彈出如下的審查元素頁面：
然后點(diǎn)擊上方選項(xiàng)中的Network選項(xiàng)：
此時(shí)在按Ctrl+R:
選擇下方框中的第一個(gè)，單擊：
選擇Headers選項(xiàng)，其中就會(huì)有Request Headers，包括你需要的信息。
介紹：這個(gè)程序是用來批量獲取網(wǎng)頁的圖片，用于新手入門
注意：由于是入門的程序在獲取某些網(wǎng)頁的圖片時(shí)會(huì)出問題?。。。?！
import os
import urllib.request
from bs4 import BeautifulSoup
# 網(wǎng)址
url = "http://www2017.tyut.edu.cn/"
# 建立請(qǐng)求對(duì)象
request = urllib.request.Request(url)
# 加入請(qǐng)求頭（一定要換成自己的?。。。。?
request.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36')
# 獲取請(qǐng)求
code = urllib.request.urlopen(request)
# 得到html代碼
html = code.read().decode('utf-8')
# 將html的標(biāo)簽轉(zhuǎn)成對(duì)象（方便后面的操作）
bs = BeautifulSoup(html, 'html.parser')
# 提取所有的img標(biāo)簽
imagesUrl = bs.find_all('img')
sources = []
# 建立存放的路徑（路徑一定要存在?。。。。。。?
filepath = os.getcwd() + '\\images\\'
def createFile(path: str, fpath):
urllib.request.urlretrieve(path, fpath)
# 獲取圖片的路徑(網(wǎng)址+img標(biāo)簽的src屬性的值)
for img in imagesUrl:
sources.append(url + str(img.get('src')))
for src in sources:
# 用split是防止請(qǐng)求帶參
baseName = os.path.basename(src).split('?')
# 圖片名
fileName = filepath + baseName[0]
print("url=" + src, "filename=" + fileName)
createFile(src, fileName)
print('這次您一共下載了圖片' + str(len(sources)) + '張')
以上就是本文的全部內(nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python使用Asyncio實(shí)現(xiàn)檢查網(wǎng)站狀態(tài)
這篇文章主要為大家詳細(xì)介紹了Python如何使用Asyncio實(shí)現(xiàn)檢查網(wǎng)站狀態(tài)，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-03-03
Python三級(jí)目錄展示的實(shí)現(xiàn)方法
這篇文章主要介紹了Python三級(jí)目錄展示的實(shí)現(xiàn)方法的相關(guān)資料,本文通過圖文并茂的方式給大家介紹，非常不錯(cuò)，具有參考借鑒價(jià)值，需要的朋友可以參考下2016-09-09
關(guān)于python3.7安裝matplotlib始終無法成功的問題的解決
這篇文章主要介紹了關(guān)于python3.7安裝matplotlib始終無法成功的問題的解決，文中通過圖文介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
這篇文章主要介紹了python數(shù)組和矩陣的用法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-05-05
本篇文章通過理論知識(shí)點(diǎn)給大家講述了Python核心對(duì)象類型字符串的相關(guān)知識(shí)內(nèi)容，對(duì)此有興趣的一起學(xué)習(xí)下。2018-02-02
這篇文章主要介紹了Python 中判斷列表是否為空的方法，本文通過代碼詳解的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-11-11
python tkinter實(shí)現(xiàn)下載進(jìn)度條及抖音視頻去水印原理
這篇文章主要介紹了python tkinter實(shí)現(xiàn)下載進(jìn)度條及抖音視頻去水印原理，幫助大家更好的利用python，感興趣的朋友可以了解下2021-02-02
python使用jieba實(shí)現(xiàn)中文分詞去停用詞方法示例
jieba分詞,完全開源,有集成的python庫,簡(jiǎn)單易用。下面這篇文章主要給大家介紹了關(guān)于python使用jieba實(shí)現(xiàn)中文分詞去停用詞的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來一起看看吧。2018-03-03
這篇文章主要為大家介紹了提升Python編程效率的列表操作方法示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-10-10
這篇文章主要介紹了python讀取word文檔的方法,實(shí)例分析了Python基于win32com操作word文檔的相關(guān)技巧,需要的朋友可以參考下2015-05-05