快捷導(dǎo)航

Python使用BeautifulSoup解析并獲取圖片的實(shí)戰(zhàn)分享

更新時(shí)間：2024年06月05日 08:50:13 作者：江禾藜

這篇文章主要介紹了Python使用BeautifulSoup解析并獲取圖片的實(shí)戰(zhàn)分享,文中通過(guò)代碼和圖文結(jié)合的方式給大家講解的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作有一定的幫助,需要的朋友可以參考下

一、前言

在本文我們將以下面的例子帶著大家去看看在實(shí)戰(zhàn)中是如何運(yùn)用的。

目標(biāo)url：https://www.58pic.com/tupian/1272.html

二、數(shù)據(jù)分析

根據(jù)下圖所示，圖片被保存至img標(biāo)簽下，并且class值為lazy。當(dāng)然這個(gè)網(wǎng)站除了lazy的img標(biāo)簽還有其他的(比如：class="lazy-bg-img")，這個(gè)可以自己想辦法處理一下，如何去獲取所有跟圖片有關(guān)的img標(biāo)簽。

三、數(shù)據(jù)獲取及展示

數(shù)據(jù)獲取

 '''
 爬蟲(chóng)：
 ?
 目標(biāo)網(wǎng)站：https://www.58pic.com/c/27075257
 ?
 任務(wù)需求：1、抓取第一頁(yè)前36張圖片   2、使用bs4解析
 '''
 import time
 ?
 import requests
 from bs4 import BeautifulSoup
 ?
 ?
 class Image(object):
     def __init__(self):
         self.headers = {
             'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.62'
         }
 ?
     def parse_url(self,url):
         print('開(kāi)始分析')
         resp = requests.get(url,headers=self.headers)
         #print(resp.text)
         if resp.status_code == 200:
             soup = BeautifulSoup(resp.text,'lxml')
             image_list = soup.find_all('img',class_='lazy-bg-img',limit=36)
             #print(image_list)
             for data in image_list:
                 title = data.get('alt')
                 # print(title)
                 print(f"開(kāi)始下載 {title}")
                 img_url = 'https:'+data.get('data-original')
                 self.image_save(title,img_url)
         else:
             return None
 ?
     def image_save(self,title,url):
         resp = requests.get(url,headers=self.headers)
         content = resp.content
         with open('./img/'+title+'.jpg',mode='wb')as f:
             f.write(content)
 ?
 if __name__ == '__main__':
     t = time.time()
     url='https://www.58pic.com/tupian/1272.html'
     image = Image()
     image.parse_url(url)
     print("總共耗時(shí)：",time.time()-t)

最終效果展示

四、結(jié)語(yǔ)

根據(jù)示例，我們會(huì)發(fā)現(xiàn)通過(guò)bs4解析可以很快速的根據(jù)標(biāo)簽的特殊性得到我們想要的數(shù)據(jù)。但要注意，有時(shí)候我們得到的響應(yīng)內(nèi)容會(huì)與F12打開(kāi)看到的不同，所有在發(fā)現(xiàn)沒(méi)有拿到數(shù)據(jù)的時(shí)候，請(qǐng)考慮我們得到的相應(yīng)內(nèi)容里面究竟是什么樣子的。

到此這篇關(guān)于Python使用BeautifulSoup解析并獲取圖片的實(shí)戰(zhàn)分享的文章就介紹到這了,更多相關(guān)Python BeautifulSoup獲取圖片內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: