Python數(shù)據(jù)解析bs4庫使用BeautifulSoup方法示例
1. 安裝bs4庫
pip install bs4
2. 使用beautiful soup
用法如下:
find_all:find_all找到所有符合條件的節(jié)點
find:find指的是找第一個符合條件的節(jié)點
calss_:因為和python中的關(guān)鍵字class重合,因此在后面加個_加以區(qū)分
attrs={"":""}:attrs的對象存儲條件,此時的class無需加_
import requests from bs4 import BeautifulSoup import re url = "http://www.crazyant.net/" r = requests.get(url) if r.status_code != 200: raise Exception() html_doc = r.text # 創(chuàng)建beautiful soup,將爬取的內(nèi)容通過BeautifulSoup解析,這里告訴BeautifulSoup這個是爬取到的html頁面,默認也是這個,但是會發(fā)出警告 soup = BeautifulSoup(html_doc,"html.parser") # find_all找到所有符合條件的節(jié)點,find指的是找第一個 h2_nodes = soup.find_all("h2",class_="entry-title")
3. 使用bs4爬取優(yōu)美圖庫的圖片
from bs4 import BeautifulSoup import requests import time url = "https://www.umei.cc/weimeitupian/oumeitupian/nvsheng.htm" resp = requests.get(url) resp.encoding = 'utf-8' page = resp.text soup = BeautifulSoup(page,'html.parser') oAs = soup.find("div",class_='pic-list').find_all('a') aLinks = [] for a in oAs: aLinks.append("https://www.umei.cc"+str(a.get("href"))) print(aLinks) for link in aLinks: content = requests.get(link) content.encoding = 'utf-8' img = BeautifulSoup(content.text,'html.parser').find("div",class_='big-pic').find('img') src = img.get("src") print(img) print(src) img_name = src.split('/')[-1] img_resp = requests.get(src) with open('img/'+img_name,mode = "wb") as f: f.write(img_resp.content) time.sleep(1) f.close() resp.close() img_resp.close()
結(jié)果:
以上就是Python數(shù)據(jù)解析bs4庫使用BeautifulSoup方法示例的詳細內(nèi)容,更多關(guān)于Python bs4 BeautifulSoup的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python如何從txt文件中提取特定數(shù)據(jù)
這篇文章主要給大家介紹了關(guān)于Python如何從txt文件中提取特定數(shù)據(jù)的相關(guān)資料,有時我們會遇到需要按行讀取文本的情況,我們要讀取txt文件獲得數(shù)據(jù),需要的朋友可以參考下2023-08-08使用Django搭建web服務(wù)器的例子(最最正確的方式)
今天小編就為大家分享一篇使用Django搭建web服務(wù)器的例子(最最正確的方式),具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-08-08python Jieba分詞處理詳解【模式,詞庫的添加、刪除,自定義詞庫,失敗處理等】
這篇文章主要介紹了python Jieba分詞處理,結(jié)合實例形式詳細分析了python 使用jieba分詞的模式,詞庫的添加、刪除,自定義詞庫,失敗處理等相關(guān)操作技巧,需要的朋友可以參考下2023-07-07Python裝飾器入門學(xué)習(xí)教程(九步學(xué)習(xí))
裝飾器(decorator)是一種高級Python語法。裝飾器可以對一個函數(shù)、方法或者類進行加工。本文給大家介紹Python裝飾器入門學(xué)習(xí)教程(九步學(xué)習(xí)),對python裝飾器相關(guān)知識感興趣的朋友一起學(xué)習(xí)吧2016-01-01python包相關(guān)知識點之包的導(dǎo)入、相對路徑以及絕對路徑
Python的好處在于你不需要懂很多概念,你就有機會投入工作,同樣問題也有機會隨時發(fā)生,下面這篇文章主要給大家介紹了關(guān)于python包相關(guān)知識點之包的導(dǎo)入、相對路徑以及絕對路徑的相關(guān)資料,需要的朋友可以參考下2022-04-04