python爬蟲xpath模塊簡介示例代碼
更新時間：2023年02月14日 17:22:22 作者：DY.memory
xpath是最常用且最便捷高效的一種解析方式，通用型強，其不僅可以用于python語言中，還可以用于其他語言中，數(shù)據(jù)解析建議首先xpath，這篇文章主要介紹了python爬蟲xpath模塊簡介,需要的朋友可以參考下
一、前言
前兩篇博客講解了爬蟲解析網(wǎng)頁數(shù)據(jù)的兩種常用方法，re正則表達解析和beautifulsoup標簽解析，所以今天的博客將圍繞另外一種數(shù)據(jù)解析方法，它就是xpath模塊解析，話不多說，進入內(nèi)容：
二、簡介
XPath 是一門在 XML 文檔中查找信息的語言。XPath 可用來在 XML 文檔中對元素和屬性進行遍歷。XPath 是 W3C XSLT 標準的主要元素，并且 XQuery 和 XPointer 都構建于 XPath 表達之上。
XPath即為XML路徑語言（XML Path Language），它是一種用來確定XML文檔中某部分位置的語言。
xpath是最常用且最便捷高效的一種解析方式，通用型強，其不僅可以用于python語言中，還可以用于其他語言中，數(shù)據(jù)解析建議首先xpath。
三、安裝
pip3 install lxml
四、使用
1、導入
from?lxml?import?etree
2、基本使用
實例化一個etree的對象，且需要將被解析的頁面源代碼數(shù)據(jù)加載到該對象中
調(diào)用etree對象中的xpath方法結合著xpath表達式實現(xiàn)標簽的定位和內(nèi)容的捕獲
from lxml import etree
tree = etree.parse('./tree.html') #從本地加載源碼，實例化一個etree對象。必須是本地的文件，不能是字符串
tree = etree.HTML(源碼) #從互聯(lián)網(wǎng)加載源碼，實例化etree對象
# / 表示從從根節(jié)點開始，一個 / 表示一個層級，//表示多個層級
r = tree.xpath('//div//a') #以列表的形式返回div下的所有的a標簽對象的地址
r = tree.xpath('//div//a')[1] #返回div下的第二個a標簽對象地址
r = tree.xpath('//div[@class="tang"]') #以列表的形式返回tang標簽地址
r = tree.xpath('//div[@class="tang"]//a') #以列表的形式返回tang標簽下所有的a標簽地址
#獲取標簽中的文本內(nèi)容
r = tree.xpath('//div[@class="tang"]//a/text()') #以列表的形式返回所有a標簽中的文本
#獲取標簽中屬性值
r = tree.xpath('//div//a/@href') ##以列表的形式返回所有a標簽中href屬性值3、基本使用
from lxml import etree
wb_data = """
<div>
<ul>
<li><a href="link1.html" rel="external nofollow" rel="external nofollow" >first item</a></li>
<li><a href="link2.html" rel="external nofollow" rel="external nofollow" >second item</a></li>
<li><a href="link3.html" rel="external nofollow" rel="external nofollow" >third item</a></li>
<li><a href="link4.html" rel="external nofollow" rel="external nofollow" >fourth item</a></li>
<li><a href="link5.html" rel="external nofollow" rel="external nofollow" >fifth item</a>
</ul>
</div>
"""
html = etree.HTML(wb_data)
print(html)
result = etree.tostring(html)
print(result.decode("utf-8"))從下面的結果來看，我們打印機html其實就是一個python對象，etree.tostring(html)則是補全html的基本寫法，補全了缺胳膊少腿的標簽。
<Element html at 0x39e58f0>
<html><body><div>
<ul>
<li><a href="link1.html" rel="external nofollow" rel="external nofollow" >first item</a></li>
<li><a href="link2.html" rel="external nofollow" rel="external nofollow" >second item</a></li>
<li><a href="link3.html" rel="external nofollow" rel="external nofollow" >third item</a></li>
<li><a href="link4.html" rel="external nofollow" rel="external nofollow" >fourth item</a></li>
<li><a href="link5.html" rel="external nofollow" rel="external nofollow" >fifth item</a>
</li></ul>
</div>
</body></html>3、獲取某個標簽的內(nèi)容(基本使用)，注意，獲取a標簽的所有內(nèi)容，a后面就不用再加正斜杠，否則報錯。
寫法一
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a')
print(html)
for i in html_data:
print(i.text)
# 打印結果如下：
<Element html at 0x12fe4b8>
first item
second item
third item
fourth item
fifth item寫法二（直接在需要查找內(nèi)容的標簽后面加一個/text()就行）
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/text()')
print(html)
for i in html_data:
print(i)
# 打印結果如下：
<Element html at 0x138e4b8>
first item
second item
third item
fourth item
fifth item4、打開讀取html文件
#使用parse打開html的文件
html = etree.parse('test.html')
html_data = html.xpath('//*')<br>#打印是一個列表，需要遍歷
print(html_data)
for i in html_data:
print(i.text)html = etree.parse('test.html')
html_data = etree.tostring(html,pretty_print=True)
res = html_data.decode('utf-8')
print(res)
?
打?。?
<div>
? ? ?<ul>
? ? ? ? ?<li><a href="link1.html">first item</a></li>
? ? ? ? ?<li><a href="link2.html">second item</a></li>
? ? ? ? ?<li><a href="link3.html">third item</a></li>
? ? ? ? ?<li><a href="link4.html">fourth item</a></li>
? ? ? ? ?<li><a href="link5.html">fifth item</a></li>
? ? ?</ul>
</div>5、打印指定路徑下a標簽的屬性（可以通過遍歷拿到某個屬性的值，查找標簽的內(nèi)容）
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a/@href')
for i in html_data:
? ? print(i)
?
打?。?
link1.html
link2.html
link3.html
link4.html
link5.html6、我們知道我們使用xpath拿到得都是一個個的ElementTree對象，所以如果需要查找內(nèi)容的話，還需要遍歷拿到數(shù)據(jù)的列表。
查到絕對路徑下a標簽屬性等于link2.html的內(nèi)容。
html = etree.HTML(wb_data)
html_data = html.xpath('/html/body/div/ul/li/a[@href="link2.html"]/text()')
print(html_data)
for i in html_data:
? ? print(i)
?
打?。?
['second item']
second item7、上面我們找到全部都是絕對路徑（每一個都是從根開始查找），下面我們查找相對路徑，例如，查找所有l(wèi)i標簽下的a標簽內(nèi)容。
html = etree.HTML(wb_data)
html_data = html.xpath('//li/a/text()')
print(html_data)
for i in html_data:
? ? print(i)
?
打印：
['first item', 'second item', 'third item', 'fourth item', 'fifth item']
first item
second item
third item
fourth item
fifth item8、上面我們使用絕對路徑，查找了所有a標簽的屬性等于href屬性值，利用的是/—絕對路徑，下面我們使用相對路徑，查找一下l相對路徑下li標簽下的a標簽下的href屬性的值，注意，a標簽后面需要雙//。
html = etree.HTML(wb_data)
html_data = html.xpath('//li/a//@href')
print(html_data)
for i in html_data:
? ? print(i)
?
打印：
['link1.html', 'link2.html', 'link3.html', 'link4.html', 'link5.html']
link1.html
link2.html
link3.html
link4.html
link5.html9、相對路徑下跟絕對路徑下查特定屬性的方法類似，也可以說相同。
html = etree.HTML(wb_data)
html_data = html.xpath('//li/a[@href="link2.html"]')
print(html_data)
for i in html_data:
? ? print(i.text)
?
打?。?
[<Element a at 0x216e468>]
second item10、查找最后一個li標簽里的a標簽的href屬性
html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()]/a/text()')
print(html_data)
for i in html_data:
? ? print(i)
?
打印：
['fifth item']
fifth item11、查找倒數(shù)第二個li標簽里的a標簽的href屬性
html = etree.HTML(wb_data)
html_data = html.xpath('//li[last()-1]/a/text()')
print(html_data)
for i in html_data:
? ? print(i)
?
打?。?
['fourth item']
fourth item五、案例
案例1：獲取58商城房價單位：
import requests
from lxml import etree
url = "https://bj.58.com/ershoufang/p1/"
headers={
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'
}
pag_response = requests.get(url,headers=headers,timeout=3).text
#實例化一個etree對象
tree = etree.HTML(pag_response)
r = tree.xpath('//span[@class="content-title"]/text()') #獲取所有//span標簽為"content-title"的文本內(nèi)容,列表形式
with open("58房價.txt",mode="w",encoding="utf-8") as fp:
for r_list in r:
fp.writelines(str(r_list))
print(r_list)
案例2：獲取豆瓣top榜電影信息（這個是老生常談的話題了）
import re
from time import sleep
import requests
from lxml import etree
import random
import csv
def main(page,f):
url = f'https://movie.douban.com/top250?start={page*25}&filter='
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.35 Safari/537.36',}
resp = requests.get(url,headers=headers)
tree = etree.HTML(resp.text)
# 獲取詳情頁的鏈接列表
href_list = tree.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[1]/a/@href')
# 獲取電影名稱列表
name_list = tree.xpath('//*[@id="content"]/div/div[1]/ol/li/div/div[2]/div[1]/a/span[1]/text()')
for url,name in zip(href_list,name_list):
f.flush() # 刷新文件
try:
get_info(url,name) # 獲取詳情頁的信息
except:
pass
sleep(1 + random.random()) # 休息
print(f'第{i+1}頁爬取完畢')
def get_info(url,name):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.35 Safari/537.36',
'Host': 'movie.douban.com',
}
resp = requests.get(url,headers=headers)
html = resp.text
tree = etree.HTML(html)
# 導演
dir = tree.xpath('//*[@id="info"]/span[1]/span[2]/a/text()')[0]
# 電影類型
type_ = re.findall(r'property="v:genre">(.*?)</span>',html)
type_ = '/'.join(type_)
# 國家
country = re.findall(r'地區(qū):</span> (.*?)<br',html)[0]
# 上映時間
time = tree.xpath('//*[@id="content"]/h1/span[2]/text()')[0]
time = time[1:5]
# 評分
rate = tree.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/strong/text()')[0]
# 評論人數(shù)
people = tree.xpath('//*[@id="interest_sectl"]/div[1]/div[2]/div/div[2]/a/span/text()')[0]
print(name,dir,type_,country,time,rate,people) # 打印結果
csvwriter.writerow((name,dir,type_,country,time,rate,people)) # 保存到文件中
if __name__ == '__main__':
# 創(chuàng)建文件用于保存數(shù)據(jù)
with open('03-movie-xpath.csv','a',encoding='utf-8',newline='')as f:
csvwriter = csv.writer(f)
# 寫入表頭標題
csvwriter.writerow(('電影名稱','導演','電影類型','國家','上映年份','評分','評論人數(shù)'))
for i in range(10): # 爬取10頁
main(i,f) # 調(diào)用主函數(shù)
sleep(3 + random.random())
到此這篇關于python爬蟲xpath模塊簡介的文章就介紹到這了,更多相關python xpath模塊內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python中Pickling和Unpickling的區(qū)別詳解
在本文中,我們將探討 Python 中 pickling 和 unpickling 之間的主要區(qū)別,我們將詳細討論 Python pickling 和 unpickling 的概念,包括它們的目的、語法、用法以及安全可靠的 pickling 和 unpickling 操作的注意事項,需要的朋友可以參考下2023-09-09
這篇文章主要介紹了Python基于列表模擬堆棧和隊列功能,簡單描述了隊列與堆棧的特點,并結合列表相關函數(shù)分析了隊列的出隊、進隊及堆棧的出棧、入棧等操作實現(xiàn)技巧,需要的朋友可以參考下2018-01-01
Python利用jmespath模塊進行json數(shù)據(jù)處理
jmespath是python的第三方模塊，是需要額外安裝的。它在python原有的json數(shù)據(jù)處理上做出了很大的貢獻。本文將詳細介紹如何利用jmespath實現(xiàn)json數(shù)據(jù)處理，需要的可以參考一下2022-03-03
這篇文章主要介紹了python基礎知識之字典(Dict)的相關資料,需要的朋友可以參考下2023-02-02
這篇文章主要介紹了低版本中Python除法運算小技巧,python 2.5版本中存在兩種除法運算,即所謂的true除法和floor除法,本文講解了兩種方法的使用技巧,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了Python集合操作方法詳解,需要的朋友可以參考下2020-02-02
在Python里一切都是對象（object），基本數(shù)據(jù)類型，如數(shù)字，字符串，函數(shù)都是對象。對象可以由類（class）進行創(chuàng)建。那么既然一切都是對象，那么類是對象嗎？是的，類也是對象，那么又是誰創(chuàng)造了類呢？答案也很簡單，也是類，一個能創(chuàng)作類的類，稱之為(type)元類2022-07-07
Python中ArcPy柵格裁剪柵格(批量對齊柵格圖像范圍并統(tǒng)一行數(shù)與列數(shù))
本文介紹基于Python中ArcPy模塊，實現(xiàn)基于柵格圖像批量裁剪柵格圖像，同時對齊各個柵格圖像的空間范圍，統(tǒng)一其各自行數(shù)與列數(shù)的方法,本文通過實例代碼給大家介紹的非常詳細，需要的朋友可以參考下2023-02-02
python自動化腳本安裝指定版本python環(huán)境詳解
這篇文章主要為大家詳細介紹了python自動化腳本安裝指定版本python環(huán)境的相關方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-09-09
這篇文章主要介紹了基于Python中的turtle繪畫星星和星空，turtle?是?Python?中自帶的繪圖模塊，下文章關于turtle繪畫星星和星空的詳細內(nèi)容,需要的朋友可以參考一下，可以當作學習小練習2022-03-03