python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)
更新時(shí)間：2021年04月22日 15:31:29 作者：互聯(lián)網(wǎng)老辛
這篇文章主要介紹了python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
1. xpath 的介紹
xpath是一門在XML文檔中查找信息的語言
優(yōu)點(diǎn)：
- 可以在xml中找信息
- 支持HTML的查找
- 可以通過元素和屬性進(jìn)行導(dǎo)航
但是Xpath需要依賴xml的庫，所以我們需要去安裝lxml的庫。
安裝lxml庫
我們先要安裝lxml的庫，直接在pycharm里安裝即可：
XML的樹形結(jié)構(gòu)：
元素-元素-屬性-文本
使用XPath選取節(jié)點(diǎn)：
- nodename: 選取此節(jié)點(diǎn)的所有節(jié)點(diǎn)
- /從根節(jié)點(diǎn)選擇
- // 從匹配選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)，而不考慮他們的位置
- . 選擇當(dāng)前節(jié)點(diǎn)
- .. 選擇當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)（此處是兩個(gè)點(diǎn)，瀏覽器默認(rèn)顯示3個(gè)..）
- /text() 獲取當(dāng)前路徑下的文本內(nèi)容
- /@xxx 提取當(dāng)前路徑下標(biāo)簽的屬性值
選取節(jié)點(diǎn)的表達(dá)式舉例：
2. 爬取起點(diǎn)小說網(wǎng)
在瀏覽器中獲取書名和作者測試
在谷歌里安裝一個(gè)xpath的插件
在html中查找book-mid-info
我們要獲取小說的名稱： 也就是 //div[@class='book-mid-info']/h4/a/txt()
再加一個(gè)獲取作者：
使用xpath獲取起點(diǎn)小說網(wǎng)的數(shù)據(jù)
# 作者：互聯(lián)網(wǎng)老辛
# 開發(fā)時(shí)間：2021/4/8/0008 8:24
import requests
from lxml import etree
url="https://www.qidian.com/rank/yuepiao"
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3861.400 QQBrowser/10.7.4313.400'}
#發(fā)送請求
resp=requests.get(url,headers)
e=etree.HTML(resp.text) #類型轉(zhuǎn)換，把str轉(zhuǎn)變?yōu)閏lass 'lxml.etree._ELement
print(type(e))
names=e.xpath('//div[@class="book-mid-info"]/h4/a/text()')
authors=e.xpath('//p[@class="author"]/a[1]/text()')
print(names)
print(authors)
#名稱和作者對應(yīng)
for name,authors in zip(names,authors):
print(name,":",authors)
以上就是python使用XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)數(shù)據(jù)的詳細(xì)內(nèi)容，更多關(guān)于python XPath解析數(shù)據(jù)爬取起點(diǎn)小說網(wǎng)的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章主要為大家介紹了Python的函數(shù)與異常，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-11-11
這篇文章主要介紹了Ubuntu+python將nii圖像保存成png格式，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了Python爬取個(gè)人微信朋友信息操作,涉及Python使用itchat包實(shí)現(xiàn)微信朋友信息爬取操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-08-08
Python?Decorator裝飾器的創(chuàng)建方法及常用場景分析
這篇文章主要介紹了Python?Decorator裝飾器的創(chuàng)建方法及常用場景,裝飾器可以分成方法裝飾器和類裝飾器，他們的區(qū)別是一個(gè)是用函數(shù)實(shí)現(xiàn)的裝飾器，一個(gè)是用類實(shí)現(xiàn)的裝飾器，他們也都能在方法和類上進(jìn)行裝飾，需要的朋友可以參考下2022-07-07
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)書法碑帖圖片分割，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2021-03-03
在 Python 中解析 ISO 8601 日期的詳細(xì)過程
這篇文章主要介紹了在 Python 中解析 ISO 8601 日期,我們將討論典型的 ISO 8601 日期的結(jié)構(gòu),并向您展示如何將典型的 DateTime 對象解析為可以在所有地方使用的標(biāo)準(zhǔn)化 DateTime,需要的朋友可以參考下2023-08-08
Python操作Excel數(shù)據(jù)的封裝函數(shù)分享
對比其它編程語言，我們都知道Python最大的優(yōu)勢是代碼簡單，有豐富的第三方開源庫供開發(fā)者使用。而對于數(shù)據(jù)的讀取和存儲(chǔ)，對于普通人來講，除了數(shù)據(jù)庫之外，最常見的就是微軟的Excel。本文為大家準(zhǔn)備了Python操作Excel數(shù)據(jù)的封裝函數(shù)，希望對大家有所幫助2022-11-11
python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)
這篇文章主要介紹了python multiprocessing多進(jìn)程變量共享與加鎖的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
邏輯回歸是一種分類器模型，這篇文章主要介紹了tensorflow實(shí)現(xiàn)簡單邏輯回歸，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-09-09
Python統(tǒng)計(jì)列表中每個(gè)元素出現(xiàn)次數(shù)的4種實(shí)現(xiàn)
本文主要介紹了Python統(tǒng)計(jì)列表中每個(gè)元素出現(xiàn)次數(shù)的4種實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07