關(guān)于python中的xpath解析定位
爬取的網(wǎng)站:http://jbk.39.net/chancegz/
這里只針對(duì)個(gè)別屬性值:
#例如:'別名'下的span標(biāo)簽文本,‘發(fā)病部位'下的span標(biāo)簽文本以及‘掛號(hào)科室‘下的span標(biāo)簽文本 # def disease(url): text = get_html(url) tree = etree.HTML(text) bm = tree.xpath('//ul[@class="information_ul"]/li/i[text()="別名:"]/following-sibling::span/text()') bw = tree.xpath('//ul[@class="information_ul"]/li/i[text()="發(fā)病部位:"]/following-sibling::span/a/text()') ks = tree.xpath('//ul[@class="information_ul"]/li/i[text()="掛號(hào)科室:"]/following-sibling::span/a/text()') return bm, bw, ks
補(bǔ)充其他:
# /從根元素開始,相當(dāng)于絕對(duì)路徑 print(tree.xpath('/html/body/ul')) # //全局搜索,找到所有 print(tree.xpath('//li')) ul = tree.xpath('//ul') # . 當(dāng)前 # 返回的都是列表,查找到所有 li = ul[0].xpath('./li') print(li) for l in li: # 獲取屬性id的值 @id print(l.xpath('./@id')) # 定位 /標(biāo)簽[@屬性='值'] liClass = tree.xpath("http://li[@class='liClass']") print(liClass) #判斷,@屬性='值' --->返回True或False print(tree.xpath("http://li/@id='12'")) print("===========================") #直接使用下標(biāo)訪問,下標(biāo)從1開始 獲取對(duì)個(gè)li里面的文本 print(tree.xpath('//li[2]/text()')) #last()最后一個(gè) print(tree.xpath('//li[last()]/text()')) #倒數(shù)第二個(gè) print(tree.xpath('//li[last()-1]/text()')) # position() 位置 > < = >= <= print(tree.xpath('//li[position()>1]')) #* 通配 print(tree.xpath('//*[@class="liClass"]')) # 或 | print(tree.xpath('//li[@class="liClass"] | //div[@class="liClass"]'))
xpath基本語法
表達(dá)式 | 說明 |
---|---|
article | 選取所有article元素的所有子節(jié)點(diǎn) |
/article | 選取根元素article |
article/a | 選取所有屬于article的子元素的a元素 |
//div | 選取所有div元素(不管出現(xiàn)在文檔里的任何地方) |
article//div | 選取所有屬于article元素的后代的div元素,不管它出現(xiàn)在article之下的任何位置 |
//@class | 選取所有名為class的屬性 |
表達(dá)式 | 說明 |
---|---|
/article/div[1] | 選取屬于article子元素的第一個(gè)div元素 |
/article/div[last()] | 選取屬于article子元素的最后一個(gè)div元素 |
/article/div[last()-1] | 選取屬于article子元素的倒數(shù)第二個(gè)div元素 |
//div[@color] | 選取所有擁有color屬性的div元素 |
//div[@color=‘red'] | 選取所有color屬性值為red的div元素 |
表達(dá)式 | 說明 |
---|---|
/div/* | 選取屬于div元素的所有子節(jié)點(diǎn) |
//* | 選取所有元素 |
//div[@*] | 選取所有帶屬性的div 元素 |
//div/a 丨//div/p | 選取所有div元素的a和p元素 |
//span丨//ul | 選取文檔中的span和ul元素 |
article/div/p丨//span | 選取所有屬于article元素的div元素的p元素以及文檔中所有的 span元素 |
補(bǔ)充:
相鄰元素定位, 前一位: preceding-sibling::div[1] 后一位: following-sibling::div[1] 前N位: preceding-sibling::div[N] 后N位: following-sibling::div[N] # 爬取i標(biāo)簽中包含相關(guān)檢查節(jié)點(diǎn)的兄弟 a節(jié)點(diǎn)(找到i節(jié)點(diǎn)—>找到其父節(jié)點(diǎn)->找到該父節(jié)點(diǎn)的子節(jié)點(diǎn)a) content = tree.xpath('//i[contains(text(),"相關(guān)檢查:")]/../a[@class="blue"]/text()') xpath多個(gè)class限制 //div[contains(@class, 'demo') and contains(@class, 'other')] xpath 同時(shí)多個(gè)標(biāo)簽用| 分隔 //div[contains(@class, "jib-lh-articl")]/p | //div[contains(@class, "jib-lh-articl")]/h3 選擇不包含某一屬性的節(jié)點(diǎn) //div[not(@class)] 沒有class屬性的div //tbody/tr[not(@class or @id)] 獲取當(dāng)前節(jié)點(diǎn)的是什么類型的html標(biāo)簽 xpath_element.tag
補(bǔ)充知識(shí):使用Xpath定位元素(和元素定位相關(guān)的Xpath語法)
本文主要講述Xpath語法中,和元素定位相關(guān)的語法
第一種方法:通過絕對(duì)路徑做定位(相信大家不會(huì)使用這種方式)
By.xpath("html/body/div/form/input")
第二種方法:通過相對(duì)路徑做定位
兩個(gè)斜杠代表相對(duì)路徑
By.xpath("http://input//div")
第三種方法:通過元素索引定位
By.xpath("http://input[4]")
第四種方法:使用xpath+節(jié)點(diǎn)屬性定位(結(jié)合第2、第3中方法可以使用)
By.xpath("http://input[@id='kw1']")
By.xpath("http://input[@type='name' and @name='kw1']")
第五種方法:使用部分屬性值匹配(最強(qiáng)大的方法)
By.xpath("http://input[start-with(@id,'nice')]")
By.xpath("http://input[ends-with(@id,'很漂亮')]")
By.xpath("http://input[contains(@id,'那么美')]")
第六種方法:使用前集中方法的組合
By.xpath("http://input[@id='kw1']//input[start-with(@id,'nice']/div[1]/form[3])
以上這篇關(guān)于python中的xpath解析定位就是小編分享給大家的全部內(nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
python 多線程實(shí)現(xiàn)檢測服務(wù)器在線情況
本文給大家分享的是Python使用多線程通過ping命令檢測服務(wù)器的在線狀況,給大家了內(nèi)網(wǎng)和外網(wǎng)的2個(gè)例子,有需要的小伙伴可以參考下。2015-11-11Python編碼規(guī)范擺脫P(yáng)ython編碼噩夢(mèng)
Python 中編碼問題,一直是很多 Python 開發(fā)者的噩夢(mèng),盡管你是工作多年的 Python 開發(fā)者,也肯定會(huì)經(jīng)常遇到令人神煩的編碼問題,收藏這篇文章以后你可以不用再Google2021-10-10PyTorch如何創(chuàng)建自己的數(shù)據(jù)集
這篇文章主要介紹了PyTorch如何創(chuàng)建自己的數(shù)據(jù)集,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-11-11python條件判斷中not、is、is?not、is?not?None、is?None代碼實(shí)例
None是python中的一個(gè)特殊的常量,表示一個(gè)空的對(duì)象,下面這篇文章主要給大家介紹了關(guān)于python條件判斷中not、is、is?not、is?not?None、is?None的相關(guān)資料,需要的朋友可以參考下2024-03-03Django數(shù)據(jù)映射(一對(duì)一,一對(duì)多,多對(duì)多)
本文主要介紹了Django數(shù)據(jù)映射(一對(duì)一,一對(duì)多,多對(duì)多),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08Python實(shí)現(xiàn)暴力匹配算法(字符串匹配)
本文主要介紹了Python實(shí)現(xiàn)暴力匹配算法,其主要思想是逐個(gè)字符地比較文本串和模式串,從文本串的每個(gè)可能的起始位置開始,依次檢查是否有匹配的子串,下面就來介紹 一下如何實(shí)現(xiàn)2023-09-09tensorflow dataset.shuffle、dataset.batch、dataset.repeat順序區(qū)別詳
這篇文章主要介紹了tensorflow dataset.shuffle、dataset.batch、dataset.repeat順序區(qū)別詳解,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2020-06-06