python使用xpath獲取頁(yè)面元素的使用

更新時(shí)間：2021年09月10日 12:02:19 作者：Sun@Python

本文主要介紹了python使用xpath獲取頁(yè)面元素的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

關(guān)于python 使用xpath獲取網(wǎng)頁(yè)信息的方法？

1、xpath的使用方法？

XPath 使用路徑表達(dá)式來(lái)選取 XML 文檔中的節(jié)點(diǎn)或節(jié)點(diǎn)集。節(jié)點(diǎn)是通過(guò)沿著路徑 (path) 或者步 (steps) 來(lái)選取的。

常用路徑表達(dá)式含義

表達(dá)式	描述
/	從根節(jié)點(diǎn)選?。ㄈ∽庸?jié)點(diǎn)）
//	選擇的當(dāng)前節(jié)點(diǎn)選擇文檔中的節(jié)點(diǎn)
.	選取當(dāng)前節(jié)點(diǎn)。
…	選取當(dāng)前節(jié)點(diǎn)的父節(jié)點(diǎn)。
@	選取屬性
*	表示任意內(nèi)容（通配符）
\|	運(yùn)算符可以選取多個(gè)路徑

常用功能函數(shù)

函數(shù)	用法	解釋
startswith()	xpath(‘//div[starts-with(@id,”ma”)]‘)	#選取id值以ma開(kāi)頭的div節(jié)點(diǎn)
contains()	xpath(‘//div[contains(@id,”ma”)]‘)	#選取id值包含ma的div節(jié)點(diǎn)
and()	xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘)	#選取id值包含ma的div節(jié)點(diǎn)
text()	_.xpath('./div/div[4]/a/em/text()')	#選取em標(biāo)簽下文本內(nèi)容

備注：

1、html中當(dāng)相同層次存在多個(gè)標(biāo)簽例如div,它們的順序是從1開(kāi)始，不是0
2、瀏覽器中使用開(kāi)發(fā)者工具可以快速獲取節(jié)點(diǎn)信息

在這里插入圖片描述

2、實(shí)例：

#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time    : 2021/9/7 9:35
# @Author  : Sun
# @Email   : 8009@163.com
# @File    : sun_test.py
# @Software: PyCharm


import requests
from lxml import etree


def get_web_content():
    try:
        url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E"
  "9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d"
        "abdf18ae8ab5c&page=5&s=116&click=0 "
        header = {
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
            "AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/75.0.3770.100 Safari/537.36 "}
        response = requests.request(method="Get", url=url, headers=header)
        result = response.text
        return result
    except TimeoutError as e:
        return None


def parsing():
    result = get_web_content()
    if result is not None:
        html = etree.HTML(result)
        # 先獲取一個(gè)大的節(jié)點(diǎn)，包含了想要獲取的所有信息
        ii = html.xpath('//*[@id="J_goodsList"]/ul/li')
       
        for _ in ii:
        # 采用循環(huán)，依次從大節(jié)點(diǎn)中獲取小的節(jié)點(diǎn)內(nèi)容
            # ''.join() 將列表中的內(nèi)容拼接成一個(gè)字符串
            infoResult = {
            	# @href 表示：獲取屬性為href的內(nèi)容
                'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
                'title': ''.join(
                        _.xpath('./div/div[2]/div/ul/li/a/@title')),
                # text()表示獲取節(jié)點(diǎn)i里面的文本信息
                'price': _.xpath('./div/div[3]/strong/i/text()')[0],
                'info': ''.join(
                        _.xpath('./div/div[4]/a/em/text()')).strip(),
                'province': _.xpath('./div/div[9]/@data-province')[0]}
            print(infoResult)
    else:
        raise Exception("Failed to get page information, please check！")
    
    return None


if __name__ == '__main__':
    parsing()

結(jié)果圖片：

在這里插入圖片描述