https://k.autohome.com.cn/4851/index_2.html#dataList
https://k.autohome.com.cn/4851/index_3.html#dataList
https://k.autohome.com.cn/4851/index_4.html#dataList

# typeid是車型，page是頁(yè)碼
url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'

import requests
import pandas as pd
import html
from lxml import etree
import re

# 獲取網(wǎng)頁(yè)數(shù)據(jù)（傳遞參數(shù) 車型typeid和頁(yè)碼數(shù)）
def get_html(typeid,page):
    # 組合出請(qǐng)求地址
    url = f'https://k.autohome.com.cn/{typeid}/index_{page}.html#dataList'
    # 請(qǐng)求數(shù)據(jù)（因?yàn)闆](méi)有反爬，這里沒(méi)有設(shè)置請(qǐng)求頭和其他參數(shù)）
    r = requests.get(url)
    # 請(qǐng)求的網(wǎng)頁(yè)數(shù)據(jù)中有網(wǎng)頁(yè)特殊字符，通過(guò)以下方法進(jìn)行解析
    r = html.unescape(r.text)
    # 返回網(wǎng)頁(yè)數(shù)據(jù)
    return r

try:
    pages = int(re.findall(r'共(\d+)頁(yè)',r)[0])
# 如果請(qǐng)求不到頁(yè)數(shù)，則表示該車型下沒(méi)有口碑?dāng)?shù)據(jù)
except :
    print(f'{name} 沒(méi)有數(shù)據(jù)！')
    continue

divs = r_html.xpath('.//div[@class="mouthcon-cont-left"]')
# 遍歷每個(gè)全部的車輛銷售信息
for div in divs:
    # 找到車輛銷售信息所在的地方
    mt = div.xpath('./div[@class="choose-con mt-10"]')[0]
    # 找到所需字段
    infos = mt.xpath('./dl[@class="choose-dl"]')
    # 設(shè)置空的字典，用于存儲(chǔ)單個(gè)車輛信息
    item = {}
    # 遍歷車輛信息字段
    for info in infos:
        key = info.xpath('.//dt/text()')[0]
        # 當(dāng)字段為購(gòu)買車型時(shí)，進(jìn)行拆分為車型和配置
        if key == '購(gòu)買車型':
            item[key] = info.xpath('.//dd/a/text()')[0]
            item['購(gòu)買配置'] = info.xpath('.//span[@class="font-arial"]/text()')[0]
        # 當(dāng)字段為購(gòu)車經(jīng)銷商時(shí)，需要獲取經(jīng)銷商的id參數(shù)，再調(diào)用api獲取其真實(shí)經(jīng)銷商信息（這里有坑）
        elif key == '購(gòu)車經(jīng)銷商':
            # 經(jīng)銷商id參數(shù)
            經(jīng)銷商id = info.xpath('.//dd/a/@data-val')[0] +','+ info.xpath('.//dd/a/@data-evalid')[0]
            # 組合經(jīng)銷商信息請(qǐng)求地址
            jxs_url = base_jxs_url+經(jīng)銷商id+'|'
            # 請(qǐng)求數(shù)據(jù)（為json格式）
            data = requests.get(jxs_url)
            j = data.json()
            # 獲取經(jīng)銷商名稱
            item[key] = j['result']['List'][0]['CompanySimple']
        else:
            # 其他字段時(shí)，替換轉(zhuǎn)義字符和空格等為空
            item[key] = info.xpath('.//dd/text()')[0].replace("\r\n","").replace(' ','').replace('\xa0','')

df = pd.DataFrame(items)
df = df[['購(gòu)買車型', '購(gòu)買配置', '購(gòu)買地點(diǎn)', '購(gòu)車經(jīng)銷商', '購(gòu)買時(shí)間', '裸車購(gòu)買價(jià)']]
# 數(shù)據(jù)存儲(chǔ)在本地
df.to_excel(r'車輛銷售信息.xlsx',index=None,sheet_name='data')