在使用python爬蟲技術(shù)采集數(shù)據(jù)信息時(shí)，經(jīng)常會(huì)遇到在返回的網(wǎng)頁信息中，無法抓取動(dòng)態(tài)加載的可用數(shù)據(jù)。例如，獲取某網(wǎng)頁中，商品價(jià)格時(shí)就會(huì)出現(xiàn)此類現(xiàn)象。如下圖所示。本文將實(shí)現(xiàn)爬取網(wǎng)頁中類似的動(dòng)態(tài)加載的數(shù)據(jù)。

1. 那么什么是動(dòng)態(tài)加載的數(shù)據(jù)?

我們通過requests模塊進(jìn)行數(shù)據(jù)爬取無法每次都是可見即可得，有些數(shù)據(jù)是通過非瀏覽器地址欄中的url請求得到的。而是通過其他請求請求到的數(shù)據(jù)，那么這些通過其他請求請求到的數(shù)據(jù)就是動(dòng)態(tài)加載的數(shù)據(jù)。(猜測有可能是js代碼當(dāng)咱們訪問此頁面時(shí)就會(huì)發(fā)送得get請求，到其他url中獲取數(shù)據(jù))

2. 如何檢測網(wǎng)頁中是否存在動(dòng)態(tài)加載得數(shù)據(jù)?

在當(dāng)前頁面中打開抓包工具，捕獲到地址欄中的url對應(yīng)的數(shù)據(jù)包，在該數(shù)據(jù)包的response選項(xiàng)卡搜索我們想要爬取的數(shù)據(jù)，如果搜索到了結(jié)果則表示數(shù)據(jù)不是動(dòng)態(tài)加載的，否則表示數(shù)據(jù)為動(dòng)態(tài)加載的。如圖所示：

或者鼠標(biāo)右鍵單擊要爬取的頁面顯示網(wǎng)頁源代碼搜索我們想要爬取的數(shù)據(jù)，如果搜索到了結(jié)果則表示數(shù)據(jù)不是動(dòng)態(tài)加載的，否則表示數(shù)據(jù)為動(dòng)態(tài)加載的。如圖所示：

3. 如果數(shù)據(jù)為動(dòng)態(tài)加載，那么我們?nèi)绾尾东@到動(dòng)態(tài)加載的數(shù)據(jù)？

在實(shí)現(xiàn)爬取動(dòng)態(tài)加載的數(shù)據(jù)信息時(shí)，首先需要在瀏覽器的網(wǎng)絡(luò)監(jiān)視器中根據(jù)動(dòng)態(tài)加載的技術(shù)選擇網(wǎng)絡(luò)請求的類型，然后通過逐個(gè)篩選的方式查詢預(yù)覽信息中的關(guān)鍵數(shù)據(jù)，并獲取對應(yīng)的請求地址，最后進(jìn)行信息的解析工作即可。具體步驟如下：

在瀏覽器中快捷鍵F12打開開發(fā)者工具，然后選擇Network(網(wǎng)絡(luò)監(jiān)視器)并在網(wǎng)絡(luò)類型中選擇JS，再按快捷鍵F5刷新，如下圖所示。

在請求信息的列表中，依次單擊每個(gè)請求信息，然后在對應(yīng)的Preview(請求結(jié)果預(yù)覽)中核對是否為需要獲取的動(dòng)態(tài)加載數(shù)據(jù)，如下圖所示。

動(dòng)態(tài)加載的數(shù)據(jù)信息核對完成后，單擊Headers獲取當(dāng)前的網(wǎng)絡(luò)請求地址以及所需參數(shù)，如下圖所示。

根據(jù)以上步驟獲取到的請求地址，發(fā)送網(wǎng)絡(luò)請求并從返回的信息中提取商品價(jià)格信息。筆者在代碼中使用到了反序列化，關(guān)于json序列化和反序列化可以點(diǎn)擊 此處 進(jìn)行學(xué)習(xí)，代碼如下：

import requests
import json

# 獲取商品價(jià)格的請求地址
url = "https://c0.3.cn/stock?skuId=12464037&cat=1713,3259,3333&venderId=1000077923&area" \
  "=4_113_9786_0&buyNum=1&choseSuitSkuIds=&extraParam={%22originid%22:%221%22}&ch=1&fqsp=0&" \
  "pduid=1573698619147398205303&pdpin=jd_635f3b795bb1c&coord=&detailedAdd=&callback=jQuery6495921"
jQuery_id = url.split("=")[-1] + "("
# 頭部信息
headers = {
 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
     "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"
}
# 發(fā)送網(wǎng)絡(luò)請求
response = requests.get(url, headers=headers)
if response.status_code == 200:
 goods_dict = json.loads(response.text.replace(jQuery_id, "")[:-1]) # 反序列化
 print(f"當(dāng)前售價(jià)為: {goods_dict['stock']['jdPrice']['op']}")
 print(f"定價(jià)為: {goods_dict['stock']['jdPrice']['m']}")
 print(f"會(huì)員價(jià)為: {goods_dict['stock']['jdPrice']['tpp']}")
else:
 print("請求失?。?) 	

筆者在寫博文的時(shí)候，價(jià)格發(fā)生了變化，運(yùn)行結(jié)果如下圖所示：

注意：爬取動(dòng)態(tài)加載數(shù)據(jù)信息時(shí)，需要根據(jù)不同的網(wǎng)頁使用不同的方式進(jìn)行數(shù)據(jù)的提取。如果在運(yùn)行源碼時(shí)出現(xiàn)了錯(cuò)誤，請根據(jù)操作步驟獲取新的請求地址即可。

到此這篇關(guān)于Python實(shí)現(xiàn)爬取網(wǎng)頁中動(dòng)態(tài)加載的數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python 爬取網(wǎng)頁動(dòng)態(tài)數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論