欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬取肯德基官網(wǎng)ajax的post請求實現(xiàn)過程

 更新時間：2021年10月13日 16:06:18   作者：Bitdancing  
這篇文章主要介紹了Python爬取肯德基官網(wǎng)ajax的post請求實現(xiàn)過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家學(xué)有所得，多多進(jìn)步

請?zhí)砑訄D片描述

準(zhǔn)備工作

查看肯德基官網(wǎng)的請求方法：post請求。

在這里插入圖片描述

X-Requested-With: XMLHttpRequest 判斷得肯德基官網(wǎng)是ajax請求

在這里插入圖片描述

通過這兩個準(zhǔn)備步驟，明確本次爬蟲目標(biāo)：
ajax的post請求肯德基官網(wǎng) 獲取上?？系禄攸c前10頁。

分析

獲取上?？系禄攸c前10頁，那就需要先對每頁的url進(jìn)行分析。

第一頁

# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10

第二頁

# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10

第三頁依次類推。

程序入口

首先回顧urllib爬取的基本操作：

# 使用urllib獲取百度首頁的源碼
import urllib.request

# 1.定義一個url，就是你要訪問的地址
url = 'http://www.baidu.com'

# 2.模擬瀏覽器向服務(wù)器發(fā)送請求 response響應(yīng)
response = urllib.request.urlopen(url)

# 3.獲取響應(yīng)中的頁面的源碼 content內(nèi)容
# read方法 返回的是字節(jié)形式的二進(jìn)制數(shù)據(jù)
# 將二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為字符串
# 二進(jìn)制-->字符串  解碼 decode方法
content = response.read().decode('utf-8')

# 4.打印數(shù)據(jù)
print(content)

1.定義一個url，就是你要訪問的地址

2.模擬瀏覽器向服務(wù)器發(fā)送請求 response響應(yīng)

3.獲取響應(yīng)中的頁面的源碼 content內(nèi)容

if __name__ == '__main__':
    start_page = int(input('請輸入起始頁碼: '))
    end_page = int(input('請輸入結(jié)束頁碼: '))

    for page in range(start_page, end_page+1):
        # 請求對象的定制
        request = create_request(page)
        # 獲取網(wǎng)頁源碼
        content = get_content(request)
        # 下載數(shù)據(jù)
        down_load(page, content)

對應(yīng)的，我們在主函數(shù)中也類似聲明方法。

url組成數(shù)據(jù)定位

請?zhí)砑訄D片描述

爬蟲的關(guān)鍵在于找接口。對于這個案例，在預(yù)覽頁可以找到頁面對應(yīng)的json數(shù)據(jù)，說明這是我們要的數(shù)據(jù)。

請?zhí)砑訄D片描述

構(gòu)造url

不難發(fā)現(xiàn)，肯德基官網(wǎng)的url的一個共同點，我們把它保存為base_url。

base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'

參數(shù)

老樣子，找規(guī)律，只有'pageIndex'和頁碼有關(guān)。

    data = {
        'cname': '上海',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }

post請求

  • post請求的參數(shù) 必須要進(jìn)行編碼

data = urllib.parse.urlencode(data).encode('utf-8')

  • 編碼之后必須調(diào)用encode方法
  • 參數(shù)放在請求對象定制的方法中：post的請求的參數(shù)，是不會拼接在url后面的，而是放在請求對象定制的參數(shù)中

所以將data進(jìn)行編碼

data = urllib.parse.urlencode(data).encode('utf-8')

標(biāo)頭獲?。ǚ乐狗磁赖囊环N手段）

請?zhí)砑訄D片描述

請?zhí)砑訄D片描述

即 響應(yīng)頭中UA部分。

User Agent，用戶代理，特殊字符串頭，使得服務(wù)器能夠識別客戶使用的操作系統(tǒng)及版本，CPU類型，瀏覽器及版本，瀏覽器內(nèi)核，瀏覽器渲染引擎，瀏覽器語言，瀏覽器插件等。

 headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
    }

請求對象定制

參數(shù)，base_url，請求頭都準(zhǔn)備得當(dāng)后，就可以進(jìn)行請求對象定制了。

 request = urllib.request.Request(base_url,
  headers=headers, data=data)

獲取網(wǎng)頁源碼

把request請求作為參數(shù)，模擬瀏覽器向服務(wù)器發(fā)送請求 獲得response響應(yīng)。

 response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')

獲取響應(yīng)中的頁面的源碼，下載數(shù)據(jù)

使用 read()方法，得到字節(jié)形式的二進(jìn)制數(shù)據(jù)，需要使用 decode進(jìn)行解碼，轉(zhuǎn)換為字符串。

content = response.read().decode('utf-8')

然后我們將下載得到的數(shù)據(jù)寫進(jìn)文件，使用 with open() as fp 的語法，系統(tǒng)自動關(guān)閉文件。

def down_load(page, content):
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

全部代碼

# ajax的post請求肯德基官網(wǎng) 獲取上?？系禄攸c前10頁
# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10
# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10
import urllib.request, urllib.parse
def create_request(page):
    base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
    data = {
        'cname': '上海',
        'pid': '',
        'pageIndex': page,
        'pageSize': '10'
    }
    data = urllib.parse.urlencode(data).encode('utf-8')
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
    }
    request = urllib.request.Request(base_url, headers=headers, data=data)
    return request

def get_content(request):
    response = urllib.request.urlopen(request)
    content = response.read().decode('utf-8')
    return content

def down_load(page, content):
    with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
        fp.write(content)

if __name__ == '__main__':
    start_page = int(input('請輸入起始頁碼: '))
    end_page = int(input('請輸入結(jié)束頁碼: '))
    for page in range(start_page, end_page+1):
        # 請求對象的定制
        request = create_request(page)
        # 獲取網(wǎng)頁源碼
        content = get_content(request)
        # 下載數(shù)據(jù)
        down_load(page, content)

爬取后結(jié)果

在這里插入圖片描述

以上就是Python爬取肯德基官網(wǎng)ajax的post請求實現(xiàn)過程的詳細(xì)內(nèi)容，更多關(guān)于Python爬取肯德基官網(wǎng)ajax的post請求的資料請關(guān)注腳本之家其它相關(guān)文章！

相關(guān)文章

  • 使用python批量化音樂文件格式轉(zhuǎn)換的實例

    使用python批量化音樂文件格式轉(zhuǎn)換的實例

    今天小編就為大家分享一篇使用python批量化音樂文件格式轉(zhuǎn)換的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • Django中使用locals()函數(shù)的技巧

    Django中使用locals()函數(shù)的技巧

    這篇文章主要介紹了Django中使用locals()函數(shù)的技巧,Django是Python重多高人氣框架中最為著名的一個,需要的朋友可以參考下
    2015-07-07
  • python 疊加等邊三角形的繪制的實現(xiàn)

    python 疊加等邊三角形的繪制的實現(xiàn)

    這篇文章主要介紹了python 疊加等邊三角形的繪制的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • 對pyqt5多線程正確的開啟姿勢詳解

    對pyqt5多線程正確的開啟姿勢詳解

    今天小編就為大家分享一篇對pyqt5多線程正確的開啟姿勢詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-06-06
  • python opencv角點檢測連線功能的實現(xiàn)代碼

    python opencv角點檢測連線功能的實現(xiàn)代碼

    這篇文章主要介紹了python opencv角點檢測連線功能的實現(xiàn)代碼,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2020-11-11
  • Django框架使用mysql視圖操作示例

    Django框架使用mysql視圖操作示例

    這篇文章主要介紹了Django框架使用mysql視圖操作,結(jié)合實例形式分析了mysql視圖的創(chuàng)建、查看以及Django框架使用mysql視圖相關(guān)操作技巧,需要的朋友可以參考下
    2019-05-05
  • python實現(xiàn)數(shù)據(jù)庫跨服務(wù)器遷移

    python實現(xiàn)數(shù)據(jù)庫跨服務(wù)器遷移

    這篇文章主要為大家詳細(xì)介紹了Python實現(xiàn)數(shù)據(jù)庫之間的數(shù)據(jù)遷移，具有一定的參考價值，感興趣的小伙伴們可以參考一下
    2018-04-04
  • Python實現(xiàn)模擬登錄及表單提交的方法

    Python實現(xiàn)模擬登錄及表單提交的方法

    這篇文章主要介紹了Python實現(xiàn)模擬登錄及表單提交的方法,涉及Python正則匹配、cookie及URL操作的相關(guān)技巧,具有一定參考借鑒價值,需要的朋友可以參考下
    2015-07-07
  • Python實現(xiàn)批量文件分類保存的示例代碼

    Python實現(xiàn)批量文件分類保存的示例代碼

    當(dāng)我們電腦里面的文本或者或者文件夾太多了，有時候想找到自己想要的文件，只能通過去搜索文件名，這樣還是很麻煩的。本文將通過Python語言實現(xiàn)文件批量分類保存，需要的可以參考一下
    2022-04-04
  • 利用4行Python代碼監(jiān)測每一行程序的運(yùn)行時間和空間消耗

    利用4行Python代碼監(jiān)測每一行程序的運(yùn)行時間和空間消耗

    這篇文章主要介紹了如何使用4行Python代碼監(jiān)測每一行程序的運(yùn)行時間和空間消耗,本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
    2020-04-04

最新評論