Python實戰(zhàn)練習之終于對肯德基下手
更新時間：2021年10月12日 09:16:03 作者：Bitdancing
讀萬卷書不如行萬里路，學的扎不扎實要通過實戰(zhàn)才能看出來，本篇文章手把手帶你爬下肯德基的官網,大家可以在過程中查缺補漏，看看自己掌握程度怎么樣
準備工作
查看肯德基官網的請求方法：post請求。
X-Requested-With: XMLHttpRequest 判斷得肯德基官網是ajax請求
通過這兩個準備步驟，明確本次爬蟲目標：
ajax的post請求肯德基官網 獲取上?？系禄攸c前10頁。
分析
獲取上海肯德基地點前10頁，那就需要先對每頁的url進行分析。
第一頁
# page1 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 1 # pageSize: 10
第二頁
# page2 # http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname # POST # cname: 上海 # pid: # pageIndex: 2 # pageSize: 10
第三頁依次類推。
程序入口
首先回顧urllib爬取的基本操作：
# 使用urllib獲取百度首頁的源碼
import urllib.request
# 1.定義一個url，就是你要訪問的地址
url = 'http://www.baidu.com'
# 2.模擬瀏覽器向服務器發(fā)送請求 response響應
response = urllib.request.urlopen(url)
# 3.獲取響應中的頁面的源碼 content內容
# read方法 返回的是字節(jié)形式的二進制數據
# 將二進制數據轉換為字符串
# 二進制-->字符串 解碼 decode方法
content = response.read().decode('utf-8')
# 4.打印數據
print(content)
- 定義一個url，就是你要訪問的地址
- 模擬瀏覽器向服務器發(fā)送請求 response響應
- 獲取響應中的頁面的源碼 content內容
if __name__ == '__main__':
start_page = int(input('請輸入起始頁碼: '))
end_page = int(input('請輸入結束頁碼: '))
for page in range(start_page, end_page+1):
# 請求對象的定制
request = create_request(page)
# 獲取網頁源碼
content = get_content(request)
# 下載數據
down_load(page, content)
對應的，我們在主函數中也類似聲明方法。
url組成數據定位
爬蟲的關鍵在于找接口。對于這個案例，在預覽頁可以找到頁面對應的json數據，說明這是我們要的數據。
構造url
不難發(fā)現，肯德基官網的url的一個共同點，我們把它保存為base_url。
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
參數
老樣子，找規(guī)律，只有'pageIndex'和頁碼有關。
data = {
'cname': '上海',
'pid': '',
'pageIndex': page,
'pageSize': '10'
}
post請求
- post請求的參數 必須要進行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
- 編碼之后必須調用encode方法
- 參數放在請求對象定制的方法中：post的請求的參數，是不會拼接在url后面的，而是放在請求對象定制的參數中
所以將data進行編碼
data = urllib.parse.urlencode(data).encode('utf-8')
標頭獲取（防止反爬的一種手段）
即 響應頭中UA部分。
User Agent，用戶代理，特殊字符串頭，使得服務器能夠識別客戶使用的操作系統(tǒng)及版本，CPU類型，瀏覽器及版本，瀏覽器內核，瀏覽器渲染引擎，瀏覽器語言，瀏覽器插件等。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
}
請求對象定制
參數，base_url，請求頭都準備得當后，就可以進行請求對象定制了。
request = urllib.request.Request(base_url, headers=headers, data=data)
獲取網頁源碼
把request請求作為參數，模擬瀏覽器向服務器發(fā)送請求 獲得response響應。
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
獲取響應中的頁面的源碼，下載數據
使用 read()方法，得到字節(jié)形式的二進制數據，需要使用 decode進行解碼，轉換為字符串。
content = response.read().decode('utf-8')
然后我們將下載得到的數據寫進文件，使用 with open() as fp 的語法，系統(tǒng)自動關閉文件。
def down_load(page, content):
with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
fp.write(content)
全部代碼
# ajax的post請求肯德基官網 獲取上?？系禄攸c前10頁
# page1
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 1
# pageSize: 10
# page2
# http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname
# POST
# cname: 上海
# pid:
# pageIndex: 2
# pageSize: 10
import urllib.request, urllib.parse
def create_request(page):
base_url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=cname'
data = {
'cname': '上海',
'pid': '',
'pageIndex': page,
'pageSize': '10'
}
data = urllib.parse.urlencode(data).encode('utf-8')
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.71 Safari/537.36 Edg/94.0.992.38'
}
request = urllib.request.Request(base_url, headers=headers, data=data)
return request
def get_content(request):
response = urllib.request.urlopen(request)
content = response.read().decode('utf-8')
return content
def down_load(page, content):
with open('kfc_' + str(page) + '.json', 'w', encoding='utf-8') as fp:
fp.write(content)
if __name__ == '__main__':
start_page = int(input('請輸入起始頁碼: '))
end_page = int(input('請輸入結束頁碼: '))
for page in range(start_page, end_page+1):
# 請求對象的定制
request = create_request(page)
# 獲取網頁源碼
content = get_content(request)
# 下載數據
down_load(page, content)
爬取后結果
鞠躬?。?！其實還爬過Lisa的照片，想看爬蟲代碼的歡迎留言 ?。?！
到此這篇關于Python實戰(zhàn)練習之終于對肯德基下手的文章就介紹到這了,更多相關Python 肯德基官網內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
這篇文章主要為大家詳細介紹了python2.7實現爬蟲網頁數據，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-05-05
本文主要介紹了Flask wtforms實現表單驗證使用，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
LyScript插件中提供了三種基本的堆棧操作方法，其中push_stack用于入棧，pop_stack用于出棧，peek_stac可用于檢查指定堆棧位置處的內存參數。所以本文將利用這一特性實現對內存堆棧掃描，感興趣的可以了解一下2022-08-08
Python?pandas按行、按列遍歷DataFrame的幾種方式
在python的DataFrame中,因為數據中可以有多個行和列,而且每行代表一個數據樣本,我們可以將DataFrame看作數據表,那你知道如何按照數據表中的行遍歷嗎,下面這篇文章主要給大家介紹了關于Python?pandas按行、按列遍歷DataFrame的幾種方式,需要的朋友可以參考下2022-09-09
這篇文章主要介紹了關于numpy.array的shape屬性理解,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要介紹了pytorch實現梯度下降和反向傳播，反向傳播的目的是計算成本函數C對網絡中任意w或b的偏導數。一旦我們有了這些偏導數，我們將通過一些常數α的乘積和該數量相對于成本函數的偏導數來更新網絡中的權重和偏差2023-04-04
python requests.post帶head和body的實例
今天小編就為大家分享一篇python requests.post帶head和body的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01
這篇文章主要給大家介紹了關于python pyqt5安裝失敗問題的解決方法，文中給出了詳細的解決過程與解決方法，對同樣遇到這個問題的朋友們具有一定的參考學習價值，需要的朋友們跟著小編來一起學習學習吧。2017-08-08
今天小編就為大家分享一篇解決python報錯MemoryError的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
今天帶大家來練習python實戰(zhàn),文中對利用python實現企業(yè)微信發(fā)送消息作了詳細的圖文解說及代碼示例,對正在學習python的小伙伴很有幫助,需要的朋友可以參考下2021-05-05