Python headers請求頭如何實現(xiàn)快速添加
1、為什么要設(shè)置headers?
在請求網(wǎng)頁爬取的時候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。
headers是解決requests請求反爬的方法之一，相當(dāng)于我們進去這個網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。
對反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。
2、 headers在哪里找？
谷歌或者火狐瀏覽器，在網(wǎng)頁面上點擊：右鍵–>檢查–>剩余按照圖中顯示操作，需要按Fn+F5刷新出網(wǎng)頁來
有的瀏覽器是點擊：右鍵->查看元素，刷新
Python爬蟲中Requests設(shè)置請求頭Headers的方法
注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對的形式展現(xiàn)出來，如果user-agent 以字典鍵對形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對；否則，需要加入headers下的更多鍵對形式。
代碼如下
import re
# 下方引號內(nèi)添加替換掉請求頭內(nèi)容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))
結(jié)果
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python實現(xiàn)復(fù)制整個目錄的方法,涉及Python中shutil模塊的相關(guān)操作技巧,需要的朋友可以參考下2015-05-05
7個關(guān)于Python的經(jīng)典基礎(chǔ)案例
這篇文章主要給大家分享 7個關(guān)于Python的經(jīng)典基礎(chǔ)案例，列表排序、調(diào)換字典鍵值、刪除列表中的重復(fù)元素、輸出質(zhì)數(shù)、判斷是一年中第幾天、猜數(shù)字、進制轉(zhuǎn)換；,需要的朋友可以參考一下2021-11-11
Python 實現(xiàn)數(shù)據(jù)結(jié)構(gòu)-循環(huán)隊列的操作方法
這篇文章主要介紹了Python 實現(xiàn)數(shù)據(jù)結(jié)構(gòu)-循環(huán)隊列的操作方法,需要的朋友可以參考下2019-07-07
本文基于 Python3 的 Pyecharts 制作 Map3D（三維地圖） 時需要使用的設(shè)置參數(shù)和常用模板案例,使用 Pyecharts 進行數(shù)據(jù)可視化時可提供直觀、交互豐富、可高度個性化定制的數(shù)據(jù)可視化圖表。案例中的代碼內(nèi)容基于 Pyecharts 1.x 版本,需要的朋友可以參考下2021-06-06
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)計算圖形面積，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-02-02
詳解利用python+opencv識別圖片中的圓形（霍夫變換）
這篇文章主要介紹了詳解利用python+opencv識別圖片中的圓形（霍夫變換），文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
用scikit-learn和pandas學(xué)習(xí)線性回歸的方法
這篇文章主要介紹了用scikit-learn和pandas學(xué)習(xí)線性回歸的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
Python開發(fā)之基于模板匹配的信用卡數(shù)字識別功能
這篇文章主要介紹了基于模板匹配的信用卡數(shù)字識別功能，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了Python 去除字符串中指定字符串,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
一文詳解Python中實現(xiàn)單例模式的幾種常見方式
這篇文章主要為大家介紹了Python中實現(xiàn)單例模式的幾種常見方式示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03