Python headers請求頭如何實現(xiàn)快速添加
更新時間：2020年11月03日 08:23:08 作者：15號計劃
這篇文章主要介紹了Python headers請求頭如何實現(xiàn)快速添加,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
1、為什么要設置headers?
在請求網頁爬取的時候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。
headers是解決requests請求反爬的方法之一，相當于我們進去這個網頁的服務器本身，假裝自己本身在爬取數(shù)據(jù)。
對反爬蟲網頁，可以設置一些headers信息，模擬成瀏覽器取訪問網站 。
2、 headers在哪里找？
谷歌或者火狐瀏覽器，在網頁面上點擊：右鍵–>檢查–>剩余按照圖中顯示操作，需要按Fn+F5刷新出網頁來
有的瀏覽器是點擊：右鍵->查看元素，刷新
Python爬蟲中Requests設置請求頭Headers的方法
注意：headers中有很多內容，主要常用的就是user-agent 和 host，他們是以鍵對的形式展現(xiàn)出來，如果user-agent 以字典鍵對形式作為headers的內容，就可以反爬成功，就不需要其他鍵對；否則，需要加入headers下的更多鍵對形式。
代碼如下
import re
# 下方引號內添加替換掉請求頭內容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))
結果
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了python實現(xiàn)復制整個目錄的方法,涉及Python中shutil模塊的相關操作技巧,需要的朋友可以參考下2015-05-05
這篇文章主要給大家分享 7個關于Python的經典基礎案例，列表排序、調換字典鍵值、刪除列表中的重復元素、輸出質數(shù)、判斷是一年中第幾天、猜數(shù)字、進制轉換；,需要的朋友可以參考一下2021-11-11
Python 實現(xiàn)數(shù)據(jù)結構-循環(huán)隊列的操作方法
這篇文章主要介紹了Python 實現(xiàn)數(shù)據(jù)結構-循環(huán)隊列的操作方法,需要的朋友可以參考下2019-07-07
本文基于 Python3 的 Pyecharts 制作 Map3D（三維地圖） 時需要使用的設置參數(shù)和常用模板案例,使用 Pyecharts 進行數(shù)據(jù)可視化時可提供直觀、交互豐富、可高度個性化定制的數(shù)據(jù)可視化圖表。案例中的代碼內容基于 Pyecharts 1.x 版本,需要的朋友可以參考下2021-06-06
這篇文章主要為大家詳細介紹了python實現(xiàn)計算圖形面積，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-02-02
詳解利用python+opencv識別圖片中的圓形（霍夫變換）
這篇文章主要介紹了詳解利用python+opencv識別圖片中的圓形（霍夫變換），文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-07-07
這篇文章主要介紹了用scikit-learn和pandas學習線性回歸的方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-06-06
Python開發(fā)之基于模板匹配的信用卡數(shù)字識別功能
這篇文章主要介紹了基于模板匹配的信用卡數(shù)字識別功能，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了Python 去除字符串中指定字符串,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-03-03
一文詳解Python中實現(xiàn)單例模式的幾種常見方式
這篇文章主要為大家介紹了Python中實現(xiàn)單例模式的幾種常見方式示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-03-03