欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python通過偽裝頭部數(shù)據(jù)抵抗反爬蟲的實例

 更新時間：2018年05月07日 08:47:56   作者：JackReach  
下面小編就為大家分享一篇python通過偽裝頭部數(shù)據(jù)抵抗反爬蟲的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

0x00 環(huán)境

系統(tǒng)環(huán)境:win10

編寫工具:JetBrains PyCharm Community Edition 2017.1.2 x64

python 版本:python-3.6.2

抓包工具:Fiddler 4

0x01 頭部數(shù)據(jù)偽裝思路

通過http向服務(wù)器提交數(shù)據(jù),以下是通過Fiddler 抓取python沒有偽裝的報文頭信息

GET /u012870721 HTTP/1.1
Accept-Encoding: identity
Host: blog.csdn.net
User-Agent: <span style="color:#ff0000;">Python-urllib/3.6</span>
Connection: close

Python-urllib/3.6

很明顯啊，我們暴露了。現(xiàn)在要問了，該怎么！模擬瀏覽器，讓自己偽裝成瀏覽器，一下是瀏覽器訪問發(fā)送的頭部數(shù)據(jù)

Connection: keep-alive
Upgrade-Insecure-Requests: 1
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36
Referer: http://write.blog.csdn.net/postlist
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.8

0x02代碼實現(xiàn)

from urllib import request
html_url = "http://blog.csdn.net/u012870721";
#偽裝構(gòu)造頭
header ={
 "Connection": "keep-alive",
 "Upgrade-Insecure-Requests": "1",
 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36",
 "Accept":" text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
 "Accept-Encoding": "gzip,deflate",
 "Accept-Language": "zh-CN,zh;q=0.8"
};

#int main()
#{
req = request.Request(url=html_url, headers=header);

resp = request.urlopen(req);
# return 0;
# }

偽裝后進行發(fā)送的信息頭

GET /u012870721 HTTP/1.1 
Host: blog.csdn.net 
Connection: close 
Upgrade-Insecure-Requests: 1 
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36 
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8 
Accept-Encoding: gzip,deflate 
Accept-Language: zh-CN,zh;q=0.8

以上這篇python通過偽裝頭部數(shù)據(jù)抵抗反爬蟲的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

相關(guān)文章

  • 分享一個可以生成各種進制格式IP的小工具實例代碼

    分享一個可以生成各種進制格式IP的小工具實例代碼

    這篇文章主要給大家分享了一個可以生成各種進制格式IP的小工具，利用的語言是python實現(xiàn)的一個小工具，這個小工具對大家的日常使用與開發(fā)具有一定的參考學習價值，需要的朋友們下面跟著小編來一起看看吧。
    2017-07-07
  • python編輯用戶登入界面的實現(xiàn)代碼

    python編輯用戶登入界面的實現(xiàn)代碼

    這篇文章主要介紹了python編輯用戶登入界面的實現(xiàn)代碼，非常不錯，代碼簡單易懂，具有一定的參考借鑒價值,需要的朋友可以參考下
    2018-07-07
  • django注冊用郵箱發(fā)送驗證碼的實現(xiàn)

    django注冊用郵箱發(fā)送驗證碼的實現(xiàn)

    這篇文章主要介紹了django注冊用郵箱發(fā)送驗證碼的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
    2021-04-04
  • Python中的shutil標準庫用法解析

    Python中的shutil標準庫用法解析

    這篇文章主要介紹了Python中的shutil標準庫用法解析,shutil模塊提供了許多關(guān)于文件和文件集合的高級操作,特別提供了支持文件復制和刪除的功能,需要的朋友可以參考下
    2023-09-09
  • Python實現(xiàn)朗讀在線音頻和本地音頻

    Python實現(xiàn)朗讀在線音頻和本地音頻

    在日常的Python軟件開發(fā)中,我們經(jīng)常會遇到一個非常重要的功能需求——讓程序能夠讀取并顯示文本內(nèi)容,下面我們就來學習一下Python實現(xiàn)朗讀音頻的具體操作吧
    2024-03-03
  • python中安裝模塊包版本沖突問題的解決

    python中安裝模塊包版本沖突問題的解決

    這篇文章主要給大家介紹了在python中安裝模塊包版本沖突問題的解決方法，文中介紹了該問題的原因與解決方法，需要的朋友可以參考借鑒，下面來一起看看吧。
    2017-05-05
  • python基于turtle繪制幾何圖形

    python基于turtle繪制幾何圖形

    turtle又稱為海龜繪圖，是Wally Feurzeig, Seymour Papert 和 Cynthia Solomon 于 1967 年所創(chuàng)造的 Logo 編程語言的python實現(xiàn)。turtle是基于tkinter圖形界面設(shè)計的。
    2021-06-06
  • Python中的map()函數(shù)和reduce()函數(shù)的用法

    Python中的map()函數(shù)和reduce()函數(shù)的用法

    這篇文章主要介紹了Python中的map()函數(shù)和reduce()函數(shù)的用法,代碼基于Python2.x版本,需要的朋友可以參考下
    2015-04-04
  • pandas || df.dropna() 缺失值刪除操作

    pandas || df.dropna() 缺失值刪除操作

    這篇文章主要介紹了pandas || df.dropna() 缺失值刪除操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • python生成器推導式用法簡單示例

    python生成器推導式用法簡單示例

    這篇文章主要介紹了python生成器推導式用法,結(jié)合簡單實例形式分析了Python生成器推導式的原理、使用方法及相關(guān)操作注意事項,需要的朋友可以參考下
    2019-10-10

最新評論