檢測python爬蟲時是否代理ip偽裝成功的方法
更新時間:2019年07月12日 08:29:46 作者:千鋒Python唐唐君
這篇文章主要介紹了檢測python爬蟲時是否代理ip偽裝成功的方法以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持腳本之家。,需要的朋友可以參考下
有時候我們的爬蟲程序添加了代理,但是我們不知道程序是否獲取到了ip,尤其是動態(tài)轉發(fā)模式的,這時候就需要進行檢測了,以下是一種代理是否偽裝成功的檢測方式,這里推介使用億牛云提供的代碼示例。
Python¶ requests #! -*- encoding:utf-8 -*- import requests import random # 要訪問的目標頁面 targetUrl = "http://httpbin.org/ip" # 要訪問的目標HTTPS頁面 # targetUrl = "https://httpbin.org/ip" # 代理服務器 proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理隧道驗證信息 proxyUser = "16ZKBRLB" proxyPass = "234076" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 設置 http和https訪問都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 設置IP切換頭 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text
要檢測代理是否獲取到,直接在配置代理后訪http://httpbin.org/ip網站,獲取到ip后再訪問www.ip138.com就知道是否獲取到了ip。
相關文章
深入理解Python虛擬機中列表(list)的實現原理及源碼剖析
在本篇文章當中主要給大家介紹?cpython?虛擬機當中針對列表的實現,在?Python?中,List?是一種非常常用的數據類型,可以存儲任何類型的數據,并且支持各種操作,如添加、刪除、查找、切片等,在本篇文章當中將深入去分析這一點是如何實現的2023-03-03centos+nginx+uwsgi部署django項目上線
本文主要介紹了centos+nginx+uwsgi部署django項目上線,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2022-07-07python將多個py文件和其他文件打包為exe可執(zhí)行文件
這篇文章主要介紹了python將多個py文件和其他文件打包為exe可執(zhí)行文件,通過準備要打包的工程文件展開詳情,需要的小伙伴可以參考一下2022-05-05