Python基于scrapy采集數(shù)據(jù)時使用代理服務器的方法
更新時間：2015年04月16日 11:27:08 作者：pythoner
這篇文章主要介紹了Python基于scrapy采集數(shù)據(jù)時使用代理服務器的方法,涉及Python使用代理服務器的技巧,具有一定參考借鑒價值,需要的朋友可以參考下
本文實例講述了Python基于scrapy采集數(shù)據(jù)時使用代理服務器的方法。分享給大家供大家參考。具體如下：
# To authenticate the proxy, #you must set the Proxy-Authorization header. #You *cannot* use the form http://user:pass@proxy:port #in request.meta['proxy'] import base64 proxy_ip_port = "123.456.789.10:8888" proxy_user_pass = "awesome:dude" request = Request(url, callback=self.parse) # Set the location of the proxy request.meta['proxy'] = "http://%s" % proxy_ip_port # setup basic authentication for the proxy encoded_user_pass=base64.encodestring(proxy_user_pass) request.headers['Proxy-Authorization'] = 'Basic ' + encoded_user_pass
希望本文所述對大家的python程序設計有所幫助。
相關文章
這篇文章主要介紹了如何在django中運行scrapy框架,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
每年的春節(jié)，都會有一些自己幾乎沒印象但父母就是很熟的親戚，關系凌亂到你自己都說不清。本文就來用Python制作一個有趣的親戚關系計算器，感興趣的可以了解一下2023-01-01
這篇文章主要介紹了關于Python字符串顯示u...的解決方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03
Python .py生成.pyd文件并打包.exe 的注意事項說明
這篇文章主要介紹了Python .py生成.pyd文件并打包.exe 的注意事項說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了python 利用百度API識別圖片文字（多線程版），幫助大家更好的利用python進行機器識別，感興趣的朋友可以了解下2020-12-12
這篇文章主要介紹了python匿名函數(shù)用法,結合實例形式分析了Python匿名函數(shù)的特點、功能及相關使用方法,需要的朋友可以參考下2019-08-08
這篇文章主要介紹了python實現(xiàn)逢七拍腿小游戲的思路，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-05-05
這篇文章主要介紹了keras的三種模型實現(xiàn)與區(qū)別說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-07-07
這篇文章主要介紹了在終端啟動Python時報錯的解決方案，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2020-11-11
numpy中的隨機打亂數(shù)據(jù)方法np.random.shuffle解讀
這篇文章主要介紹了numpy中的隨機打亂數(shù)據(jù)方法np.random.shuffle解讀，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05