python3 Scrapy爬蟲框架ip代理配置的方法
什么是Scrapy？
Scrapy是一個為了爬取網(wǎng)站數(shù)據(jù)，提取結構性數(shù)據(jù)而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經(jīng)被集成了各種功能（高性能異步下載，隊列，分布式，解析，持久化等）的具有很強通用性的項目模板。對于框架的學習，重點是要學習其框架的特性、各個功能的用法即可。
一、背景
在做爬蟲項目的過程中遇到ip代理的問題，網(wǎng)上搜了一些，要么是用阿里云的ip代理，要么是搜一些網(wǎng)上現(xiàn)有的ip資源，然后配置在setting文件中。這兩個方法都存在一些問題。
1、阿里云ip代理方法，網(wǎng)上大都是配置阿里云的ip代理的用戶名、密碼然后加密、解密。我按照上面的方面操作，發(fā)現(xiàn)阿里云上面的ip代理的參數(shù)里面沒有用戶名、密碼相關的參數(shù)配置了。
2、至于網(wǎng)上查到的另外一種方法是在setting文件里面添加代理IP資源池，然后再在middlewares.py文件里面添加上一些代碼來實現(xiàn)，但代理ip不一定是可用的。
二、改進方法
1、基于背景中提到的網(wǎng)上兩種方法的局限性，我在此綜合了兩種方法。
2、改進方法：
1）利用阿里云的ip代理API生成50個代理IP資源池（用自己的阿里云賬號登陸生成的，ip有效性得到保障）
2）直接在middlewares.py中添加如下函數(shù)，PROXIES為在阿里云上面生成的ip，此處涉及到個人隱私，故用****代替。
class my_proxy(object):
def process_request(self, request, spider):
PROXIES = ['http://****.****.****.****:8080']
ip = random.choice(PROXIES)
request.meta['Proxy-Authorization'] = ip
注意：request.meta的方括號里面的關鍵字需要寫對，不然無法正常運行。
總結
以上所述是小編給大家介紹的python3 Scrapy爬蟲框架ip代理配置的方法，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
如果你覺得本文對你有幫助，歡迎轉(zhuǎn)載，煩請注明出處，謝謝！
相關文章
Python是一種動態(tài)類型語言，這意味著我們可以在運行時更改對象的結構，這種靈活性有時可能會導致問題，例如我們可能無意中改變了一個屬性的值，為了解決這些問題，Python提供了一個強大的特性：描述符，文中通過代碼介紹的非常詳細,需要的朋友可以參考下2023-06-06
這篇文章主要給大家介紹了關于如何利用Python畫花樣圖的相關資料,文中通過示例代碼以及圖文介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2021-10-10
Python使用pptx實現(xiàn)復制頁面到其他PPT中
這篇文章主要為大家詳細介紹了python如何使用pptx庫實現(xiàn)從一個ppt復制頁面到另一個ppt里面，文中的示例代碼講解詳細，感興趣的可以嘗試一下2023-02-02
PyQt QListWidget修改列表項item的行高方法
今天小編就為大家分享一篇PyQt QListWidget修改列表項item的行高方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-06-06
這篇文章主要為大家詳細介紹了pygame實現(xiàn)彈力球及其變速效果，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-07-07
這篇文章主要為大家介紹了Pytorch搭建SRGAN平臺提升圖片超分辨率，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-04-04
今天小編就為大家分享一篇關于Python編程圖形庫之Pillow使用方法講解，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2018-12-12
Python plt.imshow函數(shù)及其參數(shù)使用
plt.imshow()是Matplotlib庫中的一個函數(shù),主要用于顯示圖像或矩陣數(shù)據(jù),本文主要介紹了Python plt.imshow函數(shù)及其參數(shù)使用,具有一定的參考價值,感興趣的可以了解一下2024-02-02
這篇文章主要介紹了Pytorch中關于RNN輸入和輸出的形狀總結，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-06-06
這篇文章主要介紹了如何利用python 讀取配置文件，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01