Python爬蟲代理IP池實現(xiàn)方法
在公司做分布式深網(wǎng)爬蟲,搭建了一套穩(wěn)定的代理池服務,為上千個爬蟲提供有效的代理,保證各個爬蟲拿到的都是對應網(wǎng)站有效的代理IP,從而保證爬蟲快速穩(wěn)定的運行,當然在公司做的東西不能開源出來。不過呢,閑暇時間手癢,所以就想利用一些免費的資源搞一個簡單的代理池服務。
1、問題
代理IP從何而來?
剛自學爬蟲的時候沒有代理IP就去西刺、快代理之類有免費代理的網(wǎng)站去爬,還是有個別代理能用。當然,如果你有更好的代理接口也可以自己接入。 免費代理的采集也很簡單,無非就是:訪問頁面頁面 —> 正則/xpath提取 —> 保存
如何保證代理質(zhì)量?
可以肯定免費的代理IP大部分都是不能用的,不然別人為什么還提供付費的(不過事實是很多代理商的付費IP也不穩(wěn)定,也有很多是不能用)。所以采集回來的代理IP不能直接使用,可以寫檢測程序不斷的去用這些代理訪問一個穩(wěn)定的網(wǎng)站,看是否可以正常使用。這個過程可以使用多線程或異步的方式,因為檢測代理是個很慢的過程。
采集回來的代理如何存儲?
這里不得不推薦一個高性能支持多種數(shù)據(jù)結構的NoSQL數(shù)據(jù)庫SSDB,用于代理Redis。支持隊列、hash、set、k-v對,支持T級別數(shù)據(jù)。是做分布式爬蟲很好中間存儲工具。
如何讓爬蟲更簡單的使用這些代理?
答案肯定是做成服務咯,python有這么多的web框架,隨便拿一個來寫個api供爬蟲調(diào)用。這樣有很多好處,比如:當爬蟲發(fā)現(xiàn)代理不能使用可以主動通過api去delete代理IP,當爬蟲發(fā)現(xiàn)代理池IP不夠用時可以主動去refresh代理池。這樣比檢測程序更加靠譜。
2、代理池設計
代理池由四部分組成:
ProxyGetter:
代理獲取接口,目前有5個免費代理源,每調(diào)用一次就會抓取這個5個網(wǎng)站的最新代理放入DB,可自行添加額外的代理獲取接口;
DB:
用于存放代理IP,現(xiàn)在暫時只支持SSDB。至于為什么選擇SSDB,大家可以參考這篇文章,個人覺得SSDB是個不錯的Redis替代方案,如果你沒有用過SSDB,安裝起來也很簡單,可以參考這里;
Schedule:
計劃任務用戶定時去檢測DB中的代理可用性,刪除不可用的代理。同時也會主動通過ProxyGetter去獲取最新代理放入DB;
ProxyApi:
代理池的外部接口,由于現(xiàn)在這么代理池功能比較簡單,花兩個小時看了下Flask,愉快的決定用Flask搞定。功能是給爬蟲提供get/delete/refresh等接口,方便爬蟲直接使用。
[HTML_REMOVED] 設計
3、代碼模塊
Python中高層次的數(shù)據(jù)結構,動態(tài)類型和動態(tài)綁定,使得它非常適合于快速應用開發(fā),也適合于作為膠水語言連接已有的軟件部件。用Python來搞這個代理IP池也很簡單,代碼分為6個模塊:
Api: api接口相關代碼,目前api是由Flask實現(xiàn),代碼也非常簡單??蛻舳苏埱髠鹘oFlask,F(xiàn)lask調(diào)用ProxyManager中的實現(xiàn),包括get/delete/refresh/get_all
;
DB: 數(shù)據(jù)庫相關代碼,目前數(shù)據(jù)庫是采用SSDB。代碼用工廠模式實現(xiàn),方便日后擴展其他類型數(shù)據(jù)庫;
Manager: get/delete/refresh/get_all
等接口的具體實現(xiàn)類,目前代理池只負責管理proxy,日后可能會有更多功能,比如代理和爬蟲的綁定,代理和賬號的綁定等等;
ProxyGetter: 代理獲取的相關代碼,目前抓取了快代理、代理66、有代理、西刺代理、guobanjia這個五個網(wǎng)站的免費代理,經(jīng)測試這個5個網(wǎng)站每天更新的可用代理只有六七十個,當然也支持自己擴展代理接口;
Schedule: 定時任務相關代碼,現(xiàn)在只是實現(xiàn)定時去刷新代碼,并驗證可用代理,采用多進程方式;
Util: 存放一些公共的模塊方法或函數(shù),包含GetConfig
:讀取配置文件config.ini的類,ConfigParse
: 集成重寫ConfigParser
的類,使其對大小寫敏感, Singleton
:實現(xiàn)單例,LazyProperty
:實現(xiàn)類屬性惰性計算。等等;
其他文件: 配置文件:Config.ini,數(shù)據(jù)庫配置和代理獲取接口配置,可以在GetFreeProxy中添加新的代理獲取方法,并在Config.ini中注冊即可使用;
4、安裝
下載代碼:
git clone git@github.com:jhao104/proxy_pool.git 或者直接到https://github.com/jhao104/proxy_pool 下載zip文件
安裝依賴:
pip install -r requirements.txt
啟動:
需要分別啟動定時任務和api 到Config.ini中配置你的SSDB 到Schedule目錄下: >>>python ProxyRefreshSchedule.py 到Api目錄下: >>>python ProxyApi.py
5、使用
定時任務啟動后,會通過代理獲取方法fetch所有代理放入數(shù)據(jù)庫并驗證。此后默認每20分鐘會重復執(zhí)行一次。定時任務啟動大概一兩分鐘后,便可在SSDB中看到刷新出來的可用的代理:
啟動ProxyApi.py后即可在瀏覽器中使用接口獲取代理,一下是瀏覽器中的截圖:
index頁面:
get頁面:
get_all頁面:
爬蟲中使用,如果要在爬蟲代碼中使用的話, 可以將此api封裝成函數(shù)直接使用,例如:
import requests def get_proxy(): return requests.get("http://127.0.0.1:5000/get/").content def delete_proxy(proxy): requests.get("http://127.0.0.1:5000/delete/?proxy={}".format(proxy)) # your spider code def spider(): # .... requests.get('https://www.example.com', proxies={"http": "http://{}".format(get_proxy)}) # ....
6、最后
時間倉促,功能和代碼都比較簡陋,以后有時間再改進。喜歡的在github上給個star。感謝!
相關文章
關于torch.scatter與torch_scatter庫的使用整理
這篇文章主要介紹了關于torch.scatter與torch_scatter庫的使用整理,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09Python實現(xiàn)Telnet自動連接檢測密碼的示例
這篇文章主要介紹了Python實現(xiàn)Telnet自動連接檢測密碼的示例,幫助大家更好的理解和學習使用python,感興趣的朋友可以了解下2021-04-04python實現(xiàn)對excel進行數(shù)據(jù)剔除操作實例
python在數(shù)據(jù)分析這方便的介紹應該不用多說了,下面這篇文章主要給大家介紹了關于利用python實現(xiàn)對excel進行數(shù)據(jù)剔除操作的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考借鑒,下面來一起看看吧。2017-12-12python使用多線程查詢數(shù)據(jù)庫的實現(xiàn)示例
這篇文章主要介紹了python使用多線程查詢數(shù)據(jù)庫的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2020-08-08python使用Pycharm創(chuàng)建一個Django項目
這篇文章主要介紹了python使用Pycharm創(chuàng)建一個Django項目,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-03-03如何利用python創(chuàng)建、讀取和修改CSV數(shù)據(jù)文件
csv文件與txt文件類似,區(qū)別點就是在csv文件中,字段間使用“,”或“|”隔開,達到類似與表格的效果,下面這篇文章主要給大家介紹了關于如何利用python創(chuàng)建、讀取和修改CSV數(shù)據(jù)文件的相關資料,需要的朋友可以參考下2022-05-05python判斷一個集合是否包含了另外一個集合中所有項的方法
這篇文章主要介紹了python判斷一個集合是否包含了另外一個集合中所有項的方法,涉及Python集合操作的相關技巧,需要的朋友可以參考下2015-06-06