Python利用selenium建立代理ip池訪問網(wǎng)站的全過程
一、使用selenium前?
1.安裝selenium
pip install Selenium
2.安裝瀏覽器驅(qū)動
Chrome驅(qū)動文件下載:點擊下載
3.配置環(huán)境
1.將下載文件放進C:\Program Files (x86)\Google\Chrome\Application下就可以
2.然后配置下系統(tǒng)變量:我的電腦–>屬性–>系統(tǒng)設(shè)置–>高級–>環(huán)境變量–>系統(tǒng)變量–>Path,將“C:\Program Files (x86)\Google\Chrome\Application”目錄添加到Path的值中。
注:之后如果代碼不能調(diào)起瀏覽器,重啟電腦,再運行!!!
二、使用selenium
1.引入庫
代碼如下(示例):
from selenium import webdriver from selenium.webdriver.chrome.options import Options
2.完整代碼
如果有多個代理ip可循環(huán)使用,防止被禁幾率
from selenium import webdriver from selenium.webdriver.chrome.options import Options #以下ip使用自己可使用的代理IP proxy_arr = [ '--proxy-server=http://171.35.141.103:9999', '--proxy-server=http://36.248.132.196:9999', # '--proxy-server=http://125.46.0.62:53281', '--proxy-server=http://219.239.142.253:3128', '--proxy-server=http://119.57.156.90:53281', '--proxy-server=http://60.205.132.71:80', '--proxy-server=https://139.217.110.76:3128', '--proxy-server=https://116.196.85.150:3128' ] chrome_options = Options() proxy = random.choice(proxy_arr) # 隨機選擇一個代理 print(proxy) #如果某個代理訪問失敗,可從proxy_arr中去除 chrome_options.add_argument(proxy) # 添加代理 browser = webdriver.Chrome(options=chrome_options) browser.get("http://httpbin.org/ip") print(browser.page_source)
代碼如下(示例):
總結(jié)
到此這篇關(guān)于Python利用selenium建立代理ip池訪問網(wǎng)站的文章就介紹到這了,更多相關(guān)Python selenium代理ip池訪問網(wǎng)站內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python Django切換MySQL數(shù)據(jù)庫實例詳解
這篇文章主要介紹了Python Django切換MySQL數(shù)據(jù)庫實例詳解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07用openCV和Python 實現(xiàn)圖片對比,并標(biāo)識出不同點的方式
今天小編就為大家分享一篇用openCV和Python 實現(xiàn)圖片對比,并標(biāo)識出不同點的方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12numpy中np.nanmax和np.max的區(qū)別及坑
這篇文章主要介紹了numpy中np.nanmax和np.max的區(qū)別及坑,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-02-02Python編程基礎(chǔ)之構(gòu)造方法和析構(gòu)方法詳解
這篇文章主要為大家詳細介紹了Python的構(gòu)造方法和析構(gòu)方法,使用Python編程基礎(chǔ),文中示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2022-01-01Python中處理字符串的相關(guān)的len()方法的使用簡介
這篇文章主要介紹了Python中處理字符串的相關(guān)的len()方法的使用簡介,是Python入門的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05Python3實現(xiàn)爬取簡書首頁文章標(biāo)題和文章鏈接的方法【測試可用】
這篇文章主要介紹了Python3實現(xiàn)爬取簡書首頁文章標(biāo)題和文章鏈接的方法,結(jié)合實例形式分析了Python3基于urllib及bs4庫針對簡書網(wǎng)進行文章抓取相關(guān)操作技巧,需要的朋友可以參考下2018-12-12修改python plot折線圖的坐標(biāo)軸刻度方法
今天小編就為大家分享一篇修改python plot折線圖的坐標(biāo)軸刻度方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12使用虛擬環(huán)境實現(xiàn)Python版本和依賴庫的兼容
這篇文章主要介紹了使用虛擬環(huán)境實現(xiàn)Python版本和依賴庫的兼容的相關(guān)資料,需要的朋友可以參考下2022-12-12