python+selenium實現(xiàn)自動化百度搜索關鍵詞
更新時間:2019年06月03日 15:46:24 投稿:laozhang
在本篇文章里我們給大家分享了一篇關于python+selenium實現(xiàn)自動化百度搜索關鍵詞的實例文章,需要的朋友們可以跟著操作下。
通過python配合爬蟲接口利用selenium實現(xiàn)自動化打開chrome瀏覽器,進行百度關鍵詞搜索。
1、安裝python3,訪問官網(wǎng)選擇對應的版本安裝即可,最新版為3.7。
2、安裝selenium庫。
使用 pip install selenium 安裝即可。
同時需要安裝chromedriver,并放在python安裝文件夾下,如下圖所示。
3、獲取爬蟲接口鏈接。
注冊賬號,點擊爬蟲代理,領取每日試用。
from selenium import webdriver import requests,time #自建IP池 def get_proxy(): r = requests.get('http://127.0.0.1:5555/random') return r.text import random FILE = './tuziip.txt' # 讀取的txt文件路徑 # 獲取代理IP def proxy_ip(): ip_list = [] with open(FILE, 'r') as f: while True: line = f.readline() if not line: break ip_list.append(line.strip()) ip_port = random.choice(ip_list) return ip_port def bd(): chromeOptions = webdriver.ChromeOptions() # 設置代理 chromeOptions.add_argument("--proxy-server=http://"+proxy_ip()) # 一定要注意,=兩邊不能有空格,不能是這樣--proxy-server = http://202.20.16.82:10152 browser = webdriver.Chrome(chrome_options = chromeOptions) # 查看本機ip,查看代理是否起作用 browser.get("https://www.baidu.com/") browser.find_element_by_id("kw").send_keys("ip") browser.find_element_by_id("su").click() time.sleep(2) browser.find_element_by_id("kw").clear() time.sleep(1) browser.find_element_by_id("kw").send_keys("百度") browser.find_element_by_id("su").click() time.sleep(2) browser.find_element_by_id("kw").clear() time.sleep(1) browser.find_element_by_id("kw").send_keys("百度") browser.find_element_by_id("su").click() time.sleep(2) browser.find_element_by_id("kw").clear() time.sleep(1) browser.close() # 退出,清除瀏覽器緩存 browser.quit() if __name__ == "__main__": while True: bd()
5、運行程序,如下圖所示,可自動化搜索。
相關文章
python+openCV利用攝像頭實現(xiàn)人員活動檢測
這篇文章主要為大家詳細介紹了python+openCV利用攝像頭實現(xiàn)人員活動檢測,具有一定的參考價值,感興趣的小伙伴們可以參考一下2019-06-06利用Python制作動態(tài)排名圖的實現(xiàn)代碼
這篇文章主要介紹了利用Python制作動態(tài)排名圖的實現(xiàn)代碼,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-04-04Python enumerate函數(shù)遍歷數(shù)據(jù)對象組合過程解析
這篇文章主要介紹了Python enumerate函數(shù)遍歷數(shù)據(jù)對象組合過程解析,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12