python+selenium+PhantomJS抓取網(wǎng)頁(yè)動(dòng)態(tài)加載內(nèi)容
環(huán)境搭建
準(zhǔn)備工具:pyton3.5,selenium,phantomjs
我的電腦里面已經(jīng)裝好了python3.5
安裝Selenium
pip3 install selenium
安裝Phantomjs
按照系統(tǒng)環(huán)境下載phantomjs,下載完成之后,將phantomjs.exe解壓到python的script文件夾下
使用selenium+phantomjs實(shí)現(xiàn)簡(jiǎn)單爬蟲
from selenium import webdriver driver = webdriver.PhantomJS() driver.get('http://www.baidu.com') #加載網(wǎng)頁(yè) data = driver.page_source #獲取網(wǎng)頁(yè)文本 driver.save_screenshot('1.png') #截圖保存 print(data) driver.quit()
selenium+phantomjs的一些使用方法
設(shè)置請(qǐng)求頭里的user-Agent
from selenium import webdriver from selenium.webdriver.common.desired_capabilities import DesiredCapabilities dcap = dict(DesiredCapabilities.PHANTOMJS) #設(shè)置useragent dcap['phantomjs.page.settings.userAgent'] = ('Mozilla/5.0 (Macintosh; Intel Mac OS X 10.9; rv:25.0) Gecko/20100101 Firefox/25.0 ') #根據(jù)需要設(shè)置具體的瀏覽器信息 driver = webdriver.PhantomJS(desired_capabilities=dcap) #封裝瀏覽器信息 driver.get('http://www.baidu.com') #加載網(wǎng)頁(yè) data = driver.page_source #獲取網(wǎng)頁(yè)文本 driver.save_screenshot('1.png') #截圖保存 print(data) driver.quit()
請(qǐng)求超時(shí)設(shè)置
webdriver類中有三個(gè)和時(shí)間相關(guān)的方法:
1.pageLoadTimeout 設(shè)置頁(yè)面完全加載的超時(shí)時(shí)間,完全加載即完全渲染完成,同步和異步腳本都執(zhí)行完
2.setScriptTimeout 設(shè)置異步腳本的超時(shí)時(shí)間
3.implicitlyWait 識(shí)別對(duì)象的智能等待時(shí)間
from selenium import webdriver driver = webdriver.PhantomJS() driver.set_page_load_timeout(5) #設(shè)置超時(shí)時(shí)間 driver.get('http://www.baidu.com') print(driver.title) driver.quit()
設(shè)置瀏覽器窗口大小
調(diào)用啟動(dòng)的瀏覽器不是全屏的,有時(shí)候會(huì)影響我們的某些操作,所以我們可以設(shè)置全屏
driver.maximize_window() #設(shè)置全屏
driver.set_window_size('480','800') #設(shè)置瀏覽器寬480,高800
元素定位
from selenium import webdriver driver = webdriver.PhantomJS() driver.set_page_load_timeout(5) driver.get('http://www.baidu.com') try: driver.get('http://www.baidu.com') driver.find_element_by_id('kw') # 通過ID定位 driver.find_element_by_class_name('s_ipt') # 通過class屬性定位 driver.find_element_by_name('wd') # 通過標(biāo)簽name屬性定位 driver.find_element_by_tag_name('input') # 通過標(biāo)簽屬性定位 driver.find_element_by_css_selector('#kw') # 通過css方式定位 driver.find_element_by_xpath("http://input[@id='kw']") # 通過xpath方式定位 driver.find_element_by_link_text("貼吧") # 通過xpath方式定位 print(driver.find_element_by_id('kw').tag_name ) # 獲取標(biāo)簽的類型 except Exception as e: print(e) driver.quit()
操作瀏覽器前進(jìn)或后退
from selenium import webdriver driver = webdriver.PhantomJS() try: driver.get('http://www.baidu.com') #訪問百度首頁(yè) driver.save_screenshot('1.png') driver.get('http://www.sina.com.cn') #訪問新浪首頁(yè) driver.save_screenshot('2.png') driver.back() #回退到百度首頁(yè) driver.save_screenshot('3.png') driver.forward() #前進(jìn)到新浪首頁(yè) driver.save_screenshot('4.png') except Exception as e: print(e) driver.quit()
到此這篇關(guān)于python+selenium+PhantomJS抓取網(wǎng)頁(yè)動(dòng)態(tài)加載內(nèi)容的文章就介紹到這了,更多相關(guān)python PhantomJS抓取內(nèi)容內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Python轉(zhuǎn)換字典成為對(duì)象,可以用"."方式訪問對(duì)象屬性實(shí)例
這篇文章主要介紹了Python轉(zhuǎn)換字典成為對(duì)象,可以用"."方式訪問對(duì)象屬性實(shí)例,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2020-05-05python調(diào)用excel_vba的兩種實(shí)現(xiàn)方式
本文主要介紹了python調(diào)用excel_vba的兩種實(shí)現(xiàn)方式,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01通過數(shù)據(jù)庫(kù)對(duì)Django進(jìn)行刪除字段和刪除模型的操作
這篇文章主要介紹了通過數(shù)據(jù)庫(kù)對(duì)Django進(jìn)行刪除字段和刪除模型的操作,這里假設(shè)我們已經(jīng)建立了一個(gè)名為book的數(shù)據(jù)模型,需要的朋友可以參考下2015-07-07簡(jiǎn)單了解python中對(duì)象的取反運(yùn)算符
這篇文章主要介紹了簡(jiǎn)單了解python中對(duì)象的取反運(yùn)算符,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07利用Python制作一個(gè)簡(jiǎn)單的天氣播報(bào)系統(tǒng)
最近天氣的多變,好幾次出門半路天氣轉(zhuǎn)變。本文將利用python整個(gè)天氣爬蟲來(lái)獲取天氣情況。這樣也好可以進(jìn)行一個(gè)提前預(yù)防,感興趣的可以動(dòng)手試一試2022-05-05matplotlib繪制兩點(diǎn)間連線的幾種方法實(shí)現(xiàn)
本文主要介紹了matplotlib繪制兩點(diǎn)間連線的幾種方法實(shí)現(xiàn),主要介紹了4種方法,文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-03-03python在命令行中使用?pdb?實(shí)現(xiàn)斷點(diǎn)調(diào)試功能
在命令行中設(shè)置斷點(diǎn)通常需要使用調(diào)試工具來(lái)實(shí)現(xiàn),下面以 Python 為例介紹如何在命令行中使用pdb實(shí)現(xiàn)斷點(diǎn)調(diào)試,這篇文章主要介紹了python在命令行中使用pdb實(shí)現(xiàn)斷點(diǎn)調(diào)試,需要的朋友可以參考下2023-06-06Django使用httpresponse返回用戶頭像實(shí)例代碼
這篇文章主要介紹了Django使用httpresponse返回用戶頭像實(shí)例代碼2018-01-01python中內(nèi)置庫(kù)csv的使用及說(shuō)明
這篇文章主要介紹了python中內(nèi)置庫(kù)csv的使用及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-11-11