快捷導(dǎo)航

python爬取氣象臺(tái)每日天氣圖代碼

更新時(shí)間：2022年01月04日 11:12:48 作者：Amber_SYH

大家好，本篇文章主要講的是python爬取氣象臺(tái)每日天氣圖代碼，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽

前言

中央氣象臺(tái)網(wǎng)站更新后，以前的爬蟲(chóng)方式就不太能用了，我研究了一下發(fā)現(xiàn)主要是因?yàn)榫W(wǎng)站上天氣圖的翻頁(yè)模式從點(diǎn)擊變成了滑動(dòng)，頁(yè)面上的圖片src也只顯示當(dāng)前頁(yè)面的，因此，按照網(wǎng)絡(luò)通俗的方法去爬取就只能爬出一張圖片。看了一些大佬的教程后自己改出來(lái)一個(gè)代碼。

1.安裝Selenium

Selenium是一個(gè)Web的自動(dòng)化（測(cè)試）工具，它可以根據(jù)我們的指令，讓瀏覽器執(zhí)行自動(dòng)加載頁(yè)面，獲取需要的數(shù)據(jù)等操作。

pip install selenium

2. 安裝chromedriver

Selenium 自身并不具備瀏覽器的功能，Google的Chrome瀏覽器能方便的支持此項(xiàng)功能，需安裝其驅(qū)動(dòng)程序Chromedriver

下載地址：http://chromedriver.storage.googleapis.com/index.html

在google瀏覽器的地址欄輸入‘chrome://version/’，可以查看版本信息，下載接近版本的就可以。

3.代碼

從圖里可以看到，向前翻頁(yè)指令對(duì)應(yīng)的id是'prev'

from selenium import webdriver  ## 導(dǎo)入selenium的瀏覽器驅(qū)動(dòng)接口
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support.ui import Select
import time
import os
import urllib.request
level=['地面','925hPa','850hPa','700hPa','500hPa','100hPa']
 
chrome_driver = '路徑/chromedriver.exe'  #chromedriver的文件位置
driver = webdriver.Chrome(executable_path = chrome_driver)          #加載瀏覽器驅(qū)動(dòng)
driver.get('http://www.nmc.cn/publish/observations/china/dm/weatherchart-h000.htm')  #打開(kāi)頁(yè)面
time.sleep(1)
#模擬鼠標(biāo)選擇高度層
for z in level:
    button1=driver.find_element_by_link_text(z)     #通過(guò)link文字精確定位元素
    action = ActionChains(driver).move_to_element(button1) #鼠標(biāo)懸停在一個(gè)元素上
    action.click(button1).perform()                        #鼠標(biāo)單擊
    time.sleep(1)              
    for p in range(0,6):    #下載最近6個(gè)時(shí)次的天氣圖
        str_p=str(p)
        #模擬鼠標(biāo)選擇時(shí)間
        button2=driver.find_element_by_id('prev')             #通過(guò)id精確定位元素
        action = ActionChains(driver).move_to_element(button2) #鼠標(biāo)懸停在一個(gè)元素上
        action.click(button2).perform()                        #鼠標(biāo)單擊
        time.sleep(1)
    #模擬鼠標(biāo)選擇圖片
        elem_pic = driver.find_element_by_id('imgpath')       #通過(guò)id精確定位元素
        action = ActionChains(driver).move_to_element(elem_pic)
    #action.context_click(elem_pic).perform()              #鼠標(biāo)右擊
        filename= str(elem_pic.get_attribute('src')).split('/')[-1].split('?')[0]  #獲取文件名
    #獲取圖片src
        src1=elem_pic.get_attribute('src')
        if os.path.exists('存圖路徑/'+z+'') is not True :
            	os.makedirs('存圖路徑/'+z+'')
        urllib.request.urlretrieve(src1 , '存圖路徑/'+z+'/'+filename)
        print(filename)
        time.sleep(1)

然后就可以輕松的爬取所有圖片