Python爬蟲(chóng)實(shí)例扒取2345天氣預(yù)報(bào)
寒假里學(xué)習(xí)了一下Python爬蟲(chóng),使用最簡(jiǎn)單的方法扒取需要的天氣數(shù)據(jù),對(duì),沒(méi)聽(tīng)錯(cuò),最簡(jiǎn)單的方法。甚至沒(méi)有一個(gè)函數(shù)封裝。。
網(wǎng)址:http://tianqi.2345.com/wea_history/53892.htm
火狐中右鍵查看網(wǎng)頁(yè)源代碼,沒(méi)有發(fā)現(xiàn)天氣數(shù)據(jù),因此推斷網(wǎng)頁(yè)采用的json格式數(shù)據(jù)。
右擊->查看元素->網(wǎng)絡(luò)->JS,找到了位置
用Python爬蟲(chóng)下載為json格式數(shù)據(jù)存儲(chǔ)下來(lái),代碼如下:
#-*- coding:utf-8 -*- import urllib2 import json months = [1,2,3,4,5,6,7,8,9,10,11,12] years = [2011,2012,2013,2014,2015,2016] city = [53892] #邯鄲代碼53892 for y in years: for m in months: for c in city: url = "http://tianqi.2345.com/t/wea_history/js/"+str(c)+"_"+str(y)+str(m)+".js?qq-pf-to=pcqq.c2c" print url html = urllib2.urlopen(url) srcData = html.read() #JsonData = json.loads(srcData) file = open("d:/json/"+str(c)+"handan/weather"+str(c)+"_"+str(y)+str(m)+".json","w") file.write(srcData) file.close()扒取存到本地:
因?yàn)槭莿倢W(xué),學(xué)一點(diǎn)就動(dòng)手實(shí)踐了一下,還沒(méi)有學(xué)到j(luò)son的轉(zhuǎn)換,直接使用的正則匹配,提取json中的數(shù)據(jù),直接打印
提取轉(zhuǎn)換json文件中的數(shù)據(jù)Python代碼:
#-*- coding:utf-8 -*- import json import re import time Year = [2014] Month = [1] for y in Year: for m in Month: """ 2016年2月15日終于改成功。 是因?yàn)檎齽t匹配后的編碼問(wèn)題,導(dǎo)致輸出時(shí)無(wú)法顯示。 在每個(gè)正則匹配的元組后添加 .decode('gbk').encode('utf-8'),成功輸出 """ content = fRead.read() pattern = re.compile('{ymd:\'(.*?)\',bWendu:\'(.*?)\',yWendu:\'(.*?)\',tianqi:\'(.*?)\',fengxiang:\'(.*?)\',fengli:\'(.*?)\'},',re.S) items = re.findall(pattern,content) for item in items: print item[0].decode('gbk').encode('utf-8'),","+item[1].decode('gbk').encode('utf-8'),","+item[2].decode('gbk').encode('utf-8'),","+item[3].decode('gbk').encode('utf-8'),","+item[4].decode('gbk').encode('utf-8'),","+item[5].decode('gbk').encode('utf-8') time.sleep(0.1) fRead.close()
使用Sublime Text 3運(yùn)行
使用正則處理的一大問(wèn)題就是,格式不整齊,總會(huì)漏掉一些數(shù)據(jù)??赡苁怯捎谄ヅ涞乃俣冗^(guò)快導(dǎo)致部分?jǐn)?shù)據(jù)缺失,但是通過(guò)time.sleep() 睡眠依舊不能解決問(wèn)題。
由此可以看出正則匹配時(shí)的缺陷,待以后使用Python中專(zhuān)門(mén)用于處理json數(shù)據(jù)的包以后,再重新試一下
- Python天氣預(yù)報(bào)采集器實(shí)現(xiàn)代碼(網(wǎng)頁(yè)爬蟲(chóng))
- Python爬蟲(chóng)天氣預(yù)報(bào)實(shí)例詳解(小白入門(mén))
- 用python爬取歷史天氣數(shù)據(jù)的方法示例
- Python爬取國(guó)外天氣預(yù)報(bào)網(wǎng)站的方法
- python3爬取各類(lèi)天氣信息
- python可視化爬蟲(chóng)界面之天氣查詢(xún)
- python爬取天氣數(shù)據(jù)的實(shí)例詳解
- Python3爬蟲(chóng)之自動(dòng)查詢(xún)天氣并實(shí)現(xiàn)語(yǔ)音播報(bào)
- 基于Python爬蟲(chóng)采集天氣網(wǎng)實(shí)時(shí)信息
- 如何利用python多線(xiàn)程爬取天氣網(wǎng)站圖片并保存
相關(guān)文章
python使用Psutil模塊實(shí)現(xiàn)獲取計(jì)算機(jī)相關(guān)信息
psutil 是一個(gè)跨平臺(tái)的庫(kù),用于獲取進(jìn)程和系統(tǒng)運(yùn)行狀態(tài)的信息,這篇文章主要為大家詳細(xì)介紹了python如何調(diào)用psutil模塊實(shí)現(xiàn)獲取計(jì)算機(jī)相關(guān)信息,有需要的小伙伴可以了解下2023-11-11Django URL和View的關(guān)系說(shuō)明
這篇文章主要介紹了Django URL和View的關(guān)系說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-03-03Python安裝OpenCV庫(kù)超時(shí)失敗解決
使用pip?installopencv-python安裝時(shí),安裝速度很慢,本文主要介紹了Python安裝OpenCV庫(kù)超時(shí)失敗,具有一定的參考價(jià)值,感興趣的可以了解一下2024-05-05

python神經(jīng)網(wǎng)絡(luò)使用tensorflow構(gòu)建長(zhǎng)短時(shí)記憶LSTM

python動(dòng)態(tài)進(jìn)度條的實(shí)現(xiàn)代碼

python web自制框架之接受url傳遞過(guò)來(lái)的參數(shù)實(shí)例

pytorch: Parameter 的數(shù)據(jù)結(jié)構(gòu)實(shí)例

簡(jiǎn)單快捷:NumPy入門(mén)教程的環(huán)境設(shè)置

Python+Redis從零打造分布式鎖實(shí)戰(zhàn)示例