Python天氣預(yù)報采集器實現(xiàn)代碼(網(wǎng)頁爬蟲)
更新時間：2012年10月07日 00:36:02 作者：
這個天氣預(yù)報采集是從中國天氣網(wǎng)提取廣東省內(nèi)主要城市的天氣并回顯。本來是打算采集騰訊天氣的，但是貌似它的數(shù)據(jù)是用js寫上去還是什么的，得到的html文本中不包含數(shù)據(jù)，所以就算了
爬蟲簡單說來包括兩個步驟：獲得網(wǎng)頁文本、過濾得到數(shù)據(jù)。
1、獲得html文本。
python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實現(xiàn)我們需要的功能。
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
這么幾行代碼相信不用注釋都能大概知道它的意思。
2、根據(jù)正則表達(dá)式等獲得需要的內(nèi)容。
使用正則表達(dá)式時需要仔細(xì)觀察該網(wǎng)頁信息的結(jié)構(gòu)，并寫出正確的正則表達(dá)式。
python正則表達(dá)式的使用也很簡潔。我的上一篇文章《Python的一些用法》介紹了一點正則的用法。這里需要一個新的用法：
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正則表達(dá)式，html是第一步獲得的文本。findall的作用是找到html中所有符合正則匹配的字符串并存放到weatherList中。之后再枚舉weatheList中的數(shù)據(jù)輸出即可。
這里的正則表達(dá)式reg有兩個地方要注意。
一個是“(.*?)”。只要是（）中的內(nèi)容都是我們將要獲得的內(nèi)容，如果有多個括號，那么findall的每個結(jié)果就都包含這幾個括號中的內(nèi)容。上面有三個括號，分別對應(yīng)城市、最低溫和最高溫。
另一個是“.*?”。python的正則匹配默認(rèn)是貪婪的，即默認(rèn)盡可能多地匹配字符串。如果在末尾加上問號，則表示非貪婪模式，即盡可能少地匹配字符串。在這里，由于有多個城市的信息需要匹配，所以需要使用非貪婪模式，否則匹配結(jié)果只剩下一個，且是不正確的。
python的使用確實十分方便：）
1、獲得html文本。
python在獲取html方面十分方便，寥寥數(shù)行代碼就可以實現(xiàn)我們需要的功能。
復(fù)制代碼 代碼如下:
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
page.close()
return html
這么幾行代碼相信不用注釋都能大概知道它的意思。
2、根據(jù)正則表達(dá)式等獲得需要的內(nèi)容。
使用正則表達(dá)式時需要仔細(xì)觀察該網(wǎng)頁信息的結(jié)構(gòu)，并寫出正確的正則表達(dá)式。
python正則表達(dá)式的使用也很簡潔。我的上一篇文章《Python的一些用法》介紹了一點正則的用法。這里需要一個新的用法：
復(fù)制代碼 代碼如下:
def getWeather(html):
reg = '<a title=.*?>(.*?)</a>.*?<span>(.*?)</span>.*?<b>(.*?)</b>'
weatherList = re.compile(reg).findall(html)
return weatherList
其中reg是正則表達(dá)式，html是第一步獲得的文本。findall的作用是找到html中所有符合正則匹配的字符串并存放到weatherList中。之后再枚舉weatheList中的數(shù)據(jù)輸出即可。
這里的正則表達(dá)式reg有兩個地方要注意。
一個是“(.*?)”。只要是（）中的內(nèi)容都是我們將要獲得的內(nèi)容，如果有多個括號，那么findall的每個結(jié)果就都包含這幾個括號中的內(nèi)容。上面有三個括號，分別對應(yīng)城市、最低溫和最高溫。
另一個是“.*?”。python的正則匹配默認(rèn)是貪婪的，即默認(rèn)盡可能多地匹配字符串。如果在末尾加上問號，則表示非貪婪模式，即盡可能少地匹配字符串。在這里，由于有多個城市的信息需要匹配，所以需要使用非貪婪模式，否則匹配結(jié)果只剩下一個，且是不正確的。
python的使用確實十分方便：）
相關(guān)文章
今天小編就為大家分享一篇Python 2.7中文顯示與處理方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
這篇文章主要介紹了Python的詞法分析(Lexical Analysis)與 語法分析(Syntactic Analysis),需要的朋友可以參考下2013-05-05
本文給大家分享一個通過Python來修改游戲內(nèi)存的方法，幫助大家更改游戲中的數(shù)據(jù)，步驟很簡單，而且有視頻講解，感興趣的朋友一起看看吧2021-11-11
python ChainMap 合并字典的實現(xiàn)步驟
這篇文章主要介紹了python ChainMap 合并字典的實現(xiàn)步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
這篇文章主要為大家介紹了python中模塊導(dǎo)入的模式詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
這篇文章主要介紹了Python基于高斯消元法計算線性方程組,結(jié)合實例形式分析了Python高斯消元法針對方程組求解的相關(guān)操作技巧,需要的朋友可以參考下2018-01-01
PyCharm安裝庫numpy失敗問題的詳細(xì)解決方法
今天使用pycharm編譯python程序時,由于要調(diào)用numpy包,但又未曾安裝numpy,于是就根據(jù)pycharm的提示進(jìn)行安裝,最后竟然提示出錯,下面這篇文章主要給大家介紹了關(guān)于PyCharm安裝庫numpy失敗問題的詳細(xì)解決方法,需要的朋友可以參考下2022-06-06
這篇文章主要介紹了keras中的backend.clip用法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇文章主要為大家詳細(xì)介紹了python圖書管理系統(tǒng)的實現(xiàn)代碼，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-03-03
這篇文章主要介紹了python多進(jìn)程操作實例,本文講解了multiprocessing類的相關(guān)方法,然后給出了一個綜合實例和運行效果,需要的朋友可以參考下2014-11-11