快捷導(dǎo)航

Python制作簡(jiǎn)單的網(wǎng)頁(yè)爬蟲(chóng)

更新時(shí)間：2015年11月22日 16:41:10 投稿：hebedich

自己寫(xiě)的一個(gè)爬蟲(chóng)，模仿了python核心編程書(shū)里的程序，有詳細(xì)的注釋。是我一個(gè)理解學(xué)習(xí)的過(guò)程吧。有需要的小伙伴可以參考下

1.準(zhǔn)備工作：

工欲善其事必先利其器，因此我們有必要在進(jìn)行Coding前先配置一個(gè)適合我們自己的開(kāi)發(fā)環(huán)境，我搭建的開(kāi)發(fā)環(huán)境是：

操作系統(tǒng)：Ubuntu 14.04 LTS
Python版本：2.7.6
代碼編輯器：Sublime Text 3.0

這次的網(wǎng)絡(luò)爬蟲(chóng)需求背景我打算延續(xù)DotNet開(kāi)源大本營(yíng)在他的那篇文章中的需求，這里就不再詳解。我們只抓取某一省中所有主要城市從2015-11-22到2015-10-24的白天到夜間的所有天氣情況。這里以湖北省為例。
2.實(shí)戰(zhàn)網(wǎng)頁(yè)爬蟲(chóng)：
2.1.獲取城市列表：
首先，我們需要獲取到湖北省所有城市的網(wǎng)頁(yè)，然后進(jìn)行網(wǎng)頁(yè)解析。網(wǎng)絡(luò)地址為：http://www.tianqihoubao.com/weather/province.aspx?id=420000
我們查看該網(wǎng)頁(yè)的源碼可以發(fā)現(xiàn)所有的城市列表都是以<td style="height: 22px" align="center"><a href="城市天氣鏈接+城市名稱(chēng)">，因此，我們可以封裝一個(gè)函數(shù)來(lái)通過(guò)使用正則表達(dá)式獲取我們想要的數(shù)據(jù)，示例代碼如下所示：

復(fù)制代碼代碼如下:

def ShowCity():
    html=requests.get("     citys= re.findall('<td style="height: 22px" align="center"><a href="(.*?)">', html.text,re.S)
    for city in citys:
        print city

抓取的結(jié)果如下所示：

 1 top/anlu.html" title="安陸歷史天氣查詢(xún)
 2 top/badong.html" title="巴東歷史天氣查詢(xún)
 3 top/baokang.html" title="?？禋v史天氣查詢(xún)
 4 top/caidian.html" title="蔡甸歷史天氣查詢(xún)
 5 top/changyang.html" title="長(zhǎng)陽(yáng)歷史天氣查詢(xún)
 6 top/chibi.html" title="赤壁歷史天氣查詢(xún)
 7 top/chongyang.html" title="崇陽(yáng)歷史天氣查詢(xún)
 8 top/dawu.html" title="大悟歷史天氣查詢(xún)
 9 top/daye.html" title="大冶歷史天氣查詢(xún)
10 top/danjiangkou.html" title="丹江口歷史天氣查詢(xún)
11 top/dangyang.html" title="當(dāng)陽(yáng)歷史天氣查詢(xún)
12 top/ezhou.html" title="鄂州歷史天氣查詢(xún)
13 top/enshi.html" title="恩施歷史天氣查詢(xún)
14 top/fangxian.html" title="房縣歷史天氣查詢(xún)
15 top/gongan.html" title="公安歷史天氣查詢(xún)
16 top/gucheng.html" title="谷城歷史天氣查詢(xún)
17 top/guangshui.html" title="廣水歷史天氣查詢(xún)
18 top/hanchuan.html" title="漢川歷史天氣查詢(xún)
19 top/hanyang.html" title="漢陽(yáng)歷史天氣查詢(xún)
20 top/hefeng.html" title="鶴峰歷史天氣查詢(xún)
21 top/hongan.html" title="紅安歷史天氣查詢(xún)
22 top/honghu.html" title="洪湖歷史天氣查詢(xún)
23 top/huangpi.html" title="黃陂歷史天氣查詢(xún)
24 top/huanggang.html" title="黃岡歷史天氣查詢(xún)
25 top/huangmei.html" title="黃梅歷史天氣查詢(xún)
26 top/huangshi.html" title="黃石歷史天氣查詢(xún)
27 top/jiayu.html" title="嘉魚(yú)歷史天氣查詢(xún)
28 top/jianli.html" title="監(jiān)利歷史天氣查詢(xún)
29 top/jianshi.html" title="建始?xì)v史天氣查詢(xún)
30 top/jiangxia.html" title="江夏歷史天氣查詢(xún)
31 top/jingshan.html" title="京山歷史天氣查詢(xún)
32 top/jingmen.html" title="荊門(mén)歷史天氣查詢(xún)
33 top/jingzhou.html" title="荊州歷史天氣查詢(xún)
34 top/laifeng.html" title="來(lái)鳳歷史天氣查詢(xún)
35 top/laohekou.html" title="老河口歷史天氣查詢(xún)
36 top/lichuan.html" title="利川歷史天氣查詢(xún)
37 top/lvtian.html" title="羅田歷史天氣查詢(xún)
38 top/macheng.html" title="麻城歷史天氣查詢(xún)
39 top/nanzhang.html" title="南漳歷史天氣查詢(xún)
40 top/qichun.html" title="蘄春歷史天氣查詢(xún)
41 top/qianjiang.html" title="潛江歷史天氣查詢(xún)
42 top/sanxia.html" title="三峽歷史天氣查詢(xún)
43 top/shennongjia.html" title="神農(nóng)架歷史天氣查詢(xún)
44 top/shiyan.html" title="十堰歷史天氣查詢(xún)
45 top/shishou.html" title="石首歷史天氣查詢(xún)
46 top/songzi.html" title="松滋歷史天氣查詢(xún)
47 top/suizhou.html" title="隨州歷史天氣查詢(xún)
48 top/tianmen.html" title="天門(mén)歷史天氣查詢(xún)
49 top/hbtongcheng.html" title="通城歷史天氣查詢(xún)
50 top/tongshan.html" title="通山歷史天氣查詢(xún)
51 top/wufeng.html" title="五峰歷史天氣查詢(xún)
52 top/wuchang.html" title="武昌歷史天氣查詢(xún)
53 top/wuhan.html" title="武漢歷史天氣查詢(xún)
54 top/wuxue.html" title="武穴歷史天氣查詢(xún)
55 top/hbxishui.html" title="浠水歷史天氣查詢(xún)
56 top/xiantao.html" title="仙桃歷史天氣查詢(xún)
57 top/xianfeng.html" title="咸豐歷史天氣查詢(xún)
58 top/xianning.html" title="咸寧歷史天氣查詢(xún)
59 top/xiangyang.html" title="襄陽(yáng)歷史天氣查詢(xún)
60 top/xiaogan.html" title="孝感歷史天氣查詢(xún)
61 top/hbxinzhou.html" title="新洲歷史天氣查詢(xún)
62 top/xingshan.html" title="興山歷史天氣查詢(xún)
63 top/xuanen.html" title="宣恩歷史天氣查詢(xún)
64 top/hbyangxin.html" title="陽(yáng)新歷史天氣查詢(xún)
65 top/yiling.html" title="夷陵歷史天氣查詢(xún)
66 top/yichang.html" title="宜昌歷史天氣查詢(xún)
67 top/yicheng.html" title="宜城歷史天氣查詢(xún)
68 top/yidu.html" title="宜都?xì)v史天氣查詢(xún)
69 top/yingcheng.html" title="應(yīng)城歷史天氣查詢(xún)
70 top/hbyingshan.html" title="英山歷史天氣查詢(xún)
71 top/yuanan.html" title="遠(yuǎn)安歷史天氣查詢(xún)
72 top/yunmeng.html" title="云夢(mèng)歷史天氣查詢(xún)
73 top/yunxi.html" title="鄖西歷史天氣查詢(xún)
74 top/hbyunxian.html" title="鄖縣歷史天氣查詢(xún)
75 top/zaoyang.html" title="棗陽(yáng)歷史天氣查詢(xún)
76 top/zhijiang.html" title="枝江歷史天氣查詢(xún)
77 top/zhongxiang.html" title="鐘祥歷史天氣查詢(xún)
78 top/zhushan.html" title="竹山歷史天氣查詢(xún)
79 top/zhuxi.html" title="竹溪?dú)v史天氣查詢(xún)
80 top/zigui.html" title="秭歸歷史天氣查詢(xún)
81 [Finished in 15.4s]

2.2.獲取對(duì)應(yīng)城市的所有天氣信息：
然后我們需要根據(jù)抓取到的城市鏈接去抓取對(duì)應(yīng)城市的天氣情況，這里我們?cè)俜庋b一個(gè)函數(shù)用于顯示對(duì)應(yīng)城市的所有天氣狀況：

def ShowWeather(city):
 res =str(city).split('" title="')
 print res[1],'(白天-->夜間)'
 html=requests.get("http://www.tianqihoubao.com/weather/{0}".format(res[0]))
 weather=re.search('<table width="100%" border="0" class="b" cellpadding="1" cellspacing="1">(.*?)</table>', html.text,re.S).group(1)
 res=re.findall('<tr>(.*?)</tr>', weather,re.S)
 for x in res[2:]:
  w = re.findall('>(.*?)<', x,re.S)
  for y in w[1:]:
   if len(y.strip())<=0:
    pass
    else:
     print y
  print '--'*40

這樣以來(lái)，我們就可以獲取到了對(duì)應(yīng)城市的天氣情況了??！

完整代碼：

#coding:UTF-8
import re
import requests
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

def ShowWeather(city):
 res =str(city).split('" title="')
 print res[1],'(白天-->夜間)'
 html=requests.get("http://www.tianqihoubao.com/weather/{0}".format(res[0]))
 weather=re.search('<table width="100%" border="0" class="b" cellpadding="1" cellspacing="1">(.*?)</table>', html.text,re.S).group(1)
 res=re.findall('<tr>(.*?)</tr>', weather,re.S)
 for x in res[2:]:
  w = re.findall('>(.*?)<', x,re.S)
  for y in w[1:]:
   if len(y.strip())<=0:
    pass
   else:
    print y
  print '--'*40
 print '\n','*'*40

def ShowCity():
 html=requests.get("http://www.tianqihoubao.com/weather/province.aspx?id=420000")
 citys= re.findall('<td style="height: 22px" align="center"><a href="(.*?)">', html.text,re.S)
 for city in citys:
  ShowWeather(city)

def main():
 ShowCity()

if __name__=='__main__':
 main()

是的，你沒(méi)有看錯(cuò)，短短34行代碼就可以爬取湖北省所有的主要城市1個(gè)月的所有天氣情況，是不是很厲害呀?。?？？？不過(guò)不要高興的太早，凡事有利有弊，看看它的運(yùn)行結(jié)果吧：[Finished in 371.8s]

3.知識(shí)總結(jié)：　　

3.1.編碼問(wèn)題：　
#在ubuntu上，由于編碼問(wèn)題，我們需要在代碼的開(kāi)始位置添加一行注釋?zhuān)嬖VPyhton解釋器我們指定的編碼格式：

#此外，我們還需要設(shè)置默認(rèn)的編碼格式，否則Sublime Text會(huì)無(wú)法識(shí)別中文，報(bào)告一個(gè)錯(cuò)誤：“UnicodeEncodeError: 'ascii' codec can't encode characters in position”

#-*-coding:utf8-*-
import sys
reload(sys)
sys.setdefaultencoding('UTF-8')

3.2.正則表達(dá)式：

導(dǎo)入正則表達(dá)式庫(kù)：import re
匹配任意字符：.
匹配前一個(gè)字符0次或無(wú)限次:*
匹配前一個(gè)字符0次或一次：？
貪心算法：.*
非貪心算法：.*?
匹配數(shù)字：(\d+)
常用函數(shù)：

re.findall(pattern, string)
re.search(pattern, string)
re.sub(pattern, repl, string)

最后的最后，如果你嘗試過(guò)運(yùn)行我貼出來(lái)的完整代碼，或許你會(huì)遇到和我一樣的瓶頸，就是運(yùn)行的速度不夠快（尤其像我這種機(jī)器配置不是很好的電腦）。在我的機(jī)器上運(yùn)行這段腳本總共花費(fèi)了 371.8s。我運(yùn)行過(guò)多次，每次都是在350+。因此，如果你的程序不在乎運(yùn)行速度，那么可能Python還是挺適合的，畢竟可以通過(guò)它寫(xiě)更少的代碼去做更多的事情?。。?！