欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

python構(gòu)建基礎(chǔ)的爬蟲(chóng)教學(xué)

 更新時(shí)間：2018年12月23日 10:56:50   作者：please1748  
在本篇內(nèi)容里小編給大家分享的是關(guān)于python構(gòu)建基礎(chǔ)的爬蟲(chóng)教學(xué)內(nèi)容，需要的朋友們學(xué)習(xí)下。

爬蟲(chóng)具有域名切換、信息收集以及信息存儲(chǔ)功能。

這里講述如何構(gòu)建基礎(chǔ)的爬蟲(chóng)架構(gòu)。

1、

urllib庫(kù)：包含從網(wǎng)絡(luò)請(qǐng)求數(shù)據(jù)、處理cookie、改變請(qǐng)求頭和用戶(hù)處理元數(shù)據(jù)的函數(shù)。是python標(biāo)準(zhǔn)庫(kù).urlopen用于打開(kāi)讀取一個(gè)從網(wǎng)絡(luò)獲取的遠(yuǎn)程對(duì)象。能輕松讀取HTML文件、圖像文件及其他文件流。

2、
beautifulsoup庫(kù)：通過(guò)定位HTML標(biāo)簽格式化和組織復(fù)雜的網(wǎng)絡(luò)信息，用python對(duì)象展現(xiàn)XML結(jié)構(gòu)信息。不是標(biāo)準(zhǔn)庫(kù)，可用pip安裝。常用的對(duì)象是BeautifulSoup對(duì)象。

1、基礎(chǔ)爬蟲(chóng)

爬蟲(chóng)需要首先import對(duì)象，然后打開(kāi)網(wǎng)址，使用BeautifulSoup對(duì)網(wǎng)頁(yè)內(nèi)容進(jìn)行讀取。

2、使用print輸出打開(kāi)的網(wǎng)址的內(nèi)容。

3、從輸出中可以看出內(nèi)容的結(jié)構(gòu)為：

4、輸出內(nèi)容中的html-body-h1的內(nèi)容可使用四種語(yǔ)句。

5、

BeautifulSoup可提取HTML、XML文件的任意節(jié)點(diǎn)的信息，只需要目標(biāo)信息旁邊或附近有標(biāo)記。

1、Error

在運(yùn)行代碼時(shí)，經(jīng)常會(huì)出現(xiàn)錯(cuò)誤，看懂錯(cuò)誤出現(xiàn)的原因才能解決存在的問(wèn)題。

2、

在html=urlopen('')中會(huì)發(fā)生兩種錯(cuò)誤：網(wǎng)頁(yè)在服務(wù)器上不存在或服務(wù)器不存在
。

3、網(wǎng)頁(yè)在服務(wù)器上不存在會(huì)出現(xiàn)HTTPError，可使用try語(yǔ)句進(jìn)行處理。

當(dāng)程序返回HTTPError錯(cuò)誤代碼時(shí)，會(huì)顯示錯(cuò)誤內(nèi)容。

4、服務(wù)器不存在時(shí)，urlopen會(huì)返回None.

可使用判斷語(yǔ)句進(jìn)行檢測(cè)。

調(diào)用的標(biāo)簽不存在會(huì)出現(xiàn)None，調(diào)用不存在的標(biāo)簽下的子標(biāo)簽，就會(huì)出現(xiàn)AttributeError錯(cuò)誤。

總結(jié)：以上就是關(guān)于python構(gòu)建基礎(chǔ)的爬蟲(chóng)的基礎(chǔ)步驟內(nèi)容，感謝大家的閱讀和對(duì)腳本之家的支持。

相關(guān)文章

最新評(píng)論