Python HTML解析模塊HTMLParser用法分析【爬蟲工具】
本文實(shí)例講述了Python HTML解析模塊HTMLParser用法。分享給大家供大家參考,具體如下:
簡(jiǎn)介
先簡(jiǎn)略介紹一下。實(shí)際上,HTMLParser是python用來解析HTML的內(nèi)置模塊。它可以分析出HTML里面的標(biāo)簽、數(shù)據(jù)等等,是一種處理HTML的簡(jiǎn)便途徑。HTMLParser采用的是一種事件驅(qū)動(dòng)的模式,當(dāng)HTMLParser找到一個(gè)特定的標(biāo)記時(shí),它會(huì)去調(diào)用一個(gè)用戶定義的函數(shù),以此來通知程序處理。它主要的用戶回調(diào)函數(shù)的命名都是以"handle_"開頭的,都是HTMLParser的成員函數(shù)。當(dāng)我們使用時(shí),就從HTMLParser派生出新的類,然后重新定義這幾個(gè)以"handle_"開頭的函數(shù)即可。這幾個(gè)函數(shù)包括:
(1)handle_startendtag 處理開始標(biāo)簽和結(jié)束標(biāo)簽(即單標(biāo)簽)
(2)handle_starttag 處理開始標(biāo)簽,比如<xx>
(3)handle_endtag 處理結(jié)束標(biāo)簽,比如</xx>
(4)handle_charref 處理特殊字符串,就是以&#開頭的,一般是內(nèi)碼表示的字符
(5)handle_entityref 處理一些特殊字符,以&開頭的,比如
(6)handle_data 處理數(shù)據(jù),就是<xx>data</xx>中間的那些數(shù)據(jù)
(7)handle_comment 處理注釋
(8)handle_decl 處理<!開頭的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi 處理形如<?instruction>的東西
實(shí)例
OK,廢話少說,直接上手,來一個(gè)簡(jiǎn)單的爬蟲實(shí)例——抓取貼吧圖片。
from html.parser import HTMLParser from urllib import request class MyHTMLParser(HTMLParser): # 創(chuàng)建HTML解析類 def __init__(self): HTMLParser.__init__(self) self.gifs_urls = [] # 創(chuàng)建列表,保存gif self.jpgs_urls = [] # 創(chuàng)建列表,保存jpg # 重寫HTMLParser中的內(nèi)置方法 def handle_starttag(self, tags, attrs): # 處理起始標(biāo)記 if tags == 'img': # 處理圖片 for attr in attrs: for t in attr: if 'gif' in t and 'https' in t: self.gifs_urls.append(t) # 添加到gif列表 elif 'jpg' in t and 'https' in t: self.jpgs_urls.append(t) # 添加到j(luò)pg列表 else: pass # 自定義的方法 def get_gifs(self): # 返回gif列表 return self.gifs_urls def get_jpgs(self): # 返回jpg列表 return self.jpgs_urls # 自定義的方法,獲取頁(yè)面 def getHTML(self,url): req=request.Request(url,method='GET') html=request.urlopen(req,timeout=30) return html.read() # 自定義的方法,批量下載圖片 def downImgs(self,img_urls,n=10,path='Image/'): count=1 for url in img_urls: request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg')) count=count+1 if count == n + 1: print('共下載%d張圖片' %(n)) return if __name__ == '__main__': Url = 'http://tieba.baidu.com/p/2256306796' HtmlParser=MyHTMLParser() Html=HtmlParser.getHTML(Url) # print(Html) HtmlParser.feed(str(Html)) #開始解析HTML,自動(dòng)調(diào)用HTMLParser中的內(nèi)置方法 HtmlParser.downImgs(HtmlParser.get_jpgs())
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- Python?configparser模塊的用法示例代碼
- Python中Parser的超詳細(xì)用法實(shí)例
- python中parser.add_argument()用法實(shí)例(命令行選項(xiàng)、參數(shù)和子命令解析器)
- Python Parser的用法
- Python ArgumentParse的subparser用法說明
- Python3中configparser模塊讀寫ini文件并解析配置的用法詳解
- Python3.5內(nèi)置模塊之shelve模塊、xml模塊、configparser模塊、hashlib、hmac模塊用法分析
- Python中optparser庫(kù)用法實(shí)例詳解
- python命令行參數(shù)解析OptionParser類用法實(shí)例
- Python中Parser的用法小結(jié)
相關(guān)文章
使用Python中Tkinter模塊的Treeview?組件顯示ini文件操作
這篇文章主要介紹了使用Python中Tkinter模塊的Treeview組件顯示ini文件操作,Treeview組件位于ttk模塊,該模塊自Tk8.5開始引入,主題詳細(xì)介紹,需要的朋友可以參考一下2022-09-09Python pandas軸旋轉(zhuǎn)stack和unstack的使用說明
這篇文章主要介紹了Python pandas軸旋轉(zhuǎn)stack和unstack的使用說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03Python中列表(List) 的三種遍歷(序號(hào)和值)方法小結(jié)
這篇文章主要介紹了Python中列表(List) 的三種遍歷(序號(hào)和值)方法小結(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2022-05-05python RabbitMQ 使用詳細(xì)介紹(小結(jié))
這篇文章主要介紹了python RabbitMQ 使用詳細(xì)介紹(小結(jié)),詳細(xì)的介紹了RabbitMQ的概念以及使用,對(duì)學(xué)習(xí)RabbitMQ有一定的幫助,非常具有實(shí)用價(jià)值,需要的朋友可以參考下2018-11-11修復(fù)CentOS7升級(jí)Python到3.6版本后yum不能正確使用的解決方法
這篇文章主要介紹了修復(fù)CentOS7升級(jí)Python到3.6版本后yum不能使用的問題,本文給大家?guī)砹私鉀Q方法,需要的朋友可以參考下2018-01-01django表單中的按鈕獲取數(shù)據(jù)的實(shí)例分析
在本篇文章里小編給大家詳解了關(guān)于django表單中的按鈕獲取數(shù)據(jù)的內(nèi)容,需要的朋友們可以參考下。2020-07-07