快捷導(dǎo)航

Python中使用HTMLParser解析html實例

更新時間：2015年02月08日 09:35:18 投稿：junjie

這篇文章主要介紹了Python中使用HTMLParser解析html實例,本文直接給出使用示例,并總結(jié)出HTMLParser含有的方法分為兩類,一類是需要顯式調(diào)用的,而另一類不需顯示調(diào)用,需要的朋友可以參考下

前幾天遇到一個問題,需要把網(wǎng)頁中的一部分內(nèi)容挑出來,于是找到了urllib和HTMLParser兩個庫.urllib可以將網(wǎng)頁爬下來,然后交由HTMLParser解析,初次使用這個庫,在查官方文檔時也遇到了一些問題,在這里寫下來與大家分享.

一個例子

復(fù)制代碼代碼如下:

from HTMLParser import HTMLParser

class MyHTMLParser(HTMLParser):

  def handle_starttag(self, tag, attrs):

    print "a start tag:",tag,self.getpos()

parser=MyHTMLParser()

parser.feed('<div><p>"hello"</p></div>')

這個例子里HTMLParser是基類,重載了他的handle_starttag方法,輸出了一些信息.parser是MyHTMLParser的實例,調(diào)用feed方法開始解析函數(shù).值得注意的是,不需要顯示調(diào)用handle_starttag方法就會執(zhí)行.

HTMLParser方法的調(diào)用方式困惑了我很長時間,看了很多博文才恍然大悟,HTMLParser含有的方法分為兩類,一類是需要顯式調(diào)用的,而另一類不需顯示調(diào)用.

不需顯式調(diào)用的方法

下面的這些函數(shù)在解析的過程中會觸發(fā),但是默認情況下不會產(chǎn)生任何副作用,因而我們要根據(jù)自己的需求重載.

1.HTMLParser.handle_starttag(tag,attrs): 解析時遇到開始標(biāo)簽調(diào)用,如<p class='para'>,參數(shù)tag是標(biāo)簽名,這里是'p',attrs為標(biāo)簽所有屬性(name,value)列表,這里是[('class','para')]

2.HTMLParser.handle_endtag(tag): 遇到結(jié)束標(biāo)簽時調(diào)用,tag是標(biāo)簽名

3.HTMLPars.handle_data(data): 遇到標(biāo)簽中間的內(nèi)容時調(diào)用,如<style> p {color: blue; }</style>,參數(shù)data為開閉標(biāo)簽間的內(nèi)容.值得注意的是在形如<div><p>...</p></div>的位置,并不會在div處調(diào)用,而是只在p處調(diào)用

當(dāng)然還有其他函數(shù),這里不做介紹

顯式調(diào)用的方法

1.HTMLParser.feed(data): 參數(shù)為需要解析的html字符串,調(diào)用后字符串開始被解析

2.HTMLParser.getpos(): 返回當(dāng)前的行號和偏移位置,如(23,5)

3.HTMLParser.get_starttag_text(): 返回當(dāng)前位置最近的開始標(biāo)簽的內(nèi)容

所有的內(nèi)容寫完了,最后還有一點注意事項,HTMLParser只是一個簡單的模塊,解析html的功能并不完善,例如不能準(zhǔn)確的分別開標(biāo)簽和"自閉標(biāo)簽",看下面代碼:

復(fù)制代碼代碼如下:

from HTMLParser import HTMLParser
class MyHTMLParser(HTMLParser):
def handle_starttag(self,tag,attrs):
print 'begin tag',tag
def handle_startendtag(self,tag,attrs):
print 'begin end tag',tag

str1='<br>'
str2='<br/>'
parser=MyHTMLParser()

parser.feed(str1) # 輸出 "begin tag br"
parser.feed(str2) # 輸出 "begin end br"

您可能感興趣的文章: