欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

使用python提取html文件中的特定數(shù)據(jù)的實(shí)現(xiàn)代碼

 更新時(shí)間：2013年03月24日 14:42:18   作者：  
python提供了SGMLParser類用于html文件的解析。用戶只需從SGMLParser類繼承子類，并在子類中對(duì)html文件做具體處理
例如 具有如下結(jié)構(gòu)的html文件

復(fù)制代碼 代碼如下:

<div class='entry-content'>
<p>感興趣內(nèi)容1</p>
<p>感興趣內(nèi)容2</p>
……
<p>感興趣內(nèi)容n</p>
</div>
<div class='content'>
<p>內(nèi)容1</p>
<p>內(nèi)容2</p>
……
<p>內(nèi)容n</p>
</div>


我們嘗試獲得'感興趣內(nèi)容'

對(duì)于文本內(nèi)容,我們保存到IDList中。
可是如何標(biāo)記我們遇到的文本是感興趣的內(nèi)容呢，也就是，處于
復(fù)制代碼 代碼如下:

<div class='entry-content'>
<p>這里的內(nèi)容</p>
<p>還有這里</p>
……
<p>以及這里的內(nèi)容</p>
</div>


思路如下
  1. 遇到<div class='entry-content'> 設(shè)置標(biāo)記flag = True
  2. 遇到</div>后 設(shè)置標(biāo)記flag = False
  3. 當(dāng)flag 為T(mén)rue時(shí)遇到<p> 設(shè)置標(biāo)記getdata = True
  4. 遇到</p> 且getdata = True,設(shè)置getdata = False

python為我們提供了SGMLParser類，SGMLParser 將 HTML 分析成 8 類數(shù)據(jù)[1]，然后對(duì)每一類調(diào)用單獨(dú)的方法:使用時(shí)只需繼承SGMLParser 類，并編寫(xiě)頁(yè)面信息的處理函數(shù)。

可用的處理函數(shù)如下：

  • 開(kāi)始標(biāo)記 (Start tag) 
是一個(gè)開(kāi)始一個(gè)塊的 HTML 標(biāo)記，象 <html>，<head>，<body> 或 <pre> 等，或是一個(gè)獨(dú)一的標(biāo)記，象 <br> 或 <img> 等。當(dāng)它找到一個(gè)開(kāi)始標(biāo)記 tagname，SGMLParser 將查找名為 start_tagname 或 do_tagname 的方法。例如，當(dāng)它找到一個(gè) <pre> 標(biāo)記，它將查找一個(gè) start_pre 或 do_pre 的方法。如果找到了，SGMLParser 會(huì)使用這個(gè)標(biāo)記的屬性列表來(lái)調(diào)用這個(gè)方法；否則，它用這個(gè)標(biāo)記的名字和屬性列表來(lái)調(diào)用 unknown_starttag 方法。 
  • 結(jié)束標(biāo)記 (End tag) 
是結(jié)束一個(gè)塊的 HTML 標(biāo)記，象 </html>，</head>，</body> 或 </pre> 等。當(dāng)找到一個(gè)結(jié)束標(biāo)記時(shí)，SGMLParser 將查找名為 end_tagname 的方法。如果找到，SGMLParser 調(diào)用這個(gè)方法，否則它使用標(biāo)記的名字來(lái)調(diào)用 unknown_endtag 。 
  • 字符引用 (Character reference) 
用字符的十進(jìn)制或等同的十六進(jìn)制來(lái)表示的轉(zhuǎn)義字符，象 &#160;。當(dāng)找到，SGMLParser 使用十進(jìn)制或等同的十六進(jìn)制字符文本來(lái)調(diào)用 handle_charref 。 
  • 實(shí)體引用 (Entity reference) 
HTML 實(shí)體，象 &copy;。當(dāng)找到，SGMLParser 使用 HTML 實(shí)體的名字來(lái)調(diào)用 handle_entityref 。 
  • 注釋 (Comment) 
HTML 注釋, 包括在 <!-- ... -->之間。當(dāng)找到，SGMLParser 用注釋內(nèi)容來(lái)調(diào)用 handle_comment。 
  • 處理指令 (Processing instruction) 
HTML 處理指令，包括在 <? ... > 之間。當(dāng)找到，SGMLParser 用處理指令內(nèi)容來(lái)調(diào)用 handle_pi。 
  • 聲明 (Declaration) 
HTML 聲明，如 DOCTYPE，包括在 <! ... >之間。當(dāng)找到，SGMLParser 用聲明內(nèi)容來(lái)調(diào)用 handle_decl。 
  • 文本數(shù)據(jù) (Text data) 
文本塊。不滿足其它 7 種類別的任何東西。當(dāng)找到，SGMLParser 用文本來(lái)調(diào)用 handle_data。 


綜上，的到如下代碼


復(fù)制代碼 代碼如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        SGMLParser.reset(self)

    def start_div(self, attrs):
        for k,v in attrs:#遍歷div的所有屬性以及其值
            if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
 self.flag = False

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

復(fù)制代碼 代碼如下:

    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False

    def handle_data(self, text):#處理文本
        if self.getdata:
            self.IDlist.append(text)

復(fù)制代碼 代碼如下:

    def printID(self):
        for i in self.IDlist:
            print i

上面的思路存在一個(gè)bug
遇到</div>后 設(shè)置標(biāo)記flag = False
如果遇到div嵌套怎么辦？

復(fù)制代碼 代碼如下:

<div class='entry-content'><div>我是來(lái)?yè)v亂的</div><p>感興趣</p></div>

在遇到第一個(gè)</div>之后標(biāo)記flag = False，導(dǎo)致無(wú)法的到‘感興趣內(nèi)容'。
怎么辦呢？如何判斷遇到的</div>是和<div class='entry-content'>匹配的哪個(gè)呢？
很簡(jiǎn)單，</div>和<div>是對(duì)應(yīng)的，我們可以記錄他所處的層數(shù)。進(jìn)入子層div verbatim加1,退出子層div  verbatim減1.這樣就可以判斷是否是同一層了。

修改后 如下

復(fù)制代碼 代碼如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)

    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #進(jìn)入子層div了，層數(shù)加1
            return
        for k,v in attrs:#遍歷div的所有屬性以及其值
            if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子層div了，層數(shù)減1
            self.verbatim -=1

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False

    def handle_data(self, text):#處理文本
        if self.getdata:
            self.IDlist.append(text)

    def printID(self):
        for i in self.IDlist:
            print i

最后  建立了我們自己的類GetIdList后如何使用呢？
簡(jiǎn)單建立實(shí)例 t = GetIdList()
the_page為字符串，內(nèi)容為html
t.feed(the_page)#對(duì)html解析

t.printID()打印出結(jié)果

全部測(cè)試代碼為

復(fù)制代碼 代碼如下:

from sgmllib import SGMLParser
class GetIdList(SGMLParser):
    def reset(self):
        self.IDlist = []
        self.flag = False
        self.getdata = False
        self.verbatim = 0
        SGMLParser.reset(self)

    def start_div(self, attrs):
        if self.flag == True:
            self.verbatim +=1 #進(jìn)入子層div了，層數(shù)加1
            return
        for k,v in attrs:#遍歷div的所有屬性以及其值
            if k == 'class' and v == 'entry-content':#確定進(jìn)入了<div class='entry-content'>
                self.flag = True
                return

    def end_div(self):#遇到</div>
        if self.verbatim == 0:
            self.flag = False
        if self.flag == True:#退出子層div了，層數(shù)減1
            self.verbatim -=1

    def start_p(self, attrs):
        if self.flag == False:
            return
        self.getdata = True

    def end_p(self):#遇到</p>
        if self.getdata:
            self.getdata = False

    def handle_data(self, text):#處理文本
        if self.getdata:
            self.IDlist.append(text)

    def printID(self):
        for i in self.IDlist:
            print i


##import urllib2
##import datetime
##vrg = (datetime.date(2012,2,19) - datetime.date.today()).days
##strUrl = 'http://www.nod32id.org/nod32id/%d.html'%(200+vrg)
##req = urllib2.Request(strUrl)#通過(guò)網(wǎng)絡(luò)獲取網(wǎng)頁(yè)
##response = urllib2.urlopen(req)
##the_page = response.read()

the_page ='''<html>
<head>
<title>test</title>
</head>
<body>
<h1>title</h1>
<div class='entry-content'>
<div class= 'ooxx'>我是來(lái)?yè)v亂的</div>
<p>感興趣內(nèi)容1</p>
<p>感興趣內(nèi)容2</p>
……
<p>感興趣內(nèi)容n</p>
<div class= 'ooxx'>我是來(lái)?yè)v亂的2<div class= 'ooxx'>我是來(lái)?yè)v亂的3</div></div>
</div>
<div class='content'>
<p>內(nèi)容1</p>
<p>內(nèi)容2</p>
……
<p>內(nèi)容n</p>
</div>
</body>
</html>
'''
lister = GetIdList()
lister.feed(the_page)
lister.printID()

執(zhí)行后 輸出為

復(fù)制代碼 代碼如下:

感興趣內(nèi)容1
感興趣內(nèi)容2
感興趣內(nèi)容n


參考文獻(xiàn)

[1] 深入 Python:Dive Into Python 中文版

相關(guān)文章

  • python量化之搭建Transformer模型用于股票價(jià)格預(yù)測(cè)

    python量化之搭建Transformer模型用于股票價(jià)格預(yù)測(cè)

    這篇文章主要介紹了python量化之搭建Transformer模型用于股票價(jià)格預(yù)測(cè)，文章圍繞主題展開(kāi)基于python搭建Transformer，需要的小伙伴可以參考一下
    2022-05-05
  • Python 微信公眾號(hào)文章爬取的示例代碼

    Python 微信公眾號(hào)文章爬取的示例代碼

    這篇文章主要介紹了Python 微信公眾號(hào)文章爬取的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-11-11
  • 提升Python編程效率的列表操作方法示例

    提升Python編程效率的列表操作方法示例

    這篇文章主要為大家介紹了提升Python編程效率的列表操作方法示例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-10-10
  • 移除Selenium中window.navigator.webdriver值

    移除Selenium中window.navigator.webdriver值

    這篇文章主要為大家介紹了如何正確的移除Selenium中window.navigator.webdriver的值方法步驟，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
    2022-06-06
  • 將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法

    將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法

    今天小編就為大家分享一篇將Pytorch模型從CPU轉(zhuǎn)換成GPU的實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-08-08
  • python中棧的原理及實(shí)現(xiàn)方法示例

    python中棧的原理及實(shí)現(xiàn)方法示例

    這篇文章主要介紹了python中棧的原理及實(shí)現(xiàn)方法,結(jié)合實(shí)例形式分析了Python棧的概念、原理、常見(jiàn)操作方法及相關(guān)使用技巧,需要的朋友可以參考下
    2019-11-11
  • 一篇文章帶你了解Python中的類

    一篇文章帶你了解Python中的類

    這篇文章主要給大家介紹了關(guān)于Python中類的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-09-09
  • Python實(shí)現(xiàn)TOPSIS分析法的示例代碼

    Python實(shí)現(xiàn)TOPSIS分析法的示例代碼

    TOPSIS法是一種常用的綜合評(píng)價(jià)方法，其能充分利用原始數(shù)據(jù)的信息，其結(jié)果能精確反應(yīng)各評(píng)價(jià)方案之間的差距。本文將利用Python實(shí)現(xiàn)這一方法，感興趣的可以了解一下
    2023-02-02
  • Python根據(jù)輸入?yún)?shù)計(jì)算結(jié)果的實(shí)例方法

    Python根據(jù)輸入?yún)?shù)計(jì)算結(jié)果的實(shí)例方法

    在本篇文章里小編個(gè)大家整理了一篇關(guān)于Python根據(jù)輸入?yún)?shù)計(jì)算結(jié)果的實(shí)例方法，有興趣的朋友們可以跟著學(xué)習(xí)參考下。
    2021-08-08
  • 關(guān)于python 的legend圖例,參數(shù)使用說(shuō)明

    關(guān)于python 的legend圖例,參數(shù)使用說(shuō)明

    這篇文章主要介紹了關(guān)于python 的legend圖例,參數(shù)使用說(shuō)明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-04-04

最新評(píng)論