欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python HTML解析模塊HTMLParser用法分析【爬蟲工具】

 更新時(shí)間:2019年04月05日 10:14:18   作者:薔薇Nina  
這篇文章主要介紹了Python HTML解析模塊HTMLParser用法,結(jié)合實(shí)例形式分析了HTMLParser模塊功能、常用函數(shù)及作為爬蟲工具相關(guān)使用技巧,需要的朋友可以參考下

本文實(shí)例講述了Python HTML解析模塊HTMLParser用法。分享給大家供大家參考,具體如下:

簡(jiǎn)介

先簡(jiǎn)略介紹一下。實(shí)際上,HTMLParser是python用來解析HTML的內(nèi)置模塊。它可以分析出HTML里面的標(biāo)簽、數(shù)據(jù)等等,是一種處理HTML的簡(jiǎn)便途徑。HTMLParser采用的是一種事件驅(qū)動(dòng)的模式,當(dāng)HTMLParser找到一個(gè)特定的標(biāo)記時(shí),它會(huì)去調(diào)用一個(gè)用戶定義的函數(shù),以此來通知程序處理。它主要的用戶回調(diào)函數(shù)的命名都是以"handle_"開頭的,都是HTMLParser的成員函數(shù)。當(dāng)我們使用時(shí),就從HTMLParser派生出新的類,然后重新定義這幾個(gè)以"handle_"開頭的函數(shù)即可。這幾個(gè)函數(shù)包括:

(1)handle_startendtag    處理開始標(biāo)簽和結(jié)束標(biāo)簽(即單標(biāo)簽)
(2)handle_starttag          處理開始標(biāo)簽,比如<xx>
(3)handle_endtag           處理結(jié)束標(biāo)簽,比如</xx>
(4)handle_charref           處理特殊字符串,就是以&#開頭的,一般是內(nèi)碼表示的字符
(5)handle_entityref        處理一些特殊字符,以&開頭的,比如 &nbsp;
(6)handle_data              處理數(shù)據(jù),就是<xx>data</xx>中間的那些數(shù)據(jù)
(7)handle_comment          處理注釋
(8)handle_decl               處理<!開頭的,比如<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"
(9)handle_pi                   處理形如<?instruction>的東西

實(shí)例

OK,廢話少說,直接上手,來一個(gè)簡(jiǎn)單的爬蟲實(shí)例——抓取貼吧圖片。

from html.parser import HTMLParser
from urllib import request
class MyHTMLParser(HTMLParser):   # 創(chuàng)建HTML解析類
  def __init__(self):
    HTMLParser.__init__(self)
    self.gifs_urls = []     # 創(chuàng)建列表,保存gif
    self.jpgs_urls = []     # 創(chuàng)建列表,保存jpg
  # 重寫HTMLParser中的內(nèi)置方法
  def handle_starttag(self, tags, attrs): # 處理起始標(biāo)記
    if tags == 'img':  # 處理圖片
      for attr in attrs:
        for t in attr:
          if 'gif' in t and 'https' in t:
            self.gifs_urls.append(t)  # 添加到gif列表
          elif 'jpg' in t and 'https' in t:
            self.jpgs_urls.append(t)  # 添加到j(luò)pg列表
          else:
            pass
  # 自定義的方法
  def get_gifs(self):   # 返回gif列表
    return self.gifs_urls
  def get_jpgs(self):   # 返回jpg列表
    return self.jpgs_urls
  # 自定義的方法,獲取頁(yè)面
  def getHTML(self,url):
    req=request.Request(url,method='GET')
    html=request.urlopen(req,timeout=30)
    return html.read()
  # 自定義的方法,批量下載圖片
  def downImgs(self,img_urls,n=10,path='Image/'):
    count=1
    for url in img_urls:
      request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
      count=count+1
      if count == n + 1:
        print('共下載%d張圖片' %(n))
        return
if __name__ == '__main__':
  Url = 'http://tieba.baidu.com/p/2256306796'
  HtmlParser=MyHTMLParser()
  Html=HtmlParser.getHTML(Url)
  # print(Html)
  HtmlParser.feed(str(Html))   #開始解析HTML,自動(dòng)調(diào)用HTMLParser中的內(nèi)置方法
  HtmlParser.downImgs(HtmlParser.get_jpgs())

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • 使用Python中Tkinter模塊的Treeview?組件顯示ini文件操作

    使用Python中Tkinter模塊的Treeview?組件顯示ini文件操作

    這篇文章主要介紹了使用Python中Tkinter模塊的Treeview組件顯示ini文件操作,Treeview組件位于ttk模塊,該模塊自Tk8.5開始引入,主題詳細(xì)介紹,需要的朋友可以參考一下
    2022-09-09
  • Python制作簡(jiǎn)易版2048小游戲

    Python制作簡(jiǎn)易版2048小游戲

    2048作為經(jīng)典的手機(jī)端游戲一直深受大家的喜愛,本文將利用Python中的Pygame模塊制作簡(jiǎn)單版的2048游戲,感興趣的小伙伴可以了解一下
    2022-07-07
  • Python pandas軸旋轉(zhuǎn)stack和unstack的使用說明

    Python pandas軸旋轉(zhuǎn)stack和unstack的使用說明

    這篇文章主要介紹了Python pandas軸旋轉(zhuǎn)stack和unstack的使用說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • Python中列表(List) 的三種遍歷(序號(hào)和值)方法小結(jié)

    Python中列表(List) 的三種遍歷(序號(hào)和值)方法小結(jié)

    這篇文章主要介紹了Python中列表(List) 的三種遍歷(序號(hào)和值)方法小結(jié),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-05-05
  • argparse?模塊簡(jiǎn)介

    argparse?模塊簡(jiǎn)介

    argparse是一個(gè)用來解析命令行參數(shù)的 Python 庫(kù),它是 Python 標(biāo)準(zhǔn)庫(kù)的一部分,基于 python 2.7 的stdlib 代碼,這篇文章主要介紹了argparse?模塊詳解,需要的朋友可以參考下
    2023-02-02
  • 五個(gè)有趣的Python整蠱小程序合集

    五個(gè)有趣的Python整蠱小程序合集

    Python 能做很多無聊,但有意思的事情。本文為大家精心準(zhǔn)備了五個(gè)整蠱朋友的小程序,文中的示例代碼講解詳細(xì),感興趣的小伙伴快動(dòng)手試一試
    2022-04-04
  • python RabbitMQ 使用詳細(xì)介紹(小結(jié))

    python RabbitMQ 使用詳細(xì)介紹(小結(jié))

    這篇文章主要介紹了python RabbitMQ 使用詳細(xì)介紹(小結(jié)),詳細(xì)的介紹了RabbitMQ的概念以及使用,對(duì)學(xué)習(xí)RabbitMQ有一定的幫助,非常具有實(shí)用價(jià)值,需要的朋友可以參考下
    2018-11-11
  • 修復(fù)CentOS7升級(jí)Python到3.6版本后yum不能正確使用的解決方法

    修復(fù)CentOS7升級(jí)Python到3.6版本后yum不能正確使用的解決方法

    這篇文章主要介紹了修復(fù)CentOS7升級(jí)Python到3.6版本后yum不能使用的問題,本文給大家?guī)砹私鉀Q方法,需要的朋友可以參考下
    2018-01-01
  • 用Python實(shí)現(xiàn)KNN分類算法

    用Python實(shí)現(xiàn)KNN分類算法

    這篇文章主要為大家詳細(xì)介紹了用Python實(shí)現(xiàn)KNN分類算法的相關(guān)資料,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2017-12-12
  • django表單中的按鈕獲取數(shù)據(jù)的實(shí)例分析

    django表單中的按鈕獲取數(shù)據(jù)的實(shí)例分析

    在本篇文章里小編給大家詳解了關(guān)于django表單中的按鈕獲取數(shù)據(jù)的內(nèi)容,需要的朋友們可以參考下。
    2020-07-07

最新評(píng)論