欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python實(shí)現(xiàn)的爬取百度貼吧圖片功能完整示例

 更新時(shí)間:2019年05月10日 11:57:42   作者:xuezhangjun  
這篇文章主要介紹了Python實(shí)現(xiàn)的爬取百度貼吧圖片功能,結(jié)合完整實(shí)例形式分析了Python實(shí)現(xiàn)的百度貼吧圖片爬蟲(chóng)相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)的爬取百度貼吧圖片功能。分享給大家供大家參考,具體如下:

#coding:utf-8
import requests
import urllib2
import urllib
```
from lxml import etree
class Tieba:
  def __init__(self):
    self.tiebaName = raw_input("請(qǐng)輸入需要爬取的貼吧:")
    self.beginPage = int(raw_input("請(qǐng)輸入爬取的起始頁(yè):"))
    self.endPage = int(raw_input("請(qǐng)輸入爬取的結(jié)束頁(yè):"))
    self.baseURL = "http://tieba.baidu.com"
    #self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
    self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self):
    """
      發(fā)送貼吧每一頁(yè)的url請(qǐng)求
    """
    for page in range(self.beginPage, self.endPage + 1):
      pn = (page - 1) * 50
      keyword = {"kw" : self.tiebaName, "pn" : pn}
      kw = urllib.urlencode(keyword)
      url = self.baseURL + "/f?" + kw
      #print url
      html = self.loadRequest(url)
      self.loadPage(html)
  def loadRequest(self, url):
    """
      發(fā)送請(qǐng)求,返回響應(yīng)
      url: 發(fā)送請(qǐng)求的url地址
    """
    request = urllib2.Request(url, headers = self.headers)
    #request = urllib2.Request(url)
    response = urllib2.urlopen(request)
    return response.read()
  def loadPage(self, html):
    """
      提取每個(gè)帖子的url,并發(fā)送請(qǐng)求,獲取響應(yīng)
      html: 貼吧每一頁(yè)的html
    """
    content = etree.HTML(html)
    print '------'
    print content
    # xpath 返回的所有匹配成功后的結(jié)果的列表
    #pagelink_list = content.xpath("http://div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href")
    pagelink_list = content.xpath("http://div[@class='col2_right j_threadlist_li_right']//div/a/@href")
    pagelink_list = content.xpath("http://div[@class='t_con cleafix']//div/a/@href")
    for link in pagelink_list:
      print link
      self.loadImage(self.loadRequest(self.baseURL + link))
  def loadImage(self, html):
    """
      提取帖子里用戶發(fā)送的圖片的url地址
      html: 每個(gè)帖子的html
    """
    content = etree.HTML(html)
    imagelink_list = content.xpath("http://div[@class='p_content ']//img[@class='BDE_Image']/@src")
    for link in imagelink_list:
      self.writeImage(self.loadRequest(link), link[-10:])
  def writeImage(self, data, filename):
    """
      將圖片的響應(yīng)數(shù)據(jù),寫入到本地磁盤里
      data: 圖片的響應(yīng)數(shù)據(jù)
      filename: 文件名(圖片url的后10位)
    """
    print "正在保存圖片...%s" % filename
    with open(filename, "wb") as f:
      f.write(data)
if __name__ == "__main__":
  tieba = Tieba()
  tieba.startWork()

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

相關(guān)文章

  • Python中input()函數(shù)的用法實(shí)例小結(jié)

    Python中input()函數(shù)的用法實(shí)例小結(jié)

    我們編寫的大部分程序,都需要讀取輸入并對(duì)其進(jìn)行處理,而基本的輸入操作是從鍵盤鍵入數(shù)據(jù),Python從鍵盤鍵入數(shù)據(jù),大多使用其內(nèi)置的input()函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python中input()函數(shù)用法的相關(guān)資料,需要的朋友可以參考下
    2022-03-03
  • python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作

    python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作

    這篇文章主要介紹了python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作,虛擬環(huán)境是從電腦獨(dú)立開(kāi)辟出來(lái)的環(huán)境,文章介紹了相關(guān)概念,需要的朋友可以參考下
    2023-03-03
  • Python內(nèi)存管理實(shí)例分析

    Python內(nèi)存管理實(shí)例分析

    這篇文章主要介紹了Python內(nèi)存管理,結(jié)合實(shí)例形式分析了Python對(duì)象的引用、垃圾回收、分配等相關(guān)原理與操作技巧,需要的朋友可以參考下
    2019-07-07
  • 如何使用python3獲取當(dāng)前路徑及os.path.dirname的使用

    如何使用python3獲取當(dāng)前路徑及os.path.dirname的使用

    這篇文章主要介紹了如何使用python3獲取當(dāng)前路徑及os.path.dirname的使用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-12-12
  • Python中怎樣查找文件當(dāng)前位置

    Python中怎樣查找文件當(dāng)前位置

    這篇文章主要介紹了Python中怎樣查找文件當(dāng)前位置的方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • Python查找兩個(gè)有序列表中位數(shù)的方法【基于歸并算法】

    Python查找兩個(gè)有序列表中位數(shù)的方法【基于歸并算法】

    這篇文章主要介紹了Python查找兩個(gè)有序列表中位數(shù)的方法,結(jié)合實(shí)例形式分析了Python基于歸并算法遍歷、計(jì)算有序列表相關(guān)操作技巧,需要的朋友可以參考下
    2018-04-04
  • python多線程編程中的join函數(shù)使用心得

    python多線程編程中的join函數(shù)使用心得

    這篇文章主要介紹了python多線程編程中的join函數(shù)使用心得,本文先是給出了join函數(shù)使用例子,并對(duì)join函數(shù)的使用作了總結(jié),需要的朋友可以參考下
    2014-09-09
  • Python基于socket實(shí)現(xiàn)TCP客戶端和服務(wù)端

    Python基于socket實(shí)現(xiàn)TCP客戶端和服務(wù)端

    這篇文章主要介紹了Python基于socket實(shí)現(xiàn)的TCP客戶端和服務(wù)端,以及socket實(shí)現(xiàn)的多任務(wù)版TCP服務(wù)端,下面相關(guān)操作需要的小伙伴可以參考一下
    2022-04-04
  • 使用K.function()調(diào)試keras操作

    使用K.function()調(diào)試keras操作

    這篇文章主要介紹了使用K.function()調(diào)試keras操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-06-06
  • Python實(shí)現(xiàn)查看系統(tǒng)啟動(dòng)項(xiàng)功能示例

    Python實(shí)現(xiàn)查看系統(tǒng)啟動(dòng)項(xiàng)功能示例

    這篇文章主要介紹了Python實(shí)現(xiàn)查看系統(tǒng)啟動(dòng)項(xiàng)功能,涉及Python針對(duì)系統(tǒng)注冊(cè)表啟動(dòng)項(xiàng)的相關(guān)讀取操作實(shí)現(xiàn)技巧,需要的朋友可以參考下
    2018-05-05

最新評(píng)論