Python實(shí)現(xiàn)的爬取百度貼吧圖片功能完整示例
本文實(shí)例講述了Python實(shí)現(xiàn)的爬取百度貼吧圖片功能。分享給大家供大家參考,具體如下:
#coding:utf-8 import requests import urllib2 import urllib ``` from lxml import etree class Tieba: def __init__(self): self.tiebaName = raw_input("請(qǐng)輸入需要爬取的貼吧:") self.beginPage = int(raw_input("請(qǐng)輸入爬取的起始頁(yè):")) self.endPage = int(raw_input("請(qǐng)輸入爬取的結(jié)束頁(yè):")) self.baseURL = "http://tieba.baidu.com" #self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"} self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self): """ 發(fā)送貼吧每一頁(yè)的url請(qǐng)求 """ for page in range(self.beginPage, self.endPage + 1): pn = (page - 1) * 50 keyword = {"kw" : self.tiebaName, "pn" : pn} kw = urllib.urlencode(keyword) url = self.baseURL + "/f?" + kw #print url html = self.loadRequest(url) self.loadPage(html) def loadRequest(self, url): """ 發(fā)送請(qǐng)求,返回響應(yīng) url: 發(fā)送請(qǐng)求的url地址 """ request = urllib2.Request(url, headers = self.headers) #request = urllib2.Request(url) response = urllib2.urlopen(request) return response.read() def loadPage(self, html): """ 提取每個(gè)帖子的url,并發(fā)送請(qǐng)求,獲取響應(yīng) html: 貼吧每一頁(yè)的html """ content = etree.HTML(html) print '------' print content # xpath 返回的所有匹配成功后的結(jié)果的列表 #pagelink_list = content.xpath("http://div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href") pagelink_list = content.xpath("http://div[@class='col2_right j_threadlist_li_right']//div/a/@href") pagelink_list = content.xpath("http://div[@class='t_con cleafix']//div/a/@href") for link in pagelink_list: print link self.loadImage(self.loadRequest(self.baseURL + link)) def loadImage(self, html): """ 提取帖子里用戶發(fā)送的圖片的url地址 html: 每個(gè)帖子的html """ content = etree.HTML(html) imagelink_list = content.xpath("http://div[@class='p_content ']//img[@class='BDE_Image']/@src") for link in imagelink_list: self.writeImage(self.loadRequest(link), link[-10:]) def writeImage(self, data, filename): """ 將圖片的響應(yīng)數(shù)據(jù),寫入到本地磁盤里 data: 圖片的響應(yīng)數(shù)據(jù) filename: 文件名(圖片url的后10位) """ print "正在保存圖片...%s" % filename with open(filename, "wb") as f: f.write(data) if __name__ == "__main__": tieba = Tieba() tieba.startWork()
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。
- Python Scrapy圖片爬取原理及代碼實(shí)例
- python3 requests庫(kù)實(shí)現(xiàn)多圖片爬取教程
- Python3直接爬取圖片URL并保存示例
- Python爬蟲(chóng)爬取煎蛋網(wǎng)圖片代碼實(shí)例
- Python爬取知乎圖片代碼實(shí)現(xiàn)解析
- python協(xié)程gevent案例 爬取斗魚(yú)圖片過(guò)程解析
- python2爬取百度貼吧指定關(guān)鍵字和圖片代碼實(shí)例
- python實(shí)現(xiàn)知乎高顏值圖片爬取
- python實(shí)現(xiàn)爬取百度圖片的方法示例
- python根據(jù)用戶需求輸入想爬取的內(nèi)容及頁(yè)數(shù)爬取圖片方法詳解
相關(guān)文章
Python中input()函數(shù)的用法實(shí)例小結(jié)
我們編寫的大部分程序,都需要讀取輸入并對(duì)其進(jìn)行處理,而基本的輸入操作是從鍵盤鍵入數(shù)據(jù),Python從鍵盤鍵入數(shù)據(jù),大多使用其內(nèi)置的input()函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python中input()函數(shù)用法的相關(guān)資料,需要的朋友可以參考下2022-03-03python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作
這篇文章主要介紹了python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作,虛擬環(huán)境是從電腦獨(dú)立開(kāi)辟出來(lái)的環(huán)境,文章介紹了相關(guān)概念,需要的朋友可以參考下2023-03-03如何使用python3獲取當(dāng)前路徑及os.path.dirname的使用
這篇文章主要介紹了如何使用python3獲取當(dāng)前路徑及os.path.dirname的使用,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12Python查找兩個(gè)有序列表中位數(shù)的方法【基于歸并算法】
這篇文章主要介紹了Python查找兩個(gè)有序列表中位數(shù)的方法,結(jié)合實(shí)例形式分析了Python基于歸并算法遍歷、計(jì)算有序列表相關(guān)操作技巧,需要的朋友可以參考下2018-04-04Python基于socket實(shí)現(xiàn)TCP客戶端和服務(wù)端
這篇文章主要介紹了Python基于socket實(shí)現(xiàn)的TCP客戶端和服務(wù)端,以及socket實(shí)現(xiàn)的多任務(wù)版TCP服務(wù)端,下面相關(guān)操作需要的小伙伴可以參考一下2022-04-04Python實(shí)現(xiàn)查看系統(tǒng)啟動(dòng)項(xiàng)功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)查看系統(tǒng)啟動(dòng)項(xiàng)功能,涉及Python針對(duì)系統(tǒng)注冊(cè)表啟動(dòng)項(xiàng)的相關(guān)讀取操作實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-05-05