Python實現(xiàn)的爬取百度貼吧圖片功能完整示例
本文實例講述了Python實現(xiàn)的爬取百度貼吧圖片功能。分享給大家供大家參考,具體如下:
#coding:utf-8 import requests import urllib2 import urllib ``` from lxml import etree class Tieba: def __init__(self): self.tiebaName = raw_input("請輸入需要爬取的貼吧:") self.beginPage = int(raw_input("請輸入爬取的起始頁:")) self.endPage = int(raw_input("請輸入爬取的結(jié)束頁:")) self.baseURL = "http://tieba.baidu.com" #self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"} self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self): """ 發(fā)送貼吧每一頁的url請求 """ for page in range(self.beginPage, self.endPage + 1): pn = (page - 1) * 50 keyword = {"kw" : self.tiebaName, "pn" : pn} kw = urllib.urlencode(keyword) url = self.baseURL + "/f?" + kw #print url html = self.loadRequest(url) self.loadPage(html) def loadRequest(self, url): """ 發(fā)送請求,返回響應 url: 發(fā)送請求的url地址 """ request = urllib2.Request(url, headers = self.headers) #request = urllib2.Request(url) response = urllib2.urlopen(request) return response.read() def loadPage(self, html): """ 提取每個帖子的url,并發(fā)送請求,獲取響應 html: 貼吧每一頁的html """ content = etree.HTML(html) print '------' print content # xpath 返回的所有匹配成功后的結(jié)果的列表 #pagelink_list = content.xpath("http://div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href") pagelink_list = content.xpath("http://div[@class='col2_right j_threadlist_li_right']//div/a/@href") pagelink_list = content.xpath("http://div[@class='t_con cleafix']//div/a/@href") for link in pagelink_list: print link self.loadImage(self.loadRequest(self.baseURL + link)) def loadImage(self, html): """ 提取帖子里用戶發(fā)送的圖片的url地址 html: 每個帖子的html """ content = etree.HTML(html) imagelink_list = content.xpath("http://div[@class='p_content ']//img[@class='BDE_Image']/@src") for link in imagelink_list: self.writeImage(self.loadRequest(link), link[-10:]) def writeImage(self, data, filename): """ 將圖片的響應數(shù)據(jù),寫入到本地磁盤里 data: 圖片的響應數(shù)據(jù) filename: 文件名(圖片url的后10位) """ print "正在保存圖片...%s" % filename with open(filename, "wb") as f: f.write(data) if __name__ == "__main__": tieba = Tieba() tieba.startWork()
更多關于Python相關內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設計有所幫助。
相關文章
Python中input()函數(shù)的用法實例小結(jié)
我們編寫的大部分程序,都需要讀取輸入并對其進行處理,而基本的輸入操作是從鍵盤鍵入數(shù)據(jù),Python從鍵盤鍵入數(shù)據(jù),大多使用其內(nèi)置的input()函數(shù),下面這篇文章主要給大家介紹了關于Python中input()函數(shù)用法的相關資料,需要的朋友可以參考下2022-03-03python環(huán)境中的概念conda中與環(huán)境相關指令操作
這篇文章主要介紹了python環(huán)境中的概念conda中與環(huán)境相關指令操作,虛擬環(huán)境是從電腦獨立開辟出來的環(huán)境,文章介紹了相關概念,需要的朋友可以參考下2023-03-03如何使用python3獲取當前路徑及os.path.dirname的使用
這篇文章主要介紹了如何使用python3獲取當前路徑及os.path.dirname的使用,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12Python查找兩個有序列表中位數(shù)的方法【基于歸并算法】
這篇文章主要介紹了Python查找兩個有序列表中位數(shù)的方法,結(jié)合實例形式分析了Python基于歸并算法遍歷、計算有序列表相關操作技巧,需要的朋友可以參考下2018-04-04Python基于socket實現(xiàn)TCP客戶端和服務端
這篇文章主要介紹了Python基于socket實現(xiàn)的TCP客戶端和服務端,以及socket實現(xiàn)的多任務版TCP服務端,下面相關操作需要的小伙伴可以參考一下2022-04-04Python實現(xiàn)查看系統(tǒng)啟動項功能示例
這篇文章主要介紹了Python實現(xiàn)查看系統(tǒng)啟動項功能,涉及Python針對系統(tǒng)注冊表啟動項的相關讀取操作實現(xiàn)技巧,需要的朋友可以參考下2018-05-05