Python實現(xiàn)的爬取百度貼吧圖片功能完整示例
本文實例講述了Python實現(xiàn)的爬取百度貼吧圖片功能。分享給大家供大家參考,具體如下:
#coding:utf-8
import requests
import urllib2
import urllib
```
from lxml import etree
class Tieba:
def __init__(self):
self.tiebaName = raw_input("請輸入需要爬取的貼吧:")
self.beginPage = int(raw_input("請輸入爬取的起始頁:"))
self.endPage = int(raw_input("請輸入爬取的結(jié)束頁:"))
self.baseURL = "http://tieba.baidu.com"
#self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self):
"""
發(fā)送貼吧每一頁的url請求
"""
for page in range(self.beginPage, self.endPage + 1):
pn = (page - 1) * 50
keyword = {"kw" : self.tiebaName, "pn" : pn}
kw = urllib.urlencode(keyword)
url = self.baseURL + "/f?" + kw
#print url
html = self.loadRequest(url)
self.loadPage(html)
def loadRequest(self, url):
"""
發(fā)送請求,返回響應
url: 發(fā)送請求的url地址
"""
request = urllib2.Request(url, headers = self.headers)
#request = urllib2.Request(url)
response = urllib2.urlopen(request)
return response.read()
def loadPage(self, html):
"""
提取每個帖子的url,并發(fā)送請求,獲取響應
html: 貼吧每一頁的html
"""
content = etree.HTML(html)
print '------'
print content
# xpath 返回的所有匹配成功后的結(jié)果的列表
#pagelink_list = content.xpath("http://div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href")
pagelink_list = content.xpath("http://div[@class='col2_right j_threadlist_li_right']//div/a/@href")
pagelink_list = content.xpath("http://div[@class='t_con cleafix']//div/a/@href")
for link in pagelink_list:
print link
self.loadImage(self.loadRequest(self.baseURL + link))
def loadImage(self, html):
"""
提取帖子里用戶發(fā)送的圖片的url地址
html: 每個帖子的html
"""
content = etree.HTML(html)
imagelink_list = content.xpath("http://div[@class='p_content ']//img[@class='BDE_Image']/@src")
for link in imagelink_list:
self.writeImage(self.loadRequest(link), link[-10:])
def writeImage(self, data, filename):
"""
將圖片的響應數(shù)據(jù),寫入到本地磁盤里
data: 圖片的響應數(shù)據(jù)
filename: 文件名(圖片url的后10位)
"""
print "正在保存圖片...%s" % filename
with open(filename, "wb") as f:
f.write(data)
if __name__ == "__main__":
tieba = Tieba()
tieba.startWork()
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
Python中input()函數(shù)的用法實例小結(jié)
我們編寫的大部分程序,都需要讀取輸入并對其進行處理,而基本的輸入操作是從鍵盤鍵入數(shù)據(jù),Python從鍵盤鍵入數(shù)據(jù),大多使用其內(nèi)置的input()函數(shù),下面這篇文章主要給大家介紹了關(guān)于Python中input()函數(shù)用法的相關(guān)資料,需要的朋友可以參考下2022-03-03
python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作
這篇文章主要介紹了python環(huán)境中的概念conda中與環(huán)境相關(guān)指令操作,虛擬環(huán)境是從電腦獨立開辟出來的環(huán)境,文章介紹了相關(guān)概念,需要的朋友可以參考下2023-03-03
如何使用python3獲取當前路徑及os.path.dirname的使用
這篇文章主要介紹了如何使用python3獲取當前路徑及os.path.dirname的使用,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12
Python查找兩個有序列表中位數(shù)的方法【基于歸并算法】
這篇文章主要介紹了Python查找兩個有序列表中位數(shù)的方法,結(jié)合實例形式分析了Python基于歸并算法遍歷、計算有序列表相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
Python基于socket實現(xiàn)TCP客戶端和服務端
這篇文章主要介紹了Python基于socket實現(xiàn)的TCP客戶端和服務端,以及socket實現(xiàn)的多任務版TCP服務端,下面相關(guān)操作需要的小伙伴可以參考一下2022-04-04
Python實現(xiàn)查看系統(tǒng)啟動項功能示例
這篇文章主要介紹了Python實現(xiàn)查看系統(tǒng)啟動項功能,涉及Python針對系統(tǒng)注冊表啟動項的相關(guān)讀取操作實現(xiàn)技巧,需要的朋友可以參考下2018-05-05

