零基礎(chǔ)寫(xiě)python爬蟲(chóng)之抓取百度貼吧代碼分享
這里就不給大家廢話了,直接上代碼,代碼的解釋都在注釋里面,看不懂的也別來(lái)問(wèn)我,好好學(xué)學(xué)基礎(chǔ)知識(shí)去!
# -*- coding: utf-8 -*-
#---------------------------------------
# 程序:百度貼吧爬蟲(chóng)
# 版本:0.1
# 作者:why
# 日期:2013-05-14
# 語(yǔ)言:Python 2.7
# 操作:輸入帶分頁(yè)的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁(yè)數(shù)和終點(diǎn)頁(yè)數(shù)。
# 功能:下載對(duì)應(yīng)頁(yè)碼內(nèi)的所有頁(yè)面并存儲(chǔ)為html文件。
#---------------------------------------
import string, urllib2
#定義百度函數(shù)
def baidu_tieba(url,begin_page,end_page):
for i in range(begin_page, end_page+1):
sName = string.zfill(i,5) + '.html'#自動(dòng)填充成六位的文件名
print '正在下載第' + str(i) + '個(gè)網(wǎng)頁(yè),并將其存儲(chǔ)為' + sName + '......'
f = open(sName,'w+')
m = urllib2.urlopen(url + str(i)).read()
f.write(m)
f.close()
#-------- 在這里輸入?yún)?shù) ------------------
# 這個(gè)是山東大學(xué)的百度貼吧中某一個(gè)帖子的地址
#bdurl = 'http://tieba.baidu.com/p/2296017831?pn='
#iPostBegin = 1
#iPostEnd = 10
bdurl = str(raw_input(u'請(qǐng)輸入貼吧的地址,去掉pn=后面的數(shù)字:\n'))
begin_page = int(raw_input(u'請(qǐng)輸入開(kāi)始的頁(yè)數(shù):\n'))
end_page = int(raw_input(u'請(qǐng)輸入終點(diǎn)的頁(yè)數(shù):\n'))
#-------- 在這里輸入?yún)?shù) ------------------
#調(diào)用
baidu_tieba(bdurl,begin_page,end_page)
以上就是python抓取百度貼吧的一段簡(jiǎn)單的代碼,非常的實(shí)用吧,各位可以自行擴(kuò)展下。
- Python實(shí)現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲(chóng)示例
- python爬蟲(chóng)教程之爬取百度貼吧并下載的示例
- 基于Python實(shí)現(xiàn)的百度貼吧網(wǎng)絡(luò)爬蟲(chóng)實(shí)例
- 零基礎(chǔ)寫(xiě)python爬蟲(chóng)之抓取百度貼吧并存儲(chǔ)到本地txt文件改進(jìn)版
- Python編寫(xiě)百度貼吧的簡(jiǎn)單爬蟲(chóng)
- Python3實(shí)現(xiàn)爬取指定百度貼吧頁(yè)面并保存頁(yè)面數(shù)據(jù)生成本地文檔的方法
- Python爬取網(wǎng)頁(yè)中的圖片(搜狗圖片)詳解
- 簡(jiǎn)單實(shí)現(xiàn)Python爬取網(wǎng)絡(luò)圖片
- Python爬蟲(chóng)爬取一個(gè)網(wǎng)頁(yè)上的圖片地址實(shí)例代碼
- 利用Python爬取微博數(shù)據(jù)生成詞云圖片實(shí)例代碼
- Python實(shí)現(xiàn)的爬取百度貼吧圖片功能完整示例
相關(guān)文章
Python腳本實(shí)現(xiàn)Zabbix多行日志監(jiān)控過(guò)程解析
這篇文章主要介紹了Python腳本實(shí)現(xiàn)Zabbix多行日志監(jiān)控過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08python計(jì)算鄰接矩陣的實(shí)現(xiàn)示例
鄰接矩陣是一種常見(jiàn)的圖表示方法,本文主要介紹了python計(jì)算鄰接矩陣的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11深度學(xué)習(xí)Tensorflow?2.4?完成遷移學(xué)習(xí)和模型微調(diào)
這篇文章主要為大家介紹了深度學(xué)習(xí)Tensorflow?2.4?完成遷移學(xué)習(xí)和模型微調(diào),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-01-01Python中設(shè)置變量作為默認(rèn)值時(shí)容易遇到的錯(cuò)誤
這篇文章主要介紹了Python中設(shè)置變量作為默認(rèn)值時(shí)容易遇到的錯(cuò)誤,這是Python新手經(jīng)常容易碰到的問(wèn)題,且往往不會(huì)被輕易察覺(jué)到,需要的朋友可以參考下2015-04-04Python基于pycrypto實(shí)現(xiàn)的AES加密和解密算法示例
這篇文章主要介紹了Python基于pycrypto實(shí)現(xiàn)的AES加密和解密算法,結(jié)合實(shí)例形式分析了Python使用pycrypto模塊進(jìn)行AES加密與解密操作相關(guān)實(shí)現(xiàn)技巧,需要的朋友可以參考下2018-04-04python實(shí)現(xiàn)查找excel里某一列重復(fù)數(shù)據(jù)并且剔除后打印的方法
這篇文章主要介紹了python實(shí)現(xiàn)查找excel里某一列重復(fù)數(shù)據(jù)并且剔除后打印的方法,涉及Python使用xlrd模塊操作Excel的相關(guān)技巧,需要的朋友可以參考下2015-05-05Python中asyncore異步模塊的用法及實(shí)現(xiàn)httpclient的實(shí)例
asyncore即是一個(gè)異步的socket封裝,特別是dispatcher類(lèi)中包含了很多異步調(diào)用的socket操作方法,非常犀利,下面我們就來(lái)講解Python中asyncore異步模塊的用法及實(shí)現(xiàn)httpclient的實(shí)例2016-06-06Python通過(guò)Pygame繪制移動(dòng)的矩形實(shí)例代碼
這篇文章主要介紹了Python通過(guò)Pygame繪制移動(dòng)的矩形實(shí)例代碼,具有一定借鑒價(jià)值,需要的朋友可以參考下2018-01-01通過(guò)Python使用saltstack生成服務(wù)器資產(chǎn)清單
人工去對(duì)每一臺(tái)服務(wù)器的硬件信息并記錄早已經(jīng)過(guò)去了,無(wú)論通過(guò)腳本還是自動(dòng)化工具都是可以進(jìn)行一次編寫(xiě)到處抓取的,本文主要使用saltstack作為使用工具,然后利用其提供的APi編寫(xiě)所需的Python腳本2016-03-03