欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python編寫百度貼吧的簡單爬蟲

 更新時(shí)間:2015年04月02日 09:31:23   投稿:hebedich  
這篇文章主要介紹了Python編寫百度貼吧的簡單爬蟲,簡單實(shí)現(xiàn)了下載對(duì)應(yīng)頁碼的頁面并存為以當(dāng)前時(shí)間命名的html文件,這里分享給大家,拋磚引玉。

操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)

功能:下載對(duì)應(yīng)頁碼的所有頁面并儲(chǔ)存為HTML文件,以當(dāng)前時(shí)間命名

代碼:

# -*- coding: utf-8 -*-
 
#----------------------------
#  程序:百度貼吧的小爬蟲
#  日期:2015/03/28
#  語言:Python 2.7
#  操作:輸入帶分頁的地址,去掉最后面的數(shù)字,設(shè)置一下起始頁數(shù)和終點(diǎn)頁數(shù)
#  功能:下載對(duì)應(yīng)頁碼的所有頁面并儲(chǔ)存為HTML文件,以當(dāng)前時(shí)間命名
#----------------------------
 
import urllib2
import time
 
def baidu_tieba(url, start, end):
  for i in range(start, end):
    sName = time.strftime('%Y%m%d%H%M%S') + str(i) + '.html'
    print '正在下載第' + str(i) + '個(gè)網(wǎng)頁,并將其儲(chǔ)存為' + sName + '...'
    f = open(sName, 'w+')
    m = urllib2.urlopen(url+str(i))
    n = m.read()
    f.write(n)
    f.close()
  print '成功下載'
     
baiduurl = str(raw_input('請輸入貼子的地址,去掉pn后面的數(shù)字>>\n'))
begin_page = int(raw_input('請輸入帖子的起始頁碼>>\n'))
end_page = int(raw_input('請輸入帖子的終止頁碼>>\n'))        
 
baidu_tieba(baiduurl, begin_page, end_page)

以上所述就是本文的全部內(nèi)容了,希望能夠?qū)Υ蠹覍W(xué)習(xí)Python制作爬蟲有所幫助。

相關(guān)文章

最新評(píng)論