python爬蟲入門教程之糗百圖片爬蟲代碼分享
學習python少不了寫爬蟲,不僅能以點帶面地學習、練習使用python,爬蟲本身也是有用且有趣的,大量重復性的下載、統(tǒng)計工作完全可以寫一個爬蟲程序完成。
用python寫爬蟲需要python的基礎(chǔ)知識、涉及網(wǎng)絡(luò)的幾個模塊、正則表達式、文件操作等知識。昨天在網(wǎng)上學習了一下,寫了一個爬蟲自動下載「糗事百科」里面的圖片。源代碼如下:
# -*- coding: utf-8 -*-
# 上面那句讓代碼里支持中文
#---------------------------------------
# 程序:糗百圖片爬蟲
# 版本:0.1
# 作者:趙偉
# 日期:2013-07-25
# 語言:Python 2.7
# 說明:能設(shè)置下載的頁數(shù)。沒有做更多抽象和交互方面的優(yōu)化。
#---------------------------------------
import urllib2
import urllib
import re
#正則表達式,用來抓取圖片的地址
pat = re.compile('<div class="thumb">\\n<img src=\"(ht.*?)\".*?>')
#用來合成網(wǎng)頁的URL
nexturl1 = "http://m.qiushibaike.com/imgrank/page/"
nexturl2 = "?s=4582487&slow"
#頁數(shù)計數(shù)
count = 1
#設(shè)置抓取的頁數(shù)
while count < 3:
print "Page " + str(count) + "\n"
myurl = nexturl1 + str(count) + nexturl2
myres = urllib2.urlopen(myurl)#抓取網(wǎng)頁
mypage = myres.read()#讀取網(wǎng)頁內(nèi)容
ucpage = mypage.decode("utf-8") #轉(zhuǎn)碼
mat = pat.findall(ucpage)#用正則表達式抓取圖片地址
count += 1;
if len(mat):
for item in mat:
print "url: " + item + "\n"
fnp = re.compile('/(\w+\.\w+)$')#下面三行分離出圖片文件的名稱
fnr = fnp.findall(item)
fname = fnr[0]
urllib.urlretrieve(item, fname)#下載圖片
else:
print "no data"
使用方法:新建一個practice文件夾,將源代碼保存為qb.py文件,并放在practice文件夾中,在命令行里執(zhí)行python qb.py,即開始下載圖片??梢孕薷脑创a里面的while語句設(shè)置下載的頁數(shù)。
相關(guān)文章
Python?PaddleGAN實現(xiàn)調(diào)整照片人物年齡
這篇文章主要介紹了通過PaddleGAN實現(xiàn)照片人物的老年化和年輕化處理,文中的示例代碼講解有效,對我們學習或工作有一定的幫助,感興趣的可以學習一下2021-12-12解決Python中由于logging模塊誤用導致的內(nèi)存泄露
這篇文章主要介紹了解決Python中由于logging模塊誤用導致的內(nèi)存泄露,針對由于過多的UDP連接所產(chǎn)生的問題,需要的朋友可以參考下2015-04-04將Django使用的數(shù)據(jù)庫從MySQL遷移到PostgreSQL的教程
這篇文章主要介紹了將Django使用的數(shù)據(jù)庫從MySQL遷移到PostgreSQL的教程,同時提到了一些注意事項,需要的朋友可以參考下2015-04-04用python實現(xiàn)日志文件,并且按時間命名文件名方式
這篇文章主要介紹了用python實現(xiàn)日志文件,并且按時間命名文件名方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08