簡單的Python抓taobao圖片爬蟲
更新時間：2014年10月26日 14:54:50 投稿：hebedich
這篇文章主要介紹了簡單的Python抓taobao圖片爬蟲,需要的朋友可以參考下
寫了一個抓taobao圖片的爬蟲，全是用if，for，while寫的，比較簡陋，入門作品。
從網(wǎng)頁http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。
復(fù)制代碼 代碼如下:
# -*- coding: cp936 -*-
import urllib2
import urllib
mmurl=" i=0#第二頁有個人的頁面沒圖片,會出現(xiàn)IO錯誤
while i<15:
url=mmurl+str(i)
#print url #打印出列表的url
up=urllib2.urlopen(url)#打開頁面，存入句柄中
cont=up.read()
#print len(cont)#頁面的長度
ahref='<a href="http'#篩選頁面內(nèi)網(wǎng)頁鏈接的關(guān)鍵字
target="target"
pa=cont.find(ahref)#找出網(wǎng)頁鏈接的頭部位置
pt=cont.find(target,pa)#找出網(wǎng)頁鏈接的尾部位置
for a in range(0,20):#如才能不把20硬編碼進(jìn)去？如何找到文件結(jié)尾？
urlx=cont[pa+len(ahref)-4:pt-2]#從頭部到尾部，將網(wǎng)頁鏈接存入變量
if len(urlx) < 60:#如果網(wǎng)頁鏈接長度適合【len（）?。。?！】
urla=urlx #那么就準(zhǔn)備將其打印出來
print urla #這是想要的model個人URL
#########以下開始對model個人的URL進(jìn)行操作#########
mup=urllib2.urlopen(urla)#打開model個人的頁面，存入句柄中
mcont=mup.read()#對model頁面的句柄進(jìn)行讀出操作，存入mcont字符串
imgh="<img style=" #篩選頁面內(nèi)【圖片】鏈接的關(guān)鍵字
imgt=".jpg"
iph=mcont.find(imgh)#找出【圖片】鏈接的頭部位置
ipt=mcont.find(imgt,iph)#找出【圖片】鏈接的尾部位置
for b in range(0,10):#又是硬編碼····
mpic=mcont[iph:ipt+len(imgt)]#原始圖片鏈接，鏈接字符的噪聲太大
iph1=mpic.find("http")#對上面的鏈接再過濾一次
ipt1=mpic.find(imgt) #同上
picx=mpic[iph1:ipt1+len(imgt)]
if len(picx)<150:#仍有一些URL是“http：ss.png><dfsdf>.jpg”(設(shè)為100竟然會誤傷)
pica=picx #【是len(picx)<100而不是picx!!】不然會不顯示
print pica
############################
###########開始下載pica這個圖片
urllib.urlretrieve(pica,"pic\\tb"+str(i)+"x"+str(a)+"x"+str(b)+".jpg")
########### pica圖片下載完畢.(加上各循環(huán)體的數(shù)字，以免名字重復(fù))
############################
iph=mcont.find(imgh,iph+len(imgh))#開始下一個循環(huán)
ipt=mcont.find(imgt,iph)
############model個人URL內(nèi)的【圖片鏈接】提取完畢##########
pa=cont.find(ahref,pa+len(ahref))#將原來的頭部位作為起始點(diǎn)，繼續(xù)向后找下一個頭部
pt=cont.find(target,pa)#繼續(xù)找下一個尾部
i+=1
相關(guān)文章
python 實現(xiàn)數(shù)組list 添加、修改、刪除的方法
下面小編就為大家分享一篇python 實現(xiàn)數(shù)組list 添加、修改、刪除的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Python 統(tǒng)計數(shù)據(jù)集標(biāo)簽的類別及數(shù)目操作
這篇文章主要介紹了Python 統(tǒng)計數(shù)據(jù)集標(biāo)簽的類別及數(shù)目操作，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-05-05
這篇文章主要介紹了Python GUI編程,結(jié)合完整示例形式分析了Python基于tkinter模塊的GUI圖形界面編程相關(guān)實現(xiàn)技巧,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了python加密打包程序,還給大家介紹了Python實現(xiàn)文件簡單加解密的方法，本文通過示例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-04-04
這篇文章主要介紹了Django中間件基礎(chǔ)用法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
selenium框架中driver.close()和driver.quit()關(guān)閉瀏覽器
這篇文章主要介紹了selenium框架中driver.close()和driver.quit()關(guān)閉瀏覽器，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-12-12
Python實現(xiàn)Windows上氣泡提醒效果的方法
這篇文章主要介紹了Python實現(xiàn)Windows上氣泡提醒效果的方法,涉及Python針對windows窗口操作的相關(guān)技巧,需要的朋友可以參考下2015-06-06
Python學(xué)習(xí)之字典的常用方法總結(jié)
這篇文章主要為大家介紹了Python中字典的幾個常用方法總結(jié)，文中的示例代碼講解詳細(xì)，對我們學(xué)習(xí)Python字典有一定幫助，需要的可以參考一下2022-03-03
Django連接數(shù)據(jù)庫并實現(xiàn)讀寫分離過程解析
這篇文章主要介紹了Django連接數(shù)據(jù)庫并實現(xiàn)讀寫分離過程解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11
本文主要介紹了python使用opencv進(jìn)行人臉識別的相關(guān)資料。具有很好的參考價值。下面跟著小編一起來看下吧2017-04-04