Python實(shí)現(xiàn)批量下載圖片的方法
更新時(shí)間:2015年07月08日 15:01:23 作者:沉淀歲月
這篇文章主要介紹了Python實(shí)現(xiàn)批量下載圖片的方法,涉及Python基于urllib、urllib2及re等模塊獲取URL及正則匹配下載圖片的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
本文實(shí)例講述了Python實(shí)現(xiàn)批量下載圖片的方法。分享給大家供大家參考。具體實(shí)現(xiàn)方法如下:
#!/usr/bin/env python #-*-coding:utf-8-*-' #Filename:download_file.py import os,sys import re import urllib import urllib2 base_url = 'xxx' array_url = list() pic_url = list() inner_url = list() def get_array_url(array_url,base_url): content = urllib.urlopen(base_url).read() array_url_a = re.findall(r'/rihan.*?.html',content) for url in array_url_a: url_a = 'xxx'+url #print url_a array_url.append(url_a) def get_inner_url(array_url,inner_url): inner_url.append(array_url) content = urllib.urlopen(array_url[10]).read() content = content.replace(" ","") url_a = re.findall(r'<li>.*?</li>',content) for i in url_a: url = re.findall(r'ahref=\\'.*?.html\\'target',i) if len(url)>0: # print url[0] url_b = re.sub(r'ahref=\\'','',url[0]) # print url_b url_c = re.sub(r'\\'target','',url_b) url_c = 'http://xxx/'+re.sub(r'/.*/','',url_c) inner_url.append(url_c) del inner_url[1] # print inner_url def get_pic_url(pic_url,inner_url,array_url): content = urllib.urlopen(array_url).read() pic_url_a = re.findall(r'center.*?.jpg',content) print 'bbbbbbbbb',len(pic_url_a) pic_url_a = re.findall(r'http://.*.jpg',pic_url_a[0]) pic_url.append(pic_url_a[0]) j=2 for i in inner_url: jj = '/'+str(j)+'.jpg' pic = re.sub(r'/1.jpg',jj,pic_url_a[0]) pic_url.append(pic) j = j+1 del pic_url[-1] for i in pic_url: print i def urlcallback(a,b,c): """ call back function a,已下載的數(shù)據(jù)塊 b,數(shù)據(jù)塊的大小 c,遠(yuǎn)程文件的大小 """ print "callback" prec=100.0*a*b/c if 100 < prec: prec=100 print "%.2f%%"%(prec,) def download(img_url,file_num): for img in img_url: print img img_name = re.sub(r'http://.*/','',img) path = 'C:/'+str(file_num)+'/'+img_name urllib.urlretrieve(img,path,urlcallback) get_array_url(array_url,base_url) file_num = 3 #download(pic_url,file_num) get_inner_url(url,inner_url) get_pic_url(pic_url,inner_url,url) ''' for url in array_url: print url # get_inner_url(url,inner_url) # get_pic_url(pic_url,inner_url) get_inner_url(url,inner_url) get_pic_url(pic_url,inner_url,url) download(pic_url,file_num) file_num = file_num+1 del inner_url[:] del pic_url[:] '''
希望本文所述對(duì)大家的Python程序設(shè)計(jì)有所幫助。
相關(guān)文章
tensorflow實(shí)現(xiàn)在函數(shù)中用tf.Print輸出中間值
今天小編就為大家分享一篇tensorflow實(shí)現(xiàn)在函數(shù)中用tf.Print輸出中間值,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-01-01Python單鏈表的簡(jiǎn)單實(shí)現(xiàn)方法
這篇文章主要介紹了Python單鏈表的簡(jiǎn)單實(shí)現(xiàn)方法,包括定義所需的字段及具體實(shí)現(xiàn)代碼的分析,需要的朋友可以參考下2014-09-09利用python+request通過(guò)接口實(shí)現(xiàn)人員通行記錄上傳功能
這篇文章主要介紹了利用python+request通過(guò)接口實(shí)現(xiàn)人員通行記錄上傳功能,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01使用tensorflow 實(shí)現(xiàn)反向傳播求導(dǎo)
這篇文章主要介紹了使用tensorflow 實(shí)現(xiàn)反向傳播求導(dǎo),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-05-05