Python爬蟲獲取圖片并下載保存至本地的實例
更新時間:2018年06月01日 08:51:17 作者:釧的博客
今天小編就為大家分享一篇Python爬蟲獲取圖片并下載保存至本地的實例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
1、抓取煎蛋網(wǎng)上的圖片。
2、代碼如下:
import urllib.request
import os
#to open the url
def url_open(url):
req=urllib.request.Request(url)
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0')
response=urllib.request.urlopen(url)
html=response.read()
return html
#to get the num of page like 1,2,3,4...
def get_page(url):
html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23 #add the 23 offset th arrive at the [2356]
b=html.find(']',a)
#print(html[a:b])
return html[a:b]
#find the url of imgs and return the url of arr
def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]
a=html.find('img src=')
while a!=-1:
b=html.find('.jpg',a,a+255) # if false : return -1
if b!=-1:
img_addrs.append('http:'+html[a+9:b+4])
else:
b=a+9
a=html.find('img src=',b)
#print(img_addrs)
return img_addrs
#print('http:'+each)
#save the imgs
def save_imgs(folder,img_addrs):
for each in img_addrs:
filename=each.split('/')[-1] #get the last member of arr,that is the name
with open(filename,'wb') as f:
img = url_open(each)
f.write(img)
def download_mm(folder='mm',pages=10):
os.mkdir(folder)
os.chdir(folder)
url='http://jandan.net/ooxx/'
page_num=int(get_page(url))
for i in range(pages):
page_num -= i
page_url = url + 'page-' + str(page_num) + '#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)
if __name__ == '__main__':
download_mm()
以上這篇Python爬蟲獲取圖片并下載保存至本地的實例就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。
相關(guān)文章
Python爬蟲圖片懶加載技術(shù) selenium和PhantomJS解析
這篇文章主要介紹了Python爬蟲圖片懶加載技術(shù) selenium和PhantomJS解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-09-09
Python利用PIL實現(xiàn)多張圖片合成gif動畫的案例詳解
這篇文章主要介紹了Python利用PIL實現(xiàn)多張圖片合成gif動畫的案例,文章通過代碼示例介紹的非常詳細,對大家的學(xué)習(xí)或工作有一定的幫助,感興趣的小伙伴可以自己動手試一下2023-11-11
python?魔法方法之?__?slots?__的實現(xiàn)
本文主要介紹了python?魔法方法之?__?slots?__的實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
django通過ajax發(fā)起請求返回JSON格式數(shù)據(jù)的方法
這篇文章主要介紹了django通過ajax發(fā)起請求返回JSON格式數(shù)據(jù)的方法,較為詳細的分析了django處理ajax請求的技巧,需要的朋友可以參考下2015-06-06

