python抓取網(wǎng)頁(yè)圖片并放到指定文件夾
python抓取網(wǎng)站圖片并放到指定文件夾
# -*- coding=utf-8 -*-
import urllib2
import urllib
import socket
import os
import re
def Docment():
print u'把文件存在E:\Python\圖(請(qǐng)輸入數(shù)字或字母)'
h=raw_input()
path=u'E:\Python\圖'+str(h)
if not os.path.exists(path):
os.makedirs(path)
return path
def getallurl(html):
reg=r"a href='(.*?\.htm)'"
allurl= re.compile(reg)
allList = re.findall(allurl,html)
return allList
def getHTML(url):
url=url
req_header = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
req_timeout = 20
html='cuowu'
try:
req = urllib2.Request(url,None,req_header)
resp = urllib2.urlopen(req,None,req_timeout)
html = resp.read()
except urllib2.URLError as e:
print e.message
except socket.timeout as e:
getHTML(url,fu)
return html
def getImg(html,path):
reg = r'img class=IMG_show border=0 src=(.*?\.jpg)'
imgre= re.compile(reg)
imgList = re.findall(imgre, html)
if imgList:
print 'ghasghg',path
for imgurl in imgList:
print imgurl
content2=urllib2.urlopen(imgurl).read()
with open(path+'/'+imgurl[-7:],'wb') as code:
code.write(content2)
else:
return 0
def getallurl(html):
reg=r"a href='(.*?\.htm)'"
allurl= re.compile(reg)
allList = re.findall(allurl,html)
return allList
j=1
i=0
print u'請(qǐng)輸入網(wǎng)址:'
ul=raw_input()
print u'開(kāi)始下載'
print u'第'+str(j)+u'頁(yè)'
html=getHTML(ul)
allList=getallurl(html)
path=Docment()
getImg(html,path)
while i<len(allList):
for lis in allList:
l=lis[i]
url=r'http://www.umei.cc/p/gaoqing/rihan/'+lis
i=i+1
j=j+1
html=getHTML(url)
getImg(html,path)
print u'第'+str(j)+u'頁(yè)'
else:
print u'下載完畢'
- Python 抓取動(dòng)態(tài)網(wǎng)頁(yè)內(nèi)容方案詳解
- 零基礎(chǔ)寫python爬蟲之使用urllib2組件抓取網(wǎng)頁(yè)內(nèi)容
- python抓取網(wǎng)頁(yè)內(nèi)容示例分享
- Python實(shí)現(xiàn)周期性抓取網(wǎng)頁(yè)內(nèi)容的方法
- python抓取網(wǎng)頁(yè)中圖片并保存到本地
- Python3使用requests包抓取并保存網(wǎng)頁(yè)源碼的方法
- 用Python程序抓取網(wǎng)頁(yè)的HTML信息的一個(gè)小實(shí)例
- Python實(shí)現(xiàn)抓取網(wǎng)頁(yè)并且解析的實(shí)例
- Python爬蟲實(shí)現(xiàn)網(wǎng)頁(yè)信息抓取功能示例【URL與正則模塊】
- Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容抓取功能示例
相關(guān)文章
Python個(gè)人博客程序開(kāi)發(fā)實(shí)例后臺(tái)編寫
這篇文章主要介紹了怎樣用Python來(lái)實(shí)現(xiàn)一個(gè)完整的個(gè)人博客系統(tǒng),我們通過(guò)實(shí)操上手的方式可以高效的鞏固所學(xué)的基礎(chǔ)知識(shí),感興趣的朋友一起來(lái)看看吧2022-12-12Python通過(guò)30秒就能學(xué)會(huì)的漂亮短程序代碼(過(guò)程全解)
這篇文章主要介紹了Python之30秒就能學(xué)會(huì)的漂亮短程序代碼,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-10-10python將Dataframe格式的數(shù)據(jù)寫入opengauss數(shù)據(jù)庫(kù)并查詢
這篇文章主要介紹了python將Dataframe格式的數(shù)據(jù)寫入opengauss數(shù)據(jù)庫(kù)并查詢,文章介紹詳細(xì)具有一定的參考價(jià)值,希望對(duì)你的學(xué)習(xí)有所幫助2022-04-04Django項(xiàng)目uwsgi+Nginx保姆級(jí)部署教程實(shí)現(xiàn)
這篇文章主要介紹了Django項(xiàng)目uwsgi+Nginx保姆級(jí)部署教程實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04Python大數(shù)據(jù)之從網(wǎng)頁(yè)上爬取數(shù)據(jù)的方法詳解
這篇文章主要介紹了Python大數(shù)據(jù)之從網(wǎng)頁(yè)上爬取數(shù)據(jù)的方法,結(jié)合實(shí)例形式詳細(xì)分析了Python爬蟲爬取網(wǎng)頁(yè)數(shù)據(jù)的相關(guān)操作技巧,需要的朋友可以參考下2019-11-11Python Barbershop實(shí)現(xiàn)照片換發(fā)型功能
這篇文章主要為大家介紹了一個(gè)開(kāi)源項(xiàng)目(Barbershop),可以將照片中的發(fā)型更換成另一個(gè),文中實(shí)現(xiàn)過(guò)程講解詳細(xì),感興趣的可以學(xué)習(xí)一下2022-01-01python程序中的線程操作 concurrent模塊使用詳解
這篇文章主要介紹了python程序中的線程操作 concurrent模塊使用詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09python 調(diào)用HBase的簡(jiǎn)單實(shí)例
下面小編就為大家?guī)?lái)一篇python 調(diào)用HBase的簡(jiǎn)單實(shí)例。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2016-12-12Springboo如何t動(dòng)態(tài)修改配置文件屬性
這篇文章主要介紹了Springboo如何t動(dòng)態(tài)修改配置文件屬性問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09