python小技巧之批量抓取美女圖片
其中用到urllib2模塊和正則表達(dá)式模塊。下面直接上代碼:
[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通過urllib(2)模塊下載網(wǎng)絡(luò)內(nèi)容
import urllib,urllib2,gevent
#引入正則表達(dá)式模塊,時間模塊
import re,time
from gevent import monkey
monkey.patch_all()
def geturllist(url):
url_list=[]
print url
s = urllib2.urlopen(url)
text = s.read()
#正則匹配,匹配其中的圖片
html = re.search(r'<ol.*</ol>', text, re.S)
urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
for i in urls:
url=i.group(1).strip()+str("jpg")
url_list.append(url)
return url_list
def download(down_url):
name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
print name
urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
def getpageurl():
page_list = []
#進(jìn)行列表頁循環(huán)
for page in range(1,700):
url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
#把生成的url加入到page_list中
page_list.append(url)
print page_list
return page_list
if __name__ == '__main__':
jobs = []
pageurl = getpageurl()[::-1]
#進(jìn)行圖片下載
for i in pageurl:
for (downurl) in geturllist(i):
jobs.append(gevent.spawn(download, downurl))
gevent.joinall(jobs)
[/code]
程序不長才45行,不是太難,大家可以研究下,這里我只是拋磚引玉,大家可以根據(jù)原理開發(fā)出其他的抓取程序,呵呵,自己想去吧。。。我就不多說了~~
相關(guān)文章
python3批量刪除豆瓣分組下的好友的實現(xiàn)代碼
下面小編就為大家?guī)硪黄猵ython3批量刪除豆瓣分組下的好友的實現(xiàn)代碼。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2016-06-06pycharm 在windows上編輯代碼用linux執(zhí)行配置的方法
今天小編就為大家分享一篇pycharm 在windows上編輯代碼用linux執(zhí)行配置的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10tensorflow使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)mnist分類
這篇文章主要為大家詳細(xì)介紹了tensorflow使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)mnist分類,具有一定的參考價值,感興趣的小伙伴們可以參考一下2018-09-09