python抓取豆瓣圖片并自動保存示例學(xué)習(xí)
環(huán)境Python 2.7.6,BS4,在powershell或命令行均可運行。請確保安裝了BS模塊
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的圖片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 創(chuàng)建文件夾,昨天剛學(xué)會
path = os.getcwd() # 獲取此腳本所在目錄
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = 'http://www.dbmeizi.com/?p=%s' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入結(jié)束檢測,寫的不好....
if my_girl ==[]:
print u'已經(jīng)全部抓取完畢'
sys.exit(0)
print u'開始抓取'
for girl in my_girl:
link = girl.get('src')
flink = 'http://www.dbmeizi.com/' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code: #在OSC上現(xiàn)學(xué)的
code.write(content2)
page = int(page) + 1
print u'開始抓取下一頁'
print 'the %s page' % page
page_loop(page)
page_loop().
相關(guān)文章
conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報錯的詳細解
很長一段時間沒用conda了,然后突然使用conda創(chuàng)建環(huán)境報錯,所以下面這篇文章主要給大家介紹了關(guān)于conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報錯的詳細解決方法,需要的朋友可以參考下2022-11-11pycharm在調(diào)試python時執(zhí)行其他語句的方法
今天小編就為大家分享一篇pycharm在調(diào)試python時執(zhí)行其他語句的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11Python實戰(zhàn)之用tkinter庫做一個鼠標模擬點擊器
這篇文章主要介紹了Python實戰(zhàn)之用tkinter庫做一個鼠標模擬點擊器,文中有非常詳細的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04Python發(fā)送網(wǎng)絡(luò)請求(requests)
這篇文章主要介紹了Python發(fā)送網(wǎng)絡(luò)請求(requests),具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09簡單了解Django ContentType內(nèi)置組件
這篇文章主要介紹了簡單了解Django ContentType內(nèi)置組件,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07