python抓取豆瓣圖片并自動保存示例學(xué)習(xí)
環(huán)境Python 2.7.6，BS4，在powershell或命令行均可運行。請確保安裝了BS模塊
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的圖片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 創(chuàng)建文件夾，昨天剛學(xué)會
path = os.getcwd() # 獲取此腳本所在目錄
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = 'http://www.dbmeizi.com/?p=%s' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入結(jié)束檢測，寫的不好....
if my_girl ==[]:
print u'已經(jīng)全部抓取完畢'
sys.exit(0)
print u'開始抓取'
for girl in my_girl:
link = girl.get('src')
flink = 'http://www.dbmeizi.com/' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code: #在OSC上現(xiàn)學(xué)的
code.write(content2)
page = int(page) + 1
print u'開始抓取下一頁'
print 'the %s page' % page
page_loop(page)
page_loop().
相關(guān)文章
conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報錯的詳細解
很長一段時間沒用conda了,然后突然使用conda創(chuàng)建環(huán)境報錯,所以下面這篇文章主要給大家介紹了關(guān)于conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報錯的詳細解決方法,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了Python中的類與實例,類與實例的概念是Python學(xué)習(xí)當(dāng)中的基礎(chǔ)知識,需要的朋友可以參考下2015-04-04
pycharm在調(diào)試python時執(zhí)行其他語句的方法
今天小編就為大家分享一篇pycharm在調(diào)試python時執(zhí)行其他語句的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
二分查找,也稱折半查找,是一種效率較高的查找方法,本文主要介紹了python二分查找搜索算法的多種實現(xiàn)方法,具有一定的參考價值,感興趣的可以了解一下2024-03-03
Python實戰(zhàn)之用tkinter庫做一個鼠標(biāo)模擬點擊器
這篇文章主要介紹了Python實戰(zhàn)之用tkinter庫做一個鼠標(biāo)模擬點擊器,文中有非常詳細的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
這篇文章主要介紹了Python中的pyecharts庫使用總結(jié),Pyecharts 提供了一個簡單而直觀的 API 接口,使得使用者無需了解復(fù)雜的 JavaScript 語法,即可通過 Python 代碼實現(xiàn)高度定制化的圖表設(shè)計,需要的朋友可以參考下2023-12-12
Python發(fā)送網(wǎng)絡(luò)請求(requests)
這篇文章主要介紹了Python發(fā)送網(wǎng)絡(luò)請求(requests),具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要介紹了如何用python繪制散點圖問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了查看已安裝tensorflow版本的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
簡單了解Django ContentType內(nèi)置組件
這篇文章主要介紹了簡單了解Django ContentType內(nèi)置組件,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07