python抓取豆瓣圖片并自動(dòng)保存示例學(xué)習(xí)
環(huán)境Python 2.7.6，BS4，在powershell或命令行均可運(yùn)行。請確保安裝了BS模塊
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的圖片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 創(chuàng)建文件夾，昨天剛學(xué)會(huì)
path = os.getcwd() # 獲取此腳本所在目錄
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = 'http://www.dbmeizi.com/?p=%s' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入結(jié)束檢測，寫的不好....
if my_girl ==[]:
print u'已經(jīng)全部抓取完畢'
sys.exit(0)
print u'開始抓取'
for girl in my_girl:
link = girl.get('src')
flink = 'http://www.dbmeizi.com/' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code: #在OSC上現(xiàn)學(xué)的
code.write(content2)
page = int(page) + 1
print u'開始抓取下一頁'
print 'the %s page' % page
page_loop(page)
page_loop().
- 一個(gè)簡單的python爬蟲程序 爬取豆瓣熱度Top100以內(nèi)的電影信息
- 實(shí)踐Python的爬蟲框架Scrapy來抓取豆瓣電影TOP250
- python使用urllib模塊開發(fā)的多線程豆瓣小站mp3下載器
- python正則匹配抓取豆瓣電影鏈接和評論代碼分享
- python登錄豆瓣并發(fā)帖的方法
- python獲取豆瓣電影簡介代碼分享
- 編寫Python爬蟲抓取豆瓣電影TOP100及用戶頭像的方法
- Python實(shí)現(xiàn)豆瓣圖片下載的方法
- Python爬蟲實(shí)戰(zhàn)：分析《戰(zhàn)狼2》豆瓣影評
- Python利用lxml模塊爬取豆瓣讀書排行榜的方法與分析
相關(guān)文章
conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報(bào)錯(cuò)的詳細(xì)解
很長一段時(shí)間沒用conda了,然后突然使用conda創(chuàng)建環(huán)境報(bào)錯(cuò),所以下面這篇文章主要給大家介紹了關(guān)于conda創(chuàng)建環(huán)境過程出現(xiàn)"Solving?environment:?failed"報(bào)錯(cuò)的詳細(xì)解決方法,需要的朋友可以參考下2022-11-11
這篇文章主要介紹了Python中的類與實(shí)例,類與實(shí)例的概念是Python學(xué)習(xí)當(dāng)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-04-04
pycharm在調(diào)試python時(shí)執(zhí)行其他語句的方法
今天小編就為大家分享一篇pycharm在調(diào)試python時(shí)執(zhí)行其他語句的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11
python二分查找搜索算法的多種實(shí)現(xiàn)方法
二分查找,也稱折半查找,是一種效率較高的查找方法,本文主要介紹了python二分查找搜索算法的多種實(shí)現(xiàn)方法,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03
Python實(shí)戰(zhàn)之用tkinter庫做一個(gè)鼠標(biāo)模擬點(diǎn)擊器
這篇文章主要介紹了Python實(shí)戰(zhàn)之用tkinter庫做一個(gè)鼠標(biāo)模擬點(diǎn)擊器,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下2021-04-04
這篇文章主要介紹了Python中的pyecharts庫使用總結(jié),Pyecharts 提供了一個(gè)簡單而直觀的 API 接口,使得使用者無需了解復(fù)雜的 JavaScript 語法,即可通過 Python 代碼實(shí)現(xiàn)高度定制化的圖表設(shè)計(jì),需要的朋友可以參考下2023-12-12
Python發(fā)送網(wǎng)絡(luò)請求(requests)
這篇文章主要介紹了Python發(fā)送網(wǎng)絡(luò)請求(requests),具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-09-09
這篇文章主要介紹了如何用python繪制散點(diǎn)圖問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
這篇文章主要介紹了查看已安裝tensorflow版本的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
簡單了解Django ContentType內(nèi)置組件
這篇文章主要介紹了簡單了解Django ContentType內(nèi)置組件,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07