Python爬蟲之網(wǎng)頁圖片抓取的方法
一、引入
這段時間一直在學(xué)習(xí)Python的東西,以前就聽說Python爬蟲多厲害,正好現(xiàn)在學(xué)到這里,跟著小甲魚的Python視頻寫了一個爬蟲程序,能實現(xiàn)簡單的網(wǎng)頁圖片下載。
二、代碼
__author__ = "JentZhang" import urllib.request import os import random import re def url_open(url): ''' 打開網(wǎng)頁 :param url: :return: ''' req = urllib.request.Request(url) req.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36') # 應(yīng)用代理 ''' proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"] proxy = random.choice(proxyies) proxy_support = urllib.request.ProxyHandler({"http": proxy}) opener = urllib.request.build_opener(proxy_support) urllib.request.install_opener(opener) ''' response = urllib.request.urlopen(url) html = response.read() return html def save_img(folder, img_addrs): ''' 保存圖片 :param folder: 要保存的文件夾 :param img_addrs: 圖片地址(列表) :return: ''' # 創(chuàng)建文件夾用來存放圖片 if not os.path.exists(folder): os.mkdir(folder) os.chdir(folder) for each in img_addrs: filename = each.split('/')[-1] try: with open(filename, 'wb') as f: img = url_open("http:" + each) f.write(img) except urllib.error.HTTPError as e: # print(e.reason) pass print('完畢!') def find_imgs(url): ''' 獲取全部的圖片鏈接 :param url: 連接地址 :return: 圖片地址的列表 ''' html = url_open(url).decode("utf-8") img_addrs = re.findall(r'src="(.+?\.gif)', html) return img_addrs def get_page(url): ''' 獲取當(dāng)前一共有多少頁的圖片 :param url: 網(wǎng)頁地址 :return: ''' html = url_open(url).decode('utf-8') a = html.find("current-comment-page") + 23 b = html.find("]</span>", a) return html[a:b] def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1): ''' 主程序(下載圖片) :param folder:默認(rèn)存放的文件夾 :param pages: 下載的頁數(shù) :return: ''' page_num = int(get_page(url)) for i in range(pages): page_num -= i page_url = url + "page-" + str(page_num) + "#comments" img_addrs = find_imgs(page_url) save_img(folder, img_addrs) if __name__ == "__main__": download_mm()
三、總結(jié)
由于代碼中訪問的網(wǎng)址已經(jīng)運用了反爬蟲的算法。所以已經(jīng)爬不到想要的圖片啦,so,就當(dāng)是記了個爬蟲的筆記吧。僅供學(xué)習(xí)參考[捂臉]。。。。
最后:我把jpg格式換成gif,還能爬到可憐的一張gif圖:
第一張正是反爬蟲機制的一個圖片占位符,完全沒有任何內(nèi)容
總結(jié)
以上所述是小編給大家介紹的Python爬蟲之網(wǎng)頁圖片抓取的方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!
相關(guān)文章
Python的Socket編程過程中實現(xiàn)UDP端口復(fù)用的實例分享
這篇文章主要介紹了Python的Socket編程過程中實現(xiàn)UDP端口復(fù)用的實例分享,文中作者用到了Python的twisted異步框架,需要的朋友可以參考下2016-03-03淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換
這篇文章主要介紹了淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換,介紹了python中的數(shù)據(jù)類型,以及數(shù)據(jù)的不可變性,還有字符串,列表等相關(guān)內(nèi)容,具有一定借鑒價值,需要的朋友可以參考下。2017-12-12python pytorch中.view()函數(shù)的用法解讀
這篇文章主要介紹了python pytorch中.view()函數(shù)的用法,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-08-08詳解Python數(shù)據(jù)分析--Pandas知識點
這篇文章主要介紹了Python數(shù)據(jù)分析--Pandas知識點,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03