欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Python爬蟲之網(wǎng)頁圖片抓取的方法

 更新時間:2018年07月16日 17:03:01   作者:JentZhang  
最近小編一直在學(xué)習(xí)python的東西,今天小編給大家分享基于python寫的一個爬蟲程序,能實現(xiàn)簡單的網(wǎng)頁圖片下載,具體實例代碼大家參考下本文

一、引入

這段時間一直在學(xué)習(xí)Python的東西,以前就聽說Python爬蟲多厲害,正好現(xiàn)在學(xué)到這里,跟著小甲魚的Python視頻寫了一個爬蟲程序,能實現(xiàn)簡單的網(wǎng)頁圖片下載。

二、代碼

__author__ = "JentZhang"
import urllib.request
import os
import random
import re
def url_open(url):
  '''
  打開網(wǎng)頁
  :param url:
  :return:
  '''
  req = urllib.request.Request(url)
  req.add_header('User-Agent',
          'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36')
  # 應(yīng)用代理
  '''
  proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"]
  proxy = random.choice(proxyies)
  proxy_support = urllib.request.ProxyHandler({"http": proxy})
  opener = urllib.request.build_opener(proxy_support)
  urllib.request.install_opener(opener)
  '''
  response = urllib.request.urlopen(url)
  html = response.read()
  return html
def save_img(folder, img_addrs):
  '''
  保存圖片
  :param folder: 要保存的文件夾
  :param img_addrs: 圖片地址(列表)
  :return:
  '''
  # 創(chuàng)建文件夾用來存放圖片
  if not os.path.exists(folder):
    os.mkdir(folder)
  os.chdir(folder)
  for each in img_addrs:
    filename = each.split('/')[-1]
    try:
      with open(filename, 'wb') as f:
        img = url_open("http:" + each)
        f.write(img)
    except urllib.error.HTTPError as e:
      # print(e.reason)
      pass
  print('完畢!')
def find_imgs(url):
  '''
  獲取全部的圖片鏈接
  :param url: 連接地址
  :return: 圖片地址的列表
  '''
  html = url_open(url).decode("utf-8")
  img_addrs = re.findall(r'src="(.+?\.gif)', html)
  return img_addrs
def get_page(url):
  '''
  獲取當(dāng)前一共有多少頁的圖片
  :param url: 網(wǎng)頁地址
  :return:
  '''
  html = url_open(url).decode('utf-8')
  a = html.find("current-comment-page") + 23
  b = html.find("]</span>", a)
  return html[a:b]
def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1):
  '''
  主程序(下載圖片)
  :param folder:默認(rèn)存放的文件夾
  :param pages: 下載的頁數(shù)
  :return:
  '''
  page_num = int(get_page(url))
  for i in range(pages):
    page_num -= i
    page_url = url + "page-" + str(page_num) + "#comments"
    img_addrs = find_imgs(page_url)
    save_img(folder, img_addrs)
if __name__ == "__main__":
  download_mm()

三、總結(jié)

由于代碼中訪問的網(wǎng)址已經(jīng)運用了反爬蟲的算法。所以已經(jīng)爬不到想要的圖片啦,so,就當(dāng)是記了個爬蟲的筆記吧。僅供學(xué)習(xí)參考[捂臉]。。。。

最后:我把jpg格式換成gif,還能爬到可憐的一張gif圖:

 

第一張正是反爬蟲機制的一個圖片占位符,完全沒有任何內(nèi)容

總結(jié)

以上所述是小編給大家介紹的Python爬蟲之網(wǎng)頁圖片抓取的方法,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

  • pycharm導(dǎo)入源碼的具體步驟

    pycharm導(dǎo)入源碼的具體步驟

    在本篇內(nèi)容里小編給大家整理了關(guān)于pycharm導(dǎo)入源碼的具體步驟,有需要的朋友們可以參考學(xué)習(xí)下。
    2020-08-08
  • 基于Keras的格式化輸出Loss實現(xiàn)方式

    基于Keras的格式化輸出Loss實現(xiàn)方式

    這篇文章主要介紹了基于Keras的格式化輸出Loss實現(xiàn)方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-06-06
  • Python單向鏈表和雙向鏈表原理與用法實例詳解

    Python單向鏈表和雙向鏈表原理與用法實例詳解

    這篇文章主要介紹了Python單向鏈表和雙向鏈表原理與用法,結(jié)合實例形式詳細分析了單向鏈表與雙向鏈表的概念、原理以及創(chuàng)建、添加、刪除等相關(guān)操作技巧,需要的朋友可以參考下
    2018-08-08
  • Python的Socket編程過程中實現(xiàn)UDP端口復(fù)用的實例分享

    Python的Socket編程過程中實現(xiàn)UDP端口復(fù)用的實例分享

    這篇文章主要介紹了Python的Socket編程過程中實現(xiàn)UDP端口復(fù)用的實例分享,文中作者用到了Python的twisted異步框架,需要的朋友可以參考下
    2016-03-03
  • python去除空格和換行符的實現(xiàn)方法(推薦)

    python去除空格和換行符的實現(xiàn)方法(推薦)

    下面小編就為大家?guī)硪黄猵ython去除空格和換行符的實現(xiàn)方法(推薦)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-01-01
  • 淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換

    淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換

    這篇文章主要介紹了淺談python數(shù)據(jù)類型及類型轉(zhuǎn)換,介紹了python中的數(shù)據(jù)類型,以及數(shù)據(jù)的不可變性,還有字符串,列表等相關(guān)內(nèi)容,具有一定借鑒價值,需要的朋友可以參考下。
    2017-12-12
  • python pytorch中.view()函數(shù)的用法解讀

    python pytorch中.view()函數(shù)的用法解讀

    這篇文章主要介紹了python pytorch中.view()函數(shù)的用法,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-08-08
  • python的random和time模塊詳解

    python的random和time模塊詳解

    這篇文章主要介紹了python的random和time模塊,具有一定借鑒價值,需要的朋友可以參考下,希望能夠給你帶來幫助
    2021-10-10
  • R語言繪制條形圖及分布密度圖代碼總結(jié)

    R語言繪制條形圖及分布密度圖代碼總結(jié)

    這篇文章主要為大家介紹了R語言條形圖及分布密度圖代碼總結(jié),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-05-05
  • 詳解Python數(shù)據(jù)分析--Pandas知識點

    詳解Python數(shù)據(jù)分析--Pandas知識點

    這篇文章主要介紹了Python數(shù)據(jù)分析--Pandas知識點,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2019-03-03

最新評論