Python爬蟲(chóng)文件下載圖文教程

更新時(shí)間：2018年12月23日 09:26:46 作者：fangjun123fj

在本篇內(nèi)容里小編給大家分享的是關(guān)于Python爬蟲(chóng)文件下載的相關(guān)知識(shí)點(diǎn)內(nèi)容，有需要的朋友們學(xué)習(xí)下。

而今天我們要說(shuō)的內(nèi)容是：如果在網(wǎng)頁(yè)中存在文件資源，如：圖片，電影，文檔等。怎樣通過(guò)Python爬蟲(chóng)把這些資源下載下來(lái)。

1、怎樣在網(wǎng)上找資源：

就是百度圖片為例，當(dāng)你如下圖在百度圖片里搜索一個(gè)主題時(shí)，會(huì)為你跳出一大堆相關(guān)的圖片。

還有如果你想學(xué)英語(yǔ)，找到一個(gè)網(wǎng)站有很多mp3的聽(tīng)力資源，這些可能都是你想獲取的內(nèi)容。

現(xiàn)在是一個(gè)互聯(lián)網(wǎng)的時(shí)代，只要你去找，基本上能找到你想要的任何資源。

2、怎樣識(shí)別網(wǎng)頁(yè)中的資源：

以上面搜索到的百度圖片為例。找到了這么多的內(nèi)容，當(dāng)然你可以通過(guò)手動(dòng)一張張的去保存，但這樣做既費(fèi)力又費(fèi)事。你當(dāng)然更希望通過(guò)程序自動(dòng)去下載所找到的資源。要想代碼識(shí)別這些資源，就要告訴代碼這些資源有哪些特征，怎樣在網(wǎng)頁(yè)中找到它們。

打開(kāi)瀏覽器的調(diào)試功能（不同瀏覽器可能有差別，不知道的百度一下吧）。找出網(wǎng)頁(yè)中你想要下載資源的路徑，如下圖所示。如果有許多類似資源需要下載，則要找到識(shí)別這些資源地址的規(guī)律，然后告訴代碼。

3、資源下載方法一：

代碼很簡(jiǎn)單，直接上代碼：

from urllib.request import urlretrieve

urlretrieve("圖片URL", "./image.jpg")

直接通過(guò)urlretrieve函數(shù)就把URL對(duì)應(yīng)的圖片給下載到當(dāng)前文件夾（./）中了，并把圖片命名為image.jpg。

4、資源下載方法二：

還是直接看代碼：

import requests

resource = requests.get("圖片URL")

with open("./image.jpg", mode="wb") as fh:

  fh.write(resource.content)

此下載方法要安裝python的requests庫(kù)。從功能上來(lái)說(shuō)與下載方法一是一樣的。python庫(kù)的安裝方法用pip就好。很簡(jiǎn)單，這里都不啰嗦了。

5、資源下載方法三：

看代碼：

import requests

resource = requests.get("圖片URL", stream=True)

with open("./image.jpg", mode="wb") as fh:

  for chunk in resource.iter_content(chunk_size=100):

    fh.write(chunk)

此方法與下載方法二的不同之處在于在get方法調(diào)用時(shí)使用了參數(shù)【stream=True】。而在寫(xiě)入的文件的時(shí)候是分塊寫(xiě)入的。

什么意思呢：

前兩種方法是把一個(gè)文件全部下載到內(nèi)存后，再一起寫(xiě)入到硬盤(pán)文件中。

方法三是下載一定的量（這里指的是100字節(jié)）后，就寫(xiě)入到硬盤(pán)文件中，直到全部寫(xiě)完。

第三種方法的好處是，如果在下載大容量文件時(shí)，不會(huì)造成內(nèi)存的過(guò)度使用。

6、資源下載說(shuō)明一：

上述的代碼都是通過(guò)下載圖片資源為例子的，但所有其它資源，如文檔，電影等的下載方式是一樣的。關(guān)鍵是要正確的識(shí)別出網(wǎng)頁(yè)中資源所對(duì)應(yīng)的URL地址才能夠正確的下載（因?yàn)橛行┵Y源是用的相對(duì)路徑或加密后的路徑）。

7、資源下載說(shuō)明二：

上面例子中的代碼都是下載單一資源的。如果要在同一網(wǎng)頁(yè)中下載多個(gè)資源的思路如下：

1. 找出要下載資源的URL，并形成一個(gè)資源集合；

2. 把下載函數(shù)中的資源URL與保存路徑參數(shù)化；

3. 遍歷資源集合，依靠循環(huán)調(diào)用下載函數(shù)來(lái)達(dá)到多個(gè)資源下載的目的。