【一、項目背景】

???在素材網(wǎng)想找到合適圖片需要一頁一頁往下翻，現(xiàn)在學(xué)會python就可以用程序把所有圖片保存下來，慢慢挑選合適的圖片。

【二、項目目標】

1、根據(jù)給定的網(wǎng)址獲取網(wǎng)頁源代碼。

2、利用正則表達式把源代碼中的圖片地址過濾出來。

3、過濾出來的圖片地址下載素材圖片。

【三、涉及的庫和網(wǎng)站】

1、網(wǎng)址如下：

https://www.51miz.com/

2、涉及的庫：requests、lxml

【四、項目分析】

???首先需要解決如何對下一頁的網(wǎng)址進行請求的問題?？梢渣c擊下一頁的按鈕，觀察到網(wǎng)站的變化分別如下所示：

https://www.51miz.com/so-sucai/1789243.html
https://www.51miz.com/so-sucai/1789243/p_2/
https://www.51miz.com/so-sucai/1789243/p_3/

? ?我們可以發(fā)現(xiàn)圖片頁數(shù)是1789243/p{}，p{}花括號數(shù)字表示圖片哪一頁。

【五、項目實施】

1、打開覓知網(wǎng)，在搜索中輸入你想要的圖片素材（以鼠年素材圖片為例）。

?

2、根據(jù)上一步對網(wǎng)址的分析，首先我們定義一個類叫做ImageSpider，類里面定義初始化函數(shù)、發(fā)送請求獲取響應(yīng)數(shù)據(jù)函數(shù)、解析函數(shù)、主函數(shù)。首先初始化函數(shù)，準備url地址和headers，代碼如下圖所示。

3、發(fā)送請求獲取響應(yīng)數(shù)據(jù)函數(shù)。

4、解析數(shù)據(jù)，使用xpath獲取二級頁面鏈接，最后把圖片存儲在文件夾中。使用谷歌瀏覽器選擇開發(fā)者工具或直接按F12,發(fā)現(xiàn)我們需要的圖片src是在img標簽下的，于是用Python的requests提取該組件。

5、主函數(shù)，代碼如下圖所示。

【六、效果展示】

1、運行程序，在控制臺輸入你要爬取的頁數(shù)，如下圖所示。

2、在本地可以看到效果圖，如下圖所示。

【七、總結(jié)】

???1、不建議抓取太多數(shù)據(jù)，容易對服務(wù)器造成負載，淺嘗輒止即可。

???2、希望通過這個項目，能夠幫助大家下載到素材圖片。

???3、本文基于Python網(wǎng)絡(luò)爬蟲，利用爬蟲庫，實現(xiàn)素材圖片的獲取。實現(xiàn)的時候，總會有各種各樣的問題，切勿眼高手低，勤動手，才可以理解的更加深刻。

到此這篇關(guān)于實操Python爬取覓知網(wǎng)素材圖片示例的文章就介紹到這了,更多相關(guān)Python爬取覓知網(wǎng)素材圖片內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論