爬蟲利器Puppeteer實戰(zhàn)
更新時間：2019年01月09日 11:39:44 作者：擼起袖子吃雞
本文詳細的介紹了什么是Puppeteer以及使用，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
Puppeteer 介紹
Puppeteer 翻譯是操縱木偶的人，利用這個工具，我們能做一個操縱頁面的人。 Puppeteer 是一個 Nodejs 的庫，支持調(diào)用 Chrome的API來操縱Web ，相比較 Selenium 或是 PhantomJs ,它最大的特點就是它的操作 Dom 可以完全在內(nèi)存中進行模擬既在 V8 引擎中處理而不打開瀏覽器，而且關(guān)鍵是這個是Chrome團隊在維護，會擁有更好的兼容性和前景。
Puppeteer 用處
- 利用網(wǎng)頁生成PDF、圖片
- 爬取SPA應(yīng)用，并生成預(yù)渲染內(nèi)容（即“SSR” 服務(wù)端渲染）
- 可以從網(wǎng)站抓取內(nèi)容
- 自動化表單提交、UI測試、鍵盤輸入等
- 幫你創(chuàng)建一個最新的自動化測試環(huán)境（chrome），可以直接在此運行測試用例6.捕獲站點的時間線，以便追蹤你的網(wǎng)站，幫助分析網(wǎng)站性能問題
Puppeteer 使用
安裝 Puppeteer
由于封網(wǎng)，直接下載 Chromium 會失敗，可以先阻止下載 Chromium 然后再手動下載它
# 安裝命令 npm i puppeteer --save # 錯誤信息 ERROR: Failed to download Chromium r515411! Set "PUPPETEER_SKIP_CHROMIUM_DOWNLOAD" env variable to skip download. # 設(shè)置環(huán)境變量跳過下載 Chromium set PUPPETEER_SKIP_CHROMIUM_DOWNLOAD=1 # 或者可以這樣干，只下載模塊而不build npm i --save puppeteer --ignore-scripts # 成功安裝模塊 + puppeteer@0.13.0 added 1 package in 1.77s
手動下載 Chromium，下載完后將壓縮包解壓，會有個 Chromium.app，將其放在你喜歡的目錄下，例如 /Users/huqiyang/Documents/project/z/chromium/Chromium.app。正常安裝包后 Chromium.app 會在 .local-chromium中
Tip：下載 Chromium 失敗解決辦法
更換國內(nèi)Chromium源
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i puppeteer
或者用 cnpm 安裝
npm install -g cnpm --registry=https://registry.npm.taobao.org cnpm i puppeteer
初試 Puppeteer，截個圖吧
知識點
- puppeteer.launch 啟動瀏覽器實例
- browser.newPage() 創(chuàng)建一個新頁面
- page.goto 進入指定網(wǎng)頁
- page.screenshot 截圖
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({
// 若是手動下載的chromium需要指定chromium地址, 默認(rèn)引用地址為 /項目目錄/node_modules/puppeteer/.local-chromium/
executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium',
//設(shè)置超時時間
timeout: 15000,
//如果是訪問https頁面 此屬性會忽略https錯誤
ignoreHTTPSErrors: true,
// 打開開發(fā)者工具, 當(dāng)此值為true時, headless總為false
devtools: false,
// 關(guān)閉headless模式, 不會打開瀏覽器
headless: false
}));
const page = await browser.newPage();
await page.goto('https://www.jianshu.com/u/40909ea33e50');
await page.screenshot({
path: 'jianshu.png',
type: 'png',
// quality: 100, 只對jpg有效
fullPage: true,
// 指定區(qū)域截圖，clip和fullPage兩者只能設(shè)置一個
// clip: {
// x: 0,
// y: 0,
// width: 1000,
// height: 40
// }
});
browser.close();
})();
運行結(jié)果
進階，獲取網(wǎng)易云音樂的歌詞和評論
網(wǎng)易云音樂的API經(jīng)過AES和RSA算法加密，需要攜帶加密的信息通過POST方式請求才能獲取到數(shù)據(jù)。但 Puppeteer 出現(xiàn)后，這些都不重要了，只要它頁面上顯示了，通過 Puppeteer 都能獲取到該元素。
知識點
- page.type 獲取輸入框焦點并輸入文字
- page.keyboard.press 模擬鍵盤按下某個按鍵，目前mac上組合鍵無效為已知bug
- page.waitFor 頁面等待，可以是時間、某個元素、某個函數(shù)
- page.frames() 獲取當(dāng)前頁面所有的 iframe，然后根據(jù) iframe 的名字精確獲取某個想要的 iframe
- iframe.$('.srchsongst') 獲取 iframe 中的某個元素
- iframe.evaluate() 在瀏覽器中執(zhí)行函數(shù)，相當(dāng)于在控制臺中執(zhí)行函數(shù)，返回一個 Promise
- Array.from 將類數(shù)組對象轉(zhuǎn)化為對象
- page.click() 點擊一個元素
- iframe.$eval() 相當(dāng)于在 iframe 中運行 document.queryselector 獲取指定元素，并將其作為第一個參數(shù)傳遞
- iframe.$$eval 相當(dāng)于在 iframe 中運行 document.querySelectorAll 獲取指定元素數(shù)組，并將其作為第一個參數(shù)傳遞
const fs = require('fs');
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: false }));
const page = await browser.newPage();
// 進入頁面
await page.goto('https://music.163.com/#');
// 點擊搜索框擬人輸入 鬼才會想起
const musicName = '鬼才會想';
await page.type('.txt.j-flag', musicName, {delay: 0});
// 回車
await page.keyboard.press('Enter');
// 獲取歌曲列表的 iframe
await page.waitFor(2000);
let iframe = await page.frames().find(f => f.name() === 'contentFrame');
const SONG_LS_SELECTOR = await iframe.$('.srchsongst');
// 獲取歌曲 鬼才會想起 的地址
const selectedSongHref = await iframe.evaluate(e => {
const songList = Array.from(e.childNodes);
const idx = songList.findIndex(v => v.childNodes[1].innerText.replace(/\s/g, '') === '鬼才會想起');
return songList[idx].childNodes[1].firstChild.firstChild.firstChild.href;
}, SONG_LS_SELECTOR);
// 進入歌曲頁面
await page.goto(selectedSongHref);
// 獲取歌曲頁面嵌套的 iframe
await page.waitFor(2000);
iframe = await page.frames().find(f => f.name() === 'contentFrame');
// 點擊 展開按鈕
const unfoldButton = await iframe.$('#flag_ctrl');
await unfoldButton.click();
// 獲取歌詞
const LYRIC_SELECTOR = await iframe.$('#lyric-content');
const lyricCtn = await iframe.evaluate(e => {
return e.innerText;
}, LYRIC_SELECTOR);
console.log(lyricCtn);
// 截圖
await page.screenshot({
path: '歌曲.png',
fullPage: true,
});
// 寫入文件
let writerStream = fs.createWriteStream('歌詞.txt');
writerStream.write(lyricCtn, 'UTF8');
writerStream.end();
// 獲取評論數(shù)量
const commentCount = await iframe.$eval('.sub.s-fc3', e => e.innerText);
console.log(commentCount);
// 獲取評論
const commentList = await iframe.$$eval('.itm', elements => {
const ctn = elements.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
});
console.log(commentList);
})();
運行結(jié)果
高級爬蟲
爬取SPA應(yīng)用，并生成預(yù)渲染內(nèi)容（即“SSR” 服務(wù)端渲染），通俗講就是在頁面上顯示的內(nèi)容我們都能獲取到。下面我們就通過爬取 瓜子二手車直賣網(wǎng) 的車輛信息來認(rèn)識它。
首先通過 axios 來試試
const axios = require('axios');
const useAxios = () => {
axios.get('https://www.guazi.com/hz/buy/')
.then(((result) => {
console.log(result.data);
}))
.catch((err) => {
console.log(err);
});
};
結(jié)果它返回給我這個玩意，這顯然不是我要的內(nèi)容
通過 Puppeteer 爬取
const fs = require('fs');
const puppeteer = require('puppeteer');
(async () => {
const browser = await (puppeteer.launch({ executablePath: '/Users/huqiyang/Documents/project/z/chromium/Chromium.app/Contents/MacOS/Chromium', headless: true }));
const page = await browser.newPage();
// 進入頁面
await page.goto('https://www.guazi.com/hz/buy/');
// 獲取頁面標(biāo)題
let title = await page.title();
console.log(title);
// 獲取汽車品牌
const BRANDS_INFO_SELECTOR = '.dd-all.clearfix.js-brand.js-option-hid-info';
const brands = await page.evaluate(sel => {
const ulList = Array.from($(sel).find('ul li p a'));
const ctn = ulList.map(v => {
return v.innerText.replace(/\s/g, '');
});
return ctn;
}, BRANDS_INFO_SELECTOR);
console.log('汽車品牌: ', JSON.stringify(brands));
let writerStream = fs.createWriteStream('car_brands.json');
writerStream.write(JSON.stringify(brands, undefined, 2), 'UTF8');
writerStream.end();
// await bodyHandle.dispose();
// 獲取車源列表
const CAR_LIST_SELECTOR = 'ul.carlist';
const carList = await page.evaluate((sel) => {
const catBoxs = Array.from($(sel).find('li a'));
const ctn = catBoxs.map(v => {
const title = $(v).find('h2.t').text();
const subTitle = $(v).find('div.t-i').text().split('|');
return {
title: title,
year: subTitle[0],
milemeter: subTitle[1]
};
});
return ctn;
}, CAR_LIST_SELECTOR);
console.log(`總共${carList.length}輛汽車數(shù)據(jù): `, JSON.stringify(carList, undefined, 2));
// 將車輛信息寫入文件
writerStream = fs.createWriteStream('car_info_list.json');
writerStream.write(JSON.stringify(carList, undefined, 2), 'UTF8');
writerStream.end();
browser.close();
})();
運行結(jié)果
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
本篇文章主要介紹了詳解express與koa中間件模式對比，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-08-08
這篇文章主要介紹了package.json各個屬性說明詳解，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
nodejs進階(6)—連接MySQL數(shù)據(jù)庫示例
本篇文章主要介紹了nodejs進階(6)—連接MySQL數(shù)據(jù)庫示例，詳細的介紹了NodeJS操作MySQL數(shù)據(jù)庫，作為應(yīng)用最為廣泛的開源數(shù)據(jù)庫則成為我們的首選，有興趣的可以了解一下。2017-01-01
node.js使用免費的阿里云ip查詢獲取ip所在地【推薦】
這篇文章主要介紹了node.js使用免費的阿里云ip查詢獲取ip所在地的相關(guān)知識，非常不錯，具有一定的參考借鑒價值 ,需要的朋友可以參考下2018-09-09
最近在用Node寫一個實時聊天小應(yīng)用,其中就用到了單元測試，所以死下面這篇文章主要給大家介紹了關(guān)于Node.js利用斷言模塊assert進行單元測試的方法，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧。2017-09-09
這篇文章主要介紹了node.js集成百度UE編輯器的方法,需要的朋友可以參考下2015-02-02
Express是一個基于Node.js平臺的輕量級Web應(yīng)用框架,它提供了簡潔的API和豐富的功能,本文主要介紹了Express框架搭建項目的實現(xiàn)步驟,感興趣的可以了解一下2024-06-06
這篇文章主要介紹了nodeJS模塊簡單用法,結(jié)合實例形式簡單分析了nodejs模塊定義、引入、注冊、啟動等相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
最近需要完成一個課程設(shè)計，被項目經(jīng)理（組長）分配寫界面功能，下面小編通過本文給大家分享使用使用node搭建小型服務(wù)器的方法，需要的朋友參考下2017-05-05
Nodejs如何使用http標(biāo)準(zhǔn)庫異步加載https請求json數(shù)據(jù)
這篇文章主要介紹了Nodejs如何使用http標(biāo)準(zhǔn)庫異步加載https請求json數(shù)據(jù)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-09-09