快捷導(dǎo)航

使用八爪魚采集器采集滾動(dòng)加載和點(diǎn)擊加載數(shù)據(jù)的教程

更新時(shí)間：2023年05月20日 17:12:18 投稿：yin

現(xiàn)在很多網(wǎng)站的列表，需要向下滾動(dòng)頁面，才能加載出新數(shù)據(jù)。或者點(diǎn)擊“查看更多”加載新數(shù)據(jù)。使用廣泛的火車頭采集器相對(duì)無力，使用八爪魚采集器可以采集滾動(dòng)刷新和點(diǎn)擊刷新。

步驟一、進(jìn)入自定義任務(wù)編輯頁面

把網(wǎng)址復(fù)制到八爪魚客戶端首頁的輸入框中，點(diǎn)擊開始采集進(jìn)入自定義任務(wù)配置頁面。

步驟二、設(shè)置滾動(dòng)方式，調(diào)整滾動(dòng)次數(shù)、每次間隔時(shí)間

點(diǎn)擊打開網(wǎng)頁步驟，在下方步驟設(shè)置區(qū)域點(diǎn)擊高級(jí)設(shè)置，找到頁面滾動(dòng)，點(diǎn)擊勾選頁面滾動(dòng)。此網(wǎng)頁是無限滾動(dòng)的，八爪魚默認(rèn)設(shè)置的【滾動(dòng)方式】是滾動(dòng)到底部，默認(rèn)【滾動(dòng)次數(shù)】100次、默認(rèn)【每次間隔】1秒。大家可根據(jù)實(shí)際需求進(jìn)行調(diào)整?！久看伍g隔】時(shí)間需稍大于網(wǎng)頁上數(shù)據(jù)加載的時(shí)間（網(wǎng)頁上數(shù)據(jù)加載的時(shí)間又跟網(wǎng)速等因素有關(guān)）。

結(jié)合這個(gè)網(wǎng)站的加載特征，這里修改【滾動(dòng)方式】為向下滾動(dòng)一屏（一般情況滾動(dòng)方式都建議大家選擇向下滾動(dòng)一屏）；為方便演示，在這里，設(shè)置【滾動(dòng)次數(shù)】5次。

步驟三：配置列表數(shù)據(jù)采集。

啟動(dòng)采集來看一下采集結(jié)果。八爪魚自動(dòng)執(zhí)行了【直接滾動(dòng)到底部】5次，然后采集滾動(dòng)5次后的數(shù)據(jù)。

特別說明：

1、此網(wǎng)頁是無限向下滾動(dòng)加載數(shù)據(jù)的，八爪魚無法一次采集到所有數(shù)據(jù)。上面示例是設(shè)置了滾動(dòng)5次，實(shí)際采集過程中可根據(jù)需求來設(shè)置滾動(dòng)次數(shù)。

2、此類網(wǎng)頁常見于數(shù)據(jù)實(shí)時(shí)性高的新聞?lì)惥W(wǎng)站，在八爪魚中可以使用云采集，設(shè)置定時(shí)啟動(dòng)，少量多次采集最新數(shù)據(jù)。

3、有時(shí)候網(wǎng)頁很快，類似【加載中】的提示不明顯?！臼欠裼行聰?shù)據(jù)出現(xiàn)】、【觀察滾動(dòng)條的回彈次數(shù)】是比較好用的判斷標(biāo)準(zhǔn)，請(qǐng)注意觀察網(wǎng)頁。

4. 【向下滾動(dòng)一屏】的一屏，跟運(yùn)行采集任務(wù)時(shí)的窗口展示區(qū)域有關(guān)。如下圖，左側(cè)滾動(dòng)的一屏 > 右側(cè)滾動(dòng)的一屏。

5.若設(shè)置滾動(dòng)后啟動(dòng)采集不滾動(dòng)的，可能是頁面是局部滾動(dòng)的，需要設(shè)置局部滾動(dòng)不是全局滾動(dòng)。局部滾動(dòng)判斷方式，在目標(biāo)網(wǎng)頁打開【調(diào)試控制臺(tái)】輸入：document.scrollingElement.scrollBy(0, 100) 回車運(yùn)行。如果頁面沒有向下滾動(dòng)，說明不是全局滾動(dòng)。

到此這篇關(guān)于使用八爪魚采集器采集滾動(dòng)刷新和點(diǎn)擊刷新的教程的文章就介紹到這了,更多相關(guān)八爪魚采集器采集滾動(dòng)刷新和點(diǎn)擊刷新內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！