后羿采集器是一款全新智能網(wǎng)頁(yè)數(shù)據(jù)采集軟件，由原Google技術(shù)團(tuán)隊(duì)傾力打造，其規(guī)則配置簡(jiǎn)單，采集功能強(qiáng)大，能夠支持電商類、生活服務(wù)類、社交媒體、新聞?wù)搲炔煌愋偷木W(wǎng)站。

功能特點(diǎn)

可視化點(diǎn)選，一鍵采集網(wǎng)頁(yè)數(shù)據(jù)

全程拖拽和點(diǎn)擊操作，不需要開(kāi)發(fā)更不需要懂技術(shù)任何人都能用的網(wǎng)頁(yè)數(shù)據(jù)采集器

采集和導(dǎo)出全免費(fèi)，無(wú)限制放心用

全免費(fèi)的采集軟件，導(dǎo)出數(shù)據(jù)無(wú)限制數(shù)據(jù)可導(dǎo)出到本地文件、發(fā)布到網(wǎng)站和數(shù)據(jù)庫(kù)等。

可后臺(tái)運(yùn)行，速度實(shí)時(shí)顯示

可切換軟件后臺(tái)運(yùn)行，不打擾您的其他前臺(tái)工作懸浮窗口實(shí)時(shí)查看采集速度和采集數(shù)據(jù)等。

全平臺(tái)，Win/Mac/Linux都可用

不同于其他采集器，后羿支持所有操作系統(tǒng)版本更新和功能升級(jí)同步所有平臺(tái)。

使用流程

1、可視化自定義采集流程

全程問(wèn)答式引導(dǎo)、可視化操作、自定義采集流程。

自動(dòng)記錄和模擬網(wǎng)頁(yè)操作順序

高級(jí)設(shè)置滿足更多采集需求

2、點(diǎn)選抽取網(wǎng)頁(yè)數(shù)據(jù)

鼠標(biāo)點(diǎn)擊選擇要爬取的網(wǎng)頁(yè)內(nèi)容、操作簡(jiǎn)單。

可選擇抽取文本、鏈接、屬性、html標(biāo)簽等。

3、運(yùn)行批量采集數(shù)據(jù)

軟件按照采集流程和抽取規(guī)則自動(dòng)批量采集

快速穩(wěn)定，實(shí)時(shí)顯示采集速度和過(guò)程可切換軟件后臺(tái)運(yùn)行，不打擾前臺(tái)工作。

4、導(dǎo)出和發(fā)布采集的數(shù)據(jù)

采集的數(shù)據(jù)自動(dòng)表格化，自由配置字段。

支持?jǐn)?shù)據(jù)導(dǎo)出到Excel等本地文件和一鍵發(fā)布到CMS網(wǎng)站/數(shù)據(jù)庫(kù)/微信公眾號(hào)等媒體。

使用方法

自定義采集百度搜索結(jié)果數(shù)據(jù)的方法
步驟1：創(chuàng)建采集任務(wù)
1）啟動(dòng)后羿采集器，進(jìn)入主界面，選擇自定義采集并點(diǎn)擊創(chuàng)建任務(wù)按鈕創(chuàng)建 "自定義采集任務(wù)"

2）輸入百度搜索的URL，包括三種方式
1、手動(dòng)輸入：在輸入框中直接輸入U(xiǎn)RL,多個(gè)URL時(shí)須要換行分割
2、點(diǎn)擊從文件中讀取方式：用戶選擇一個(gè)存放URL的文件，文件中可以有多個(gè)URL地址，地址須要換行分割。
3、批量添加方式：通過(guò)添加并調(diào)整地址參數(shù)生成多個(gè)有規(guī)律的地址

步驟2：自定義采集流程
1）點(diǎn)擊創(chuàng)建后自動(dòng)打開(kāi)第一個(gè)URL進(jìn)而進(jìn)入自定義設(shè)置頁(yè)面，默認(rèn)已經(jīng)創(chuàng)建了開(kāi)始、打開(kāi)網(wǎng)頁(yè)、結(jié)束的流程塊。底部模板區(qū)用于拖拽到畫布中生成新的流程塊；點(diǎn)擊打開(kāi)網(wǎng)頁(yè)中的屬性按鈕，可修改打開(kāi)的網(wǎng)址

2）添加輸入文字流程塊：在底部模板區(qū)中拖拽輸入文字塊到打開(kāi)網(wǎng)頁(yè)塊后面附近，當(dāng)出現(xiàn)陰影區(qū)域的時(shí)候可以松開(kāi)鼠標(biāo)，此時(shí)會(huì)自動(dòng)連接，添加完成

3）生成完整流程圖：仿照上面添加輸入文字流程塊的拖拽流程添加新塊：如下圖所示：

關(guān)鍵步驟塊設(shè)置介紹
步驟2：定時(shí)等待用于等待前面打開(kāi)網(wǎng)頁(yè)完成
步驟3：點(diǎn)擊輸入框Xpath屬性按鈕，在屬性菜單中點(diǎn)擊圖標(biāo)進(jìn)行點(diǎn)選網(wǎng)頁(yè)中的輸入框，點(diǎn)擊輸入文本屬性按鈕，在菜單中輸入要搜索的文本。
步驟4：用于設(shè)置點(diǎn)擊開(kāi)始搜索按鈕，點(diǎn)擊元素的xpath屬性按鈕，在菜單中點(diǎn)擊點(diǎn)選圖標(biāo)，然后點(diǎn)擊網(wǎng)頁(yè)中的百度一下按鈕即可。
步驟5：用于設(shè)置循環(huán)加載下一列表頁(yè)。在循環(huán)塊內(nèi)部的循環(huán)條件塊中設(shè)置詳細(xì)條件，此處點(diǎn)擊操作按鈕，選擇單個(gè)元素，然后在屬性菜單中點(diǎn)擊元素的xpath屬性按鈕，同上進(jìn)行點(diǎn)選網(wǎng)頁(yè)中的下一頁(yè)按鈕。循環(huán)次數(shù)屬性按鈕可默認(rèn)為0，即不限制點(diǎn)擊下一頁(yè)的次數(shù)。
步驟6：用于設(shè)置循環(huán)抽取列表頁(yè)中的數(shù)據(jù)。在循環(huán)塊內(nèi)部的循環(huán)條件塊中設(shè)置詳細(xì)條件，此處點(diǎn)擊操作按鈕，選擇不固定元素列表，然后在屬性菜單中點(diǎn)擊元素的xpath屬性按鈕，然后在網(wǎng)頁(yè)中連續(xù)點(diǎn)選兩次抽取第一塊和第二塊元素。循環(huán)次數(shù)屬性按鈕可默認(rèn)為0，即不限制列表中收取字段的數(shù)量。
步驟7：用于執(zhí)行點(diǎn)擊下一頁(yè)按鈕操作，點(diǎn)擊元素xpath屬性按鈕，選擇使用當(dāng)前循環(huán)中元素的xpath選項(xiàng)。
步驟8：同理用于設(shè)置網(wǎng)頁(yè)加載等待時(shí)間。
步驟9：用于設(shè)置在列表頁(yè)抽取的字段規(guī)則，點(diǎn)擊屬性按鈕中使用循環(huán)中的元素按鈕，選擇使用循環(huán)中的元素選項(xiàng)。點(diǎn)擊元素模板屬性按鈕在字段表格中點(diǎn)擊加減進(jìn)行添加刪除字段，添加字段使用點(diǎn)選操作，即點(diǎn)擊加號(hào)后鼠標(biāo)移動(dòng)到網(wǎng)頁(yè)元素上點(diǎn)擊選擇。
4）點(diǎn)擊開(kāi)始采集，啟動(dòng)采集

步驟3：數(shù)據(jù)采集及導(dǎo)出
1）采集任務(wù)運(yùn)行中

2）采集完成后，選擇“導(dǎo)出數(shù)據(jù)”可以把數(shù)據(jù)都導(dǎo)出到本地文件

3）選擇“導(dǎo)出方式”，將采集好的數(shù)據(jù)導(dǎo)出，這里可以選擇excel作為導(dǎo)出為格式

4）采集數(shù)據(jù)導(dǎo)出后如下圖

更新日志

4.0.4
更新日期：2024-11-08
修復(fù)
修復(fù)部分圖片無(wú)法下載的問(wèn)題
修復(fù)部分網(wǎng)站無(wú)法打開(kāi)的問(wèn)題
修復(fù)其他已知問(wèn)題