小礦網(wǎng)頁機器人是一款強大的專業(yè)數(shù)據(jù)采集器,通過用戶自定義配置，可快捷的將網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)化存儲到本地，并可輸出到數(shù)據(jù)庫、發(fā)布到網(wǎng)站。采集軟件可應(yīng)用于數(shù)據(jù)挖掘、垂直搜索引擎、網(wǎng)站信息聚合、企業(yè)口碑監(jiān)測、輿情信息監(jiān)測等領(lǐng)域，針對大數(shù)據(jù)采集，提供分布式采集應(yīng)用，是一款值得您信賴的數(shù)據(jù)采集利器！

軟件特征：

所見即所得

無需關(guān)注技術(shù)，無需復(fù)雜的設(shè)置，所有操作均在瀏覽器中操作?？吹降募纯刹杉?，當(dāng)然，F(xiàn)lash同樣無法采集。

自動化網(wǎng)頁操作

通過設(shè)置規(guī)則，系統(tǒng)可完全模擬人工進行自動化網(wǎng)頁操作，登錄、鼠標(biāo)滾動、輸入、選擇等均不在話下。

傻瓜化配置

傳統(tǒng)的采集器都需要對網(wǎng)頁結(jié)構(gòu)進行分析，但小礦不需要，點點鼠標(biāo)即可完成配置，開啟您的操作之旅吧！

軟件功能：

支持常用采集功能：導(dǎo)航（級別不限）、網(wǎng)頁解碼、url編碼、壓縮采集、下載圖片、翻頁文章正文自動合并；

支持可視化配置、規(guī)則配置助手，可有效輔助用戶進行規(guī)則配置；

支持采集數(shù)據(jù)發(fā)布至文件【支持CSV、Excel、Word】、網(wǎng)站、數(shù)據(jù)庫【數(shù)據(jù)庫支持：Access、Mysql、SqlServer】；

支持常用的數(shù)據(jù)清洗規(guī)則，包括自動去除網(wǎng)頁代碼、編碼解碼、字符串替換等操作；

支持常用采集策略，代理采集、錯誤重試等；

支持復(fù)雜采集規(guī)則配置，支持多頁采集，導(dǎo)航頁數(shù)據(jù)采集，自動下載正文圖片，復(fù)雜結(jié)構(gòu)數(shù)據(jù)輕松采集；

支持網(wǎng)址排重，錯誤出錯排重控制，可有效提升您的采集效率；

支持采集延時控制、CSRF Token獲取、代理輪詢等多種采集策略；

支持字典參數(shù)、數(shù)據(jù)庫網(wǎng)址參數(shù)提取、直接入庫，輕松應(yīng)對批量數(shù)據(jù)采集；

支持更多的數(shù)據(jù)清洗規(guī)則；

支持?jǐn)?shù)據(jù)排重，支持更復(fù)雜的采集需求，可靈活構(gòu)建更加復(fù)雜的采集規(guī)則，最終輸出符合用戶要求的數(shù)據(jù)結(jié)構(gòu)；

支持網(wǎng)絡(luò)雷達，實現(xiàn)自動化數(shù)據(jù)監(jiān)控，并通過郵件進行提醒，輕松構(gòu)建競價、輿情監(jiān)控應(yīng)用；

支持插件，可擴展屬于自己的采集功能，自定義數(shù)據(jù)清洗、數(shù)據(jù)發(fā)布、系統(tǒng)集成，靈活應(yīng)用；

支持反屏蔽檢測，自動打碼，支持更加復(fù)雜的采集執(zhí)行策略，讓采集真正無憂；

支持線程資源獨立設(shè)置，可針對單任務(wù)多線程中的每個線程獨立設(shè)置Cookie、代理等，一臺變多臺；

提供專有的采集服務(wù)引擎，支持7×24小時不間斷采集，搭建一個屬于自己的云采集試試吧；

遠(yuǎn)程管理，不受地域限制，隨時隨地管理采集；

企業(yè)級大數(shù)據(jù)采集專用，真正適合大數(shù)據(jù)采集應(yīng)用；

可根據(jù)用戶實際需求，提供采集方案，以更適合企業(yè)自身應(yīng)用；

可根據(jù)用戶實際需求，提供二次定制開發(fā)；