Heritrix是一個由Java開發(fā)的開源Web爬蟲系統(tǒng)，用來獲取完整的、精確的站點內(nèi)容的深度復(fù)制，

具有強大的可擴展性，運行開發(fā)者任意選擇或擴展各個組件，實現(xiàn)特定的抓取邏輯。

一、Heritrix介紹

Heritrix采用了模塊化的設(shè)計，用戶可以在運行時選擇要用的模塊。它由核心類（core classes）和插件模塊（pluggable modules）構(gòu)成。

核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。所以我們就可以用實現(xiàn)了特定抓取邏輯的第三方模塊來取代默認的插件模塊，從而滿足自己的抓取需要。

CrawlController（下載控制器）整個下載過程的總控制者，整個抓取工作的起點，決定整個抓取任務(wù)的開始和結(jié)束。每個URI都有一個獨立的線程，它從邊界控制器（Frontier）獲取新的URI，然后傳遞給Processor chains（處理鏈）經(jīng)過一系列Processor（處理器）處理。

二、Heritrix架構(gòu)

中央控制器 CrawlController 是核心組件，決定了整個抓取任務(wù)的開始與結(jié)束。

用戶在 Heritrix web UI 控制臺設(shè)置抓取任務(wù)后，heritrix首先構(gòu)造XMLSettingsHandler對象，然后調(diào)用CrawlController的構(gòu)造函數(shù)，構(gòu)造一個CrawlController實例并初始化，這樣，CrawlController就具備了運行條件。

此時，只需調(diào)用 requestCrawlStart()方法就可以啟動線程池和Frontier，以便向線程池中工作線程提供抓取用的URL鏈接。

Heritrix 3.x 的框架主要分為 Engine 和 Component

三、一些API

org.archive.crawler.framework.CrawlJob;

org.archive.crawler.postprocessor.CandidatesProcessor;
org.archive.modules.CrawlURI;

等等

抓取任務(wù)CrawlOrder類：是整個抓取工作的起點。一次抓取任務(wù)包括許多屬性，建立一個任務(wù)的方式有很多種，最簡單的一種就是根據(jù)默認的order.xml來配置。

中央控制器CrawlController：該類決定著抓取任務(wù)的開始和結(jié)束。它包含以下幾個組件：

CrawlOrder：該類保存了order.xml的屬性配置；

CrawlScope：決定當前抓取范圍；

ProcessorChainList：處理器鏈；

Frontier：一次抓取任務(wù)需要設(shè)定一個Frontier，以此來不斷為其每個線程提供URI；

ToePool：它是一個線程池，管理了所有在當前任務(wù)中抓取過的Host名稱和Server名稱。

中央控制器CrawlControllr的類結(jié)構(gòu)如圖所示：

Frontier鏈接制造工廠：它表示一種為線程提供鏈接的工具，通過一些特定的算法來決定哪個鏈接將接下來被送入處理器鏈中，同時，它本身也負責(zé)一定的日志和狀態(tài)報告功能。

BdbFrontier類：它是用Berkeley DB 實現(xiàn)的，Berkeley DB 就是一個HashTable，它能夠按“key/value”方式保存數(shù)據(jù)，能夠為應(yīng)用程序提供可伸縮的、高性能的、有事務(wù)保護功能的嵌入式數(shù)據(jù)庫。

Heritrix的多線程ToeThread和ToePool：要想更快更有效地抓取網(wǎng)頁，必須采用多線程，Heritrix則采用多線程機制，提供了一個標準的線程池ToePool，用于管理所有的抓取線程。

處理器鏈 Processor：包括PreProcessor、Fetcher、Extractor、Writer、PostProcessor五種。

四、應(yīng)用

作為爬蟲模塊，爬取數(shù)據(jù)

到此這篇關(guān)于爬蟲技術(shù)框架之Heritrix框架詳解的文章就介紹到這了,更多相關(guān)爬蟲技術(shù)框架 Heritrix內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論