Hadoop是Apache軟件基金會旗下的一個開源分布式計算平臺。以Hadoop分布式文件系統(tǒng)（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的開源實現(xiàn)）為核心的Hadoop為用戶提供了系統(tǒng)底層細節(jié)透明的分布式基礎架構。

對于Hadoop的集群來講，可以分成兩大類角色：Master和Salve。一個HDFS集群是由一個NameNode和若干個DataNode組成的。其中NameNode作為主服務器，管理文件系統(tǒng)的命名空間和客戶端對文件系統(tǒng)的訪問操作；集群中的DataNode管理存儲的數(shù)據(jù)。MapReduce框架是由一個單獨運行在主節(jié)點上的JobTracker和運行在每個集群從節(jié)點的TaskTracker共同組成的。主節(jié)點負責調(diào)度構成一個作業(yè)的所有任務，這些任務分布在不同的從節(jié)點上。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務；從節(jié)點僅負責由主節(jié)點指派的任務。當一個Job被提交時，JobTracker接收到提交作業(yè)和配置信息之后，就會將配置信息等分發(fā)給從節(jié)點，同時調(diào)度任務并監(jiān)控TaskTracker的執(zhí)行。