一、介紹

yarn是一種通用的資源管理系統(tǒng)和調度平臺。 

資源管理系統(tǒng) ：管理集群內的硬件資源，和程序運行相關，比如內存，CPU等。 

調度平臺：多個程序同時申請計算資源時提供分配，調度的規(guī)則（算法）。 

通用：不僅僅支持MapReduce程序，理論上支持各種計算程序如spark，flink。yarn不關系程序的計算內容，只關心程序所需的資源，在程序申請資源的時候根據(jù)調度算法分配資源，計算結束之后回收計算資源。使用yarn作為資源調度平臺的計算框架自身需要提供ApplicationMaster來負責計算任務的調度。

二、yarn 框架

Yarn是主從式設計，主節(jié)點為ResourceManager，從節(jié)點NodeManager。

架構圖：

ApplicationMaster也是yarn中不可缺失的一部分，但是其由具體的計算框架來提供，相當于Yarn只提供了一個需要實現(xiàn)的接口。

三、ResourceManager

ResourceManager全局資源管理器由兩部分組成，分別為Scheduler 和 ApplicationsManager。

3.1，ApplicationsManager

主要的負責接收client端傳輸?shù)膉ob請求，為應用（如 mapreduce程序）分配第一個Container（資源池）來運行我們的ApplicationsMaster；

負責監(jiān)控ApplicationMaster，并且在遇到失敗的時候重啟ApplicationMaster。

3.2，Scheduler

調度器負責將資源分配給各種正在運行的應用程序，這些應用程序受到容量、隊列等常見的限制。

調度器是純粹的調度器，它不監(jiān)視或跟蹤應用程序的狀態(tài)。

此外，它也不能保證重啟失敗的應用程（由ApplicationManager負責）。

調度器根據(jù)應用程序的資源需求執(zhí)行其調度功能；它是基于Container的抽象概念來實現(xiàn)資源調度的，Scheduler通過給任務分配Container的方式來分配資源。

調度器是可插拔的，常用的調度器有CapacityScheduler和FairScheduler。

四、NodeManager

NodeManager節(jié)點資源管理器，是每臺機器的框架客戶端/代理，負責Container容器管理，監(jiān)控他們的資源使用，并匯報給ResourceManager/Scheduler。

Container：

NodeManager將節(jié)點中的資源切分出來組成一個個可以單獨運行任務（map，reduce）的Container容器，用來運行任務。容器中資源目前只支內存、cpu。

一個Container類似于開辟了一個虛擬機，一個NodeManager中可以分配一個或者多個Container。

Container底層使用了輕量級資源隔離機制Cgroups進行資源隔離（docker底層好像也是使用了Cgroups）。 

Container是Yarn集群分配資源的基本單位。

五、ApplicationMaster

ApplicationMaster運行在NodeManager的Container中，并且是應用程序申請到的第一個Container。

它負責一個應用程序中具體任務的執(zhí)行，比如mapreduce應用的map任務，reduce任務，每一個應用都有一個ApplicationMaster，它受ApplicationsManager管理，ApplicationMaster進程如果非正常死亡，ApplicationsManager可以重啟它。

主要功能：

1，與ResourceManager中的Scheduler 協(xié)商獲取執(zhí)行資源。

2，與NodeManager通訊以啟動，停止任務

3，監(jiān)控所屬的任務的執(zhí)行。

六、客戶端提交任務到y(tǒng)arn中運行的流程。

步驟說明：

1，客戶端向ResourceManager中的ApplicationManager提交作業(yè)申請，申請jobID。

2，ApplicationManager 返回一個jobID，以及運行的hdfs臨時路徑(hdfs://… jobID)。

3，客戶端將作業(yè)的jar包，配置信息等上傳到分配的hdfs臨時路徑(hdfs://… jobID)中。

4，客戶端上傳文件成功后，向ApplicationManager發(fā)送執(zhí)行作業(yè)請求。

5，ApplicationManager將請求轉發(fā)給Scheduler，申請執(zhí)行所需資源。

6，調度器將作業(yè)放置到相關隊列中，當執(zhí)行到該作業(yè)時，開始讓ApplicationManager分配Containers。

7，ApplicationManager命令NodeManager使用分配的container資源啟動ApplicationMaster。

8，ApplicationMaster啟動后去分配的hdfs臨時路徑(hdfs://… jobID)中讀取作業(yè)的具體信息，根據(jù)分片信息創(chuàng)建map任務，reduce任務。

9，ApplicationMaster向Scheduler請求資源來執(zhí)行map任務，reduce任務。

10，Scheduler返回申請結果。

11，AppMaster通知NodeManager，啟動map，reduce任務。

12，NodeManager啟動map，reduce任務。

13，map，reduce任務讀取數(shù)據(jù)，進行邏輯計算。計算過程中如果有map，reduce任務執(zhí)行失敗了，AppMaster負責重啟任務。

14，程序執(zhí)行成功后，AppMaster向Scheduler發(fā)送請求，釋放資源。

總結

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論