NameNode?重啟恢復數(shù)據(jù)的流程詳解

更新時間：2023年02月07日 15:58:30 作者：點滴星光

這篇文章主要為大家介紹了NameNode?重啟恢復數(shù)據(jù)的流程詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪

NameNode 重啟恢復數(shù)據(jù)的流程

我們都知道 NameNode 中存儲的是分布式存儲系統(tǒng)的元數(shù)據(jù)，在 NameNode 重啟之后，內(nèi)存的數(shù)據(jù)已經(jīng)丟失了的，所以需要重新加載數(shù)據(jù)。

這時候我們采用的方法是 FsImage 快照 + editslog 操作日志兩種結(jié)合的方法；

那它們是怎么結(jié)合的呢？換句話說，這兩種機制是通過什么聯(lián)系起來的呢？？

FsImage 和 editslog 的聯(lián)系

在內(nèi)存時的標識

FsImage 是由 editslog 經(jīng)過 checkpoint 機制而得到的，也就是說先有 editslog 再有 FsImage，那么我們來回顧一下 editslog 的組織格式：

message EditLog {
  int64 txId = 1;
  // 操作類型
  int32 opType = 2;
  string path = 3;
  map<string, string> attr = 4;
}

可以看到 editslog 中是有一個 txId 的屬性的，這個屬性是自增的（long 類型，64位取值范圍非常大，理論上不會超出了的）；txId 是 editslog 的唯一標識。

txId 是在內(nèi)存中維護著的，每生成一個 editslog 都會將當前 txid 賦值給它，并將 txid + 1；這個在內(nèi)存維護的 txid 是當前系統(tǒng)中最大的 txid 即 max_txid ，在生成 FsImage 會將系統(tǒng)中所有數(shù)據(jù)生成快照，并將當前 max_txid 賦值給它。

我們都知道 FsImage 中有兩個重要的屬性：

public class FsImage {
    ......
    /**
     * 當前最大的txId
     */
    private long maxTxId;
    /**
     * 內(nèi)容
     */
    private INode iNode;
    ......
}

iNode 其實就是元數(shù)據(jù)，而 maxTxId 其實就是生成 FsImage 時，系統(tǒng)中的 max_txid。