《深度剖析Hadoop HDFS》基于Hadoop 2.7.1版本進行分析，全面描述了HDFS 2.X的核心技術(shù)與解決方案，書中描述了HDFS內(nèi)存存儲、異構(gòu)存儲等幾大核心設(shè)計，包括源碼細節(jié)層面的分析，對于HDFS中比較特殊的幾個場景過程也做了細粒度的分析。還分享了作者在實際應(yīng)用中的解決方案及擴展思路。閱讀《深度剖析Hadoop HDFS》可以幫助讀者從架構(gòu)設(shè)計與功能實現(xiàn)角度了解HDFS 2.X，同時還能學(xué)習(xí)HDFS 2.X框架中優(yōu)秀的設(shè)計思想、設(shè)計模式、Java語言技巧等。這些對于讀者全面提高自己分布式技術(shù)水平有很大的幫助。

《深度剖析Hadoop HDFS》分為三大部分：核心設(shè)計篇、細節(jié)實現(xiàn)篇、解決方案篇，“核心設(shè)計篇”包括HDFS的數(shù)據(jù)存儲原理、HDFS的數(shù)據(jù)管理與策略選擇機制、HDFS的新穎功能特性；“細節(jié)實現(xiàn)篇”包括HDFS的塊處理、流量處理等細節(jié)，以及部分結(jié)構(gòu)分析；“解決方案篇”包括HDFS的數(shù)據(jù)管理、HDFS的數(shù)據(jù)讀寫、HDFS的異常場景等。

目錄

前言
第一部分 核心設(shè)計篇
第1章 HDFS的數(shù)據(jù)存儲2
1.1 HDFS內(nèi)存存儲2
1.1.1 HDFS內(nèi)存存儲原理2
1.1.2 Linux 虛擬內(nèi)存盤4
1.1.3 HDFS的內(nèi)存存儲流程分析4
1.1.4 LAZY_PERSIST內(nèi)存存儲的使用14
1.2 HDFS異構(gòu)存儲15
1.2.1 異構(gòu)存儲類型16
1.2.2 異構(gòu)存儲原理17
1.2.3 塊存儲類型選擇策略22
1.2.4 塊存儲策略集合24
1.2.5 塊存儲策略的調(diào)用27
1.2.6 HDFS異構(gòu)存儲策略的不足之處28
1.2.7 HDFS存儲策略的使用30
1.3 小結(jié)31
第2章 HDFS的數(shù)據(jù)管理與策略選擇32
2.1 HDFS緩存與緩存塊32
2.1.1 HDFS物理層面緩存塊33
2.1.2 緩存塊的生命周期狀態(tài)34
2.1.3 CacheBlock、UnCacheBlock場景觸發(fā)36
2.1.4 CacheBlock、UnCacheBlock緩存塊的確定38
2.1.5 系統(tǒng)持有的緩存塊列表如何更新39
2.1.6 緩存塊的使用40
2.1.7 HDFS緩存相關(guān)配置40
2.2 HDFS中心緩存管理42
2.2.1 HDFS緩存適用場景43
2.2.2 HDFS緩存的結(jié)構(gòu)設(shè)計43
2.2.3 HDFS緩存管理機制分析45
2.2.4 HDFS中心緩存疑問點55
2.2.5 HDFS CacheAdmin命令使用56
2.3 HDFS快照管理58
2.3.1 快照概念59
2.3.2 HDFS中的快照相關(guān)命令59
2.3.3 HDFS內(nèi)部的快照管理機制60
2.3.4 HDFS的快照使用71
2.4 HDFS副本放置策略72
2.4.1 副本放置策略概念與方法72
2.4.2 副本放置策略的有效前提73
2.4.3 默認副本放置策略的分析73
2.4.4 目標(biāo)存儲好壞的判斷82
2.4.5 chooseTargets的調(diào)用83
2.4.6 BlockPlacementPolicyWithNodeGroup繼承類84
2.4.7 副本放置策略的結(jié)果驗證85
2.5 HDFS內(nèi)部的認證機制85
2.5.1 BlockToken認證85
2.5.2 HDFS的Sasl認證91
2.5.3 BlockToken認證與HDFS的Sasl認證對比97
2.6 HDFS內(nèi)部的磁盤目錄服務(wù)98
2.6.1 HDFS的三大磁盤目錄檢測掃描服務(wù)98
2.6.2 DiskChecker：壞盤檢測服務(wù)99
2.6.3 DirectoryScanner：目錄掃描服務(wù)104
2.6.4 VolumeScanner：磁盤目錄掃描服務(wù)110
2.7 小結(jié)116
第3章 HDFS的新穎功能特性117
3.1 HDFS視圖文件系統(tǒng)：ViewFileSystem117
3.1.1 ViewFileSystem： 視圖文件系統(tǒng)118
3.1.2 ViewFileSystem內(nèi)部實現(xiàn)原理119
3.1.3 ViewFileSystem的使用125
3.2 HDFS的Web文件系統(tǒng)：WebHdfsFileSystem126
3.2.1 WebHdfsFileSystem的REST API操作127
3.2.2 WebHdfsFileSystem的流程調(diào)用129
3.2.3 WebHdfsFileSystem執(zhí)行器調(diào)用130
3.2.4 WebHDFS的OAuth2認證133
3.2.5 WebHDFS的使用135
3.3 HDFS數(shù)據(jù)加密空間：Encryption zone136
3.3.1 Encryption zone原理介紹136
3.3.2 Encryption zone源碼實現(xiàn)136
3.3.3 Encryption zone的使用144
3.4 HDFS糾刪碼技術(shù)145
3.4.1 糾刪碼概念145
3.4.2 糾刪碼技術(shù)的優(yōu)劣勢146
3.4.3 Hadoop糾刪碼概述147
3.4.4 糾刪碼技術(shù)在Hadoop中的實現(xiàn)148
3.5 HDFS對象存儲：Ozone152
3.5.1 Ozone介紹153
3.5.2 Ozone的高層級設(shè)計154
3.5.3 Ozone的實現(xiàn)細節(jié)157
3.5.4 Ozone的使用157
3.6 小結(jié)158
第二部分 細節(jié)實現(xiàn)篇
第4章 HDFS的塊處理160
4.1 HDFS塊檢查命令fsck160
4.1.1 fsck參數(shù)使用160
4.1.2 fsck過程調(diào)用161
4.1.3 fsck原理分析162
4.1.4 fsck使用場景171
4.2 HDFS如何檢測并刪除多余副本塊171
4.2.1 多余副本塊以及發(fā)生的場景172
4.2.2 OverReplication多余副本塊處理172
4.2.3 多余副本塊清除的場景調(diào)用177
4.3 HDFS數(shù)據(jù)塊的匯報與處理179
4.3.1 塊處理的五大類型179
4.3.2 toAdd：新添加的塊181
4.3.3 toRemove：待移除的塊184
4.3.4 toInvalidate：無效的塊186
4.3.5 toCorrupt：損壞的塊189
4.3.6 toUC：正在構(gòu)建中的塊191
4.4 小結(jié)193
第5章 HDFS的流量處理194
5.1 HDFS的內(nèi)部限流194
5.1.1 數(shù)據(jù)的限流194
5.1.2 DataTransferThrottler限流原理196
5.1.3 數(shù)據(jù)流限流在Hadoop中的使用198
5.1.4 Hadoop限流優(yōu)化點202
5.2 數(shù)據(jù)平衡204
5.2.1 Balancer和Dispatcher204
5.2.2 數(shù)據(jù)不平衡現(xiàn)象207
5.2.3 Balancer性能優(yōu)化207
5.3 HDFS節(jié)點內(nèi)數(shù)據(jù)平衡210
5.3.1 磁盤間數(shù)據(jù)不平衡現(xiàn)象及問題211
5.3.2 傳統(tǒng)的磁盤間數(shù)據(jù)不平衡解決方案211
5.3.3 社區(qū)解決方案：DiskBalancer212
5.4 小結(jié)216
第6章 HDFS的部分結(jié)構(gòu)分析217
6.1 HDFS鏡像文件的解析與反解析217
6.1.1 HDFS的FsImage鏡像文件218
6.1.2 FsImage的解析218
6.1.3 FsImage的反解析221
6.1.4 HDFS鏡像文件的解析與反解析命令226
6.2 DataNode數(shù)據(jù)處理中心DataXceiver227
6.2.1 DataXceiver的定義和結(jié)構(gòu)228
6.2.2 DataXceiver下游處理方法232
6.2.3 ShortCircuit232
6.2.4 DataXceiver的上游調(diào)用233
6.2.5 DataXceiver與DataXceiverServer234
6.3 HDFS鄰近信息塊：BlockInfoContiguous235
6.3.1 triplets對象數(shù)組236
6.3.2 BlockInfoContiguous的鏈表操作239
6.3.3 塊迭代器BlockIterator244
6.4 小結(jié)246
第三部分 解決方案篇
第7章 HDFS的數(shù)據(jù)管理248
7.1 HDFS的讀寫限流方案248
7.1.1 限流方案實現(xiàn)要點以及可能造成的影響248
7.1.2 限流方案實現(xiàn)249
7.1.3 限流測試結(jié)果250
7.2 HDFS數(shù)據(jù)資源使用量分析以及趨勢預(yù)測250
7.2.1 要獲取哪些數(shù)據(jù)251
7.2.2 如何獲取這些數(shù)據(jù)251
7.2.3 怎么用這些數(shù)據(jù)254
7.3 HDFS數(shù)據(jù)遷移解決方案257
7.3.1 數(shù)據(jù)遷移使用場景257
7.3.2 數(shù)據(jù)遷移要素考量258
7.3.3 HDFS數(shù)據(jù)遷移解決方案：DistCp259
7.3.4 DistCp優(yōu)勢特性260
7.3.5 Hadoop DistCp命令264
7.3.6 DistCp解決集群間數(shù)據(jù)遷移實例265
7.4 DataNode遷移方案265
7.4.1 遷移方案的目標(biāo)266
7.4.2 DataNode更換主機名、ip地址時的遷移方案267
7.5 HDFS集群重命名方案268
7.6 HDFS的配置管理方案271
7.6.1 HDFS配置管理的問題271
7.6.2 現(xiàn)有配置管理工具272
7.6.3 運用Git來做配置管理272
7.7 小結(jié)273
第8章 HDFS的數(shù)據(jù)讀寫274
8.1 DataNode引用計數(shù)磁盤選擇策略274
8.1.1 HDFS現(xiàn)有磁盤選擇策略274
8.1.2 自定義磁盤選擇策略279
8.2 Hadoop節(jié)點“慢磁盤”監(jiān)控282
8.2.1 慢磁盤的定義以及如何發(fā)現(xiàn)282
8.2.2 慢磁盤監(jiān)控284
8.3 小結(jié)287
第9章 HDFS的異常場景288
9.1 DataNode慢啟動問題288
9.1.1 DataNode慢啟動現(xiàn)象288
9.1.2 代碼追蹤分析290
9.1.3 參數(shù)可配置化改造293
9.2 Hadoop中止下線操作后大量剩余復(fù)制塊問題295
9.2.1 節(jié)點下線操作的含義及問題295
9.2.2 死節(jié)點“復(fù)活”297
9.2.3 Decommission下線操作如何運作299
9.2.4 中止下線操作后移除殘余副本塊解決方案303
9.3 DFSOutputStream的DataStreamer線程泄漏問題306
9.3.1 DFSOutputStream寫數(shù)據(jù)過程及周邊相關(guān)類、變量306
9.3.2 DataStreamer數(shù)據(jù)流對象307
9.3.3 ResponseProcessor回復(fù)獲取類311
9.3.4 DataStreamer與DFSOutputStream的關(guān)系313
9.3.5 Streamer線程泄漏問題316
9.4 小結(jié)319
附錄 如何向開源社區(qū)提交自己的代碼320