“Hadoop技術內(nèi)幕”共兩冊，分別從源代碼的角度對“Common+HDFS”和“MapReduce的架構設計和實現(xiàn)原理”進行了極為詳細的分析。《Hadoop技術內(nèi)幕：深入解析MapReduce架構設計與實現(xiàn)原理》由Hadoop領域資深的實踐者親自執(zhí)筆，首先介紹了MapReduce的設計理念和編程模型，然后從源代碼的角度深入分析了RPC框架、客戶端、JobTracker、TaskTracker和Task等MapReduce運行時環(huán)境的架構設計與實現(xiàn)原理，最后從實際應用的角度深入講解了Hadoop的性能優(yōu)化、安全機制、多用戶作業(yè)調(diào)度器和下一代MapReduce框架等高級主題和內(nèi)容。本書適合Hadoop的二次開發(fā)人員、應用開發(fā)工程師、運維工程師閱讀。

hadoop技術內(nèi)幕 深入解析mapreduce架構設計與實現(xiàn)原理 內(nèi)容簡介：

前　言
第一部分　基礎篇
第1章　閱讀源代碼前的準備/ 2
1.1　準備源代碼學習環(huán)境/ 2
1.1.1　基礎軟件下載/ 2
1.1.2　如何準備windows環(huán)境/ 3
1.1.3　如何準備linux環(huán)境/ 6
1.2　獲取hadoop源代碼/ 7
1.3　搭建hadoop源代碼閱讀環(huán)境/ 8
1.3.1　創(chuàng)建hadoop工程/ 8
1.3.2　hadoop源代碼閱讀技巧/ 9
1.4　hadoop源代碼組織結(jié)構/ 10
1.5　hadoop初體驗/ 13
1.5.1　啟動hadoop/ 13
1.5.2　hadoop shell介紹/ 15
1.5.3　hadoop eclipse插件介紹/ 15
1.6　編譯及調(diào)試hadoop源代碼/ 19
1.6.1　編譯hadoop源代碼/ 19
1.6.2　調(diào)試hadoop源代碼/ 20
1.7　小結(jié)/ 23
第2章　mapreduce設計理念與基本架構/ 24
2.1　hadoop發(fā)展史/ 24
2.1.1　hadoop產(chǎn)生背景/ 24
2.1.2　apache hadoop新版本的特性/ 25
2.1.3　hadoop版本變遷/ 26
2.2　hadoop mapreduce設計目標/ 28
2.3　mapreduce編程模型概述/ 29
2.3.1　mapreduce編程模型簡介/ 29
2.3.2　mapreduce編程實例/ 31
2.4　hadoop基本架構/ 32
2.4.1　hdfs架構/ 33
2.4.2　hadoop mapreduce架構/ 34
2.5　hadoop mapreduce作業(yè)的生命周期/ 36
2.6　小結(jié)/ 38
第二部分　mapreduce編程模型篇
第3章　mapreduce編程模型/ 40
3.1　mapreduce編程模型概述/ 40
3.1.1　mapreduce編程接口體系結(jié)構/ 40
3.1.2　新舊mapreduce api比較/ 41
3.2　mapreduce api基本概念/ 42
3.2.1　序列化/ 42
3.2.2　reporter參數(shù)/ 43
3.2.3　回調(diào)機制/ 43
3.3　java api解析/ 44
3.3.1　作業(yè)配置與提交/ 44
3.3.2　inputformat接口的設計與實現(xiàn)/ 48
3.3.3　outputformat接口的設計與實現(xiàn)/ 53
3.3.4　mapper與reducer解析/ 55
3.3.5　partitioner接口的設計與實現(xiàn)/ 59
3.4　非java api解析/ 61
3.4.1　hadoop streaming的實現(xiàn)原理/ 61
3.4.2　hadoop pipes的實現(xiàn)原理/ 64
3.5　hadoop工作流/ 67
3.5.1　jobcontrol的實現(xiàn)原理/ 67
3.5.2　chainmapper/chainreducer的實現(xiàn)原理/ 69
3.5.3　hadoop工作流引擎/ 71
3.6　小結(jié)/ 73
第三部分　mapreduce核心設計篇
第4章　hadoop rpc框架解析/ 76
4.1　hadoop rpc框架概述/ 76
4.2　java基礎知識/ 77
4.2.1　java反射機制與動態(tài)代理/ 78
4.2.2　java網(wǎng)絡編程/ 80
4.2.3　java nio/ 82
4.3　hadoop rpc基本框架分析/ 89
4.3.1　rpc基本概念/ 89
4.3.2　hadoop rpc基本框架/ 91
4.3.3　集成其他開源rpc框架/ 98
4.4　mapreduce通信協(xié)議分析/ 100
4.4.1　mapreduce 通信協(xié)議概述/ 100
4.4.2　jobsubmissionprotocol通信協(xié)議/ 102
4.4.3　intertrackerprotocol通信協(xié)議/ 102
4.4.4　taskumbilicalprotocol通信協(xié)議/ 103
4.4.5　其他通信協(xié)議/ 104
4.5　小結(jié)/ 106
第5章　作業(yè)提交與初始化過程分析/ 107
5.1　作業(yè)提交與初始化概述/ 107
5.2　作業(yè)提交過程詳解/ 108
5.2.1　執(zhí)行shell命令/ 108
5.2.2　作業(yè)文件上傳/ 109
5.2.3　產(chǎn)生inputsplit文件/ 111
5.2.4　作業(yè)提交到jobtracker/ 113
5.3　作業(yè)初始化過程詳解/ 115
5.4　hadoop distributedcache原理分析/ 117
5.4.1　使用方法介紹/ 118
5.4.2　工作原理分析/ 120
5.5　小結(jié)/ 122
第6章　jobtracker內(nèi)部實現(xiàn)剖析/ 123
6.1　jobtracker概述/ 123
6.2　jobtracker啟動過程分析/ 125
6.2.1　jobtracker啟動過程概述/ 125
6.2.2　重要對象初始化/ 125
6.2.3　各種線程功能/ 128
6.2.4　作業(yè)恢復/ 129
6.3　心跳接收與應答/ 129
6.3.1　更新狀態(tài)/ 131
6.3.2　下達命令/ 131
6.4　job和task運行時信息維護/ 134
6.4.1　作業(yè)描述模型/ 134
6.4.2　jobinprogress/ 136
6.4.3　taskinprogress/ 137
6.4.4　作業(yè)和任務狀態(tài)轉(zhuǎn)換圖/ 139
6.5　容錯機制/ 141
6.5.1　jobtracker容錯/ 141
6.5.2　tasktracker容錯/ 142
6.5.3　job/task容錯/ 145
6.5.4　record容錯/ 147
6.5.5　磁盤容錯/ 151
6.6　任務推測執(zhí)行原理/ 152
6.6.1　計算模型假設/ 153
6.6.2　1.0.0版本的算法/ 153
6.6.3　0.21.0版本的算法/ 154
6.6.4　2.0版本的算法/ 156
6.7　hadoop資源管理/ 157
6.7.1　任務調(diào)度框架分析/ 159
6.7.2　任務選擇策略分析/ 162
6.7.3　fifo調(diào)度器分析/ 164
6.7.4　hadoop資源管理優(yōu)化/ 165
6.8　小結(jié)/ 168
第7章　tasktracker內(nèi)部實現(xiàn)剖析/ 169
7.1　tasktracker概述/ 169
7.2　tasktracker啟動過程分析/ 170
7.2.1　重要變量初始化/ 171
7.2.2　重要對象初始化/ 171
7.2.3　連接jobtracker/ 172
7.3　心跳機制/ 172
7.3.1　單次心跳發(fā)送/ 172
7.3.2　狀態(tài)發(fā)送/ 175
7.3.3　命令執(zhí)行/ 178
7.4　tasktracker行為分析/ 179
7.4.1　啟動新任務/ 179
7.4.2　提交任務/ 179
7.4.3　殺死任務/ 181
7.4.4　殺死作業(yè)/ 182
7.4.5　重新初始化/ 184
7.5　作業(yè)目錄管理/ 184
7.6　啟動新任務/ 186
7.6.1　任務啟動過程分析/ 186
7.6.2　資源隔離機制/ 193
7.7　小結(jié)/ 195
第8章　task運行過程分析/ 196
8.1　task運行過程概述/ 196
8.2　基本數(shù)據(jù)結(jié)構和算法/ 197
8.2.1　ifile存儲格式/ 197
8.2.2　排序/ 198
8.2.3　reporter/ 201
8.3　map task內(nèi)部實現(xiàn)/ 204
8.3.1　map task整體流程/ 204
8.3.2　collect過程分析/ 205
8.3.3　spill過程分析/ 213
8.3.4　combine過程分析/ 214
8.4　reduce task內(nèi)部實現(xiàn)/ 214
8.4.1　reduce task整體流程/ 215
8.4.2　shuffle和merge階段分析/ 215
8.4.3　sort和reduce階段分析/ 218
8.5　map/reduce task優(yōu)化/ 219
8.5.1　參數(shù)調(diào)優(yōu)/ 219
8.5.2　系統(tǒng)優(yōu)化/ 220
8.6　小結(jié)/ 224
第四部分　mapreduce高級篇
第9章　hadoop性能調(diào)優(yōu)/ 228
9.1　概述/ 228
9.2　從管理員角度進行調(diào)優(yōu)/ 229
9.2.1　硬件選擇/ 229
9.2.2　操作系統(tǒng)參數(shù)調(diào)優(yōu)/ 229
9.2.3　jvm參數(shù)調(diào)優(yōu)/ 230
9.2.4　hadoop參數(shù)調(diào)優(yōu)/ 230
9.3　從用戶角度進行調(diào)優(yōu)/ 235
9.3.1　應用程序編寫規(guī)范/ 235
9.3.2　作業(yè)級別參數(shù)調(diào)優(yōu)/ 235
9.3.3　任務級別參數(shù)調(diào)優(yōu)/ 239
9.4　小結(jié)/ 240
第10章　hadoop多用戶作業(yè)調(diào)度器/ 241
10.1　多用戶調(diào)度器產(chǎn)生背景/ 241
10.2　hod/ 242
10.2.1　torque資源管理器/ 242
10.2.2　hod作業(yè)調(diào)度/ 243
10.3　hadoop隊列管理機制/ 245
10.4　capacity scheduler實現(xiàn)/ 246
10.4.1　capacity scheduler功能介紹/ 247
10.4.2　capacity scheduler實現(xiàn)/ 249
10.4.3　多層隊列調(diào)度/ 254
10.5　fair scheduler實現(xiàn)/ 255
10.5.1　fair scheduler功能介紹/ 255
10.5.2　fair scheduler實現(xiàn)/ 258
10.5.3　fair scheduler與capacity scheduler對比/ 263
10.6　其他hadoop調(diào)度器介紹/ 264
10.7　小結(jié)/ 265
第11章　hadoop安全機制/ 266
11.1　hadoop安全機制概述/ 266
11.1.1　hadoop面臨的安全問題/ 266
11.1.2　hadoop對安全方面的需求/ 267
11.1.3　hadoop安全設計基本原則/ 267
11.2　基礎知識/ 268
11.2.1　安全認證機制/ 268
11.2.2　kerberos介紹/ 270
11.3　hadoop安全機制實現(xiàn)/ 273
11.3.1　rpc/ 273
11.3.2　hdfs/ 276
11.3.3　mapreduce/ 278
11.3.4　上層服務/ 280
11.4　應用場景總結(jié)/ 281
11.4.1　文件存取/ 281
11.4.2　作業(yè)提交與運行/ 282
11.4.3　上層中間件訪問hadoop/ 282
11.5　小結(jié)/ 283
第12章　下一代mapreduce框架/ 284
12.1　第一代mapreduce框架的局限性/ 284
12.2　下一代mapreduce框架概述/ 284
12.2.1　基本設計思想/ 284
12.2.2　資源統(tǒng)一管理平臺/ 286
12.3　apache yarn/ 287
12.3.1　apache yarn基本框架/ 287
12.3.2　apache yarn工作流程/ 290
12.3.3　apache yarn設計細節(jié)/ 291
12.3.4　mapreduce與yarn結(jié)合/ 294
12.4　facebook corona / 298
12.4.1　facebook corona基本框架/ 298
12.4.2　facebook corona工作流程/ 300
12.4.3　yarn與corona對比/ 303
12.5　apache mesos/ 304
12.5.1　apache mesos基本框架/ 304
12.5.2　apache mesos資源分配/ 305
12.5.3　mapreduce與mesos結(jié)合/ 307
12.6　小結(jié)/ 309
附錄a　安裝hadoop過程中可能存在的問題及解決方案/ 310
附錄b　hadoop默認http端口號以及http地址/ 312
參考資料/ 313