《Spark：大數(shù)據(jù)集群計(jì)算的生產(chǎn)實(shí)踐》涵蓋了開發(fā)及維護(hù)生產(chǎn)級Spark應(yīng)用的各種方法、組件與有用實(shí)踐。全書分為6章，第1 ~ 2章幫助讀者深入理解Spark的內(nèi)部機(jī)制以及它們在生產(chǎn)流程中的含義；第3章和第5章闡述了針對配置參數(shù)的法則和權(quán)衡方案，用來調(diào)優(yōu)Spark，改善性能，獲得高可用性和容錯(cuò)性；第4章專門討論Spark應(yīng)用中的安全問題；第6章則全面介紹生產(chǎn)流，以及把一個(gè)應(yīng)用遷移到一個(gè)生產(chǎn)工作流中時(shí)所需要的各種組件，同時(shí)對Spark生態(tài)系統(tǒng)進(jìn)行了梳理。

《Spark：大數(shù)據(jù)集群計(jì)算的生產(chǎn)實(shí)踐》不會講述入門級內(nèi)容，讀者在閱讀前應(yīng)已具備Spark基本原理的知識?！禨park：大數(shù)據(jù)集群計(jì)算的生產(chǎn)實(shí)踐》適合Spark開發(fā)人員、Spark應(yīng)用的項(xiàng)目經(jīng)理，以及那些考慮將開發(fā)的Spark應(yīng)用程序遷移到生產(chǎn)環(huán)境的系統(tǒng)管理員（或者DevOps）閱讀。

目錄

第1章 成功運(yùn)行Spark job 1
安裝所需組件 2
-- 原生安裝Spark Standalone集群 3
分布式計(jì)算的發(fā)展史 3
-- 步入云時(shí)代 5
-- 理解資源管理 6
使用各種類型的存儲格式 9
-- 文本文件 11
-- Sequence文件 13
-- Avro文件 13
-- Parquet文件 13
監(jiān)控和度量的意義 14
-- Spark UI 14
-- Spark Standalone UI 17
-- Metrics REST API 17
-- Metrics System 18
-- 外部監(jiān)控工具 18
總結(jié) 19
第2章 集群管理 21
背景知識 23
Spark組件 26
-- Driver 27
-- workers與executors 28
-- 配置 30
Spark Standalone 33
-- 架構(gòu) 34
-- 單節(jié)點(diǎn)設(shè)置場景 34
-- 多節(jié)點(diǎn)設(shè)置 36
YARN 36
-- 架構(gòu) 38
-- 動(dòng)態(tài)資源分配 41
-- 場景 43
Mesos 45
-- 安裝 46
-- 架構(gòu) 47
-- 動(dòng)態(tài)資源分配 49
-- 基本安裝場景 50
比較 52
總結(jié) 56
第3章 性能調(diào)優(yōu) 59
Spark 執(zhí)行模型 60
分區(qū) 62
-- 控制并行度 62
-- 分區(qū)器 64
shuffle數(shù)據(jù) 65
-- shuffle與數(shù)據(jù)分區(qū) 67
-- 算子與shuffle 70
-- shuffle并不總是壞事 75
序列化 75
-- Kryo注冊器 77
Spark緩存 77
-- SparkSQL 緩存 81
內(nèi)存管理 82
-- 垃圾回收 83
共享變量 84
-- 廣播變量 85
-- 累加器 87
數(shù)據(jù)局部性 90
總結(jié) 91
第4章 安全 93
架構(gòu) 94
-- Security Manager 94
-- 設(shè)定配置 95
ACL 97
-- 配置 97
-- 提交job 98
-- Web UI 99
網(wǎng)絡(luò)安全 107
加密 108
事件日志 113
Kerberos 114
Apache Sentry 114
總結(jié) 115
第5章 容錯(cuò)或job執(zhí)行 117
Spark job的生命周期 118
-- Spark master 119
-- Spark driver 122
-- Spark worker 124
-- job生命周期 124
job調(diào)度 125
-- 應(yīng)用程序內(nèi)部調(diào)度 125
-- 用外部工具進(jìn)行調(diào)度 133
容錯(cuò) 135
-- 內(nèi)部容錯(cuò)與外部容錯(cuò) 136
-- SLA 137
-- RDD 138
-- Batch vs Streaming 145
-- 測試策略 148
-- 推薦配置 155
總結(jié) 158
第6章 超越Spark 159
數(shù)據(jù)倉庫 159
-- SparkSQL CLI 161
-- Thrift JDBC/ODBC服務(wù)器 162
-- Hive on Spark 162
機(jī)器學(xué)習(xí) 164
-- DataFrame 165
-- MLlib和ML 167
-- Mahout on Spark 174
-- Hivemall On Spark 175
外部的框架 176
-- Spark Package 177
-- XGBoost 179
-- spark-jobserver 179
未來的工作 182
-- 與參數(shù)服務(wù)器集成 184
-- 深度學(xué)習(xí) 192
Spark在企業(yè)中的應(yīng)用 200
-- 用Spark及Kafka收集用戶活動(dòng)日志 200
-- 用Spark做實(shí)時(shí)推薦 202
-- Twitter Bots的實(shí)時(shí)分類 204
總結(jié) 205