《Hadoop大數(shù)據(jù)處理技術(shù)基礎(chǔ)與實(shí)踐》全書共有12章，從Hadoop起源開始，介紹了Hadoop的安裝和配置，并對(duì)Hadoop的組件分別進(jìn)行了介紹，包括HDFS分布式存儲(chǔ)系統(tǒng)，MapReduce計(jì)算框架，海量數(shù)據(jù)庫(kù)HBase，Hive數(shù)據(jù)倉(cāng)庫(kù)，Pig、ZooKeeper管理系統(tǒng)等知識(shí)，最后對(duì)Hadoop實(shí)時(shí)數(shù)據(jù)處理技術(shù)作了簡(jiǎn)單介紹，旨在讓讀者了解當(dāng)前的其它的大數(shù)據(jù)處理技術(shù)。本書除了對(duì)Hadoop的理論進(jìn)行說明之外，還對(duì)如何使用各組件進(jìn)行了介紹，但介紹的只是基礎(chǔ)的使用，沒有涉及到底層的高級(jí)內(nèi)容，所以本書只是起一個(gè)引導(dǎo)作用，旨在讓讀者了解Hadoop并能夠使用Hadoop的基本功能，并不是學(xué)習(xí)Hadoop的完全手冊(cè)。

本書適用于高等院校的學(xué)生；是云計(jì)算專業(yè)、物聯(lián)網(wǎng)專業(yè)及云計(jì)算與大數(shù)據(jù)專業(yè)的核心基礎(chǔ)課程，也是計(jì)算機(jī)相關(guān)專業(yè)的一門新增專業(yè)課或選修課；適合于零售及云計(jì)算與大數(shù)據(jù)技術(shù)相關(guān)的培訓(xùn)班等使用。

目錄

Hadoop基礎(chǔ)與實(shí)踐
第1章Hadoop概述
1．1 Hadoop來源和動(dòng)機(jī)
1．2 Hadoop體系架構(gòu)
1．3 Hadoop與分布式開發(fā)
1．4 Hadoop行業(yè)應(yīng)用案例分析
1．4．1 Hadoop在門戶網(wǎng)站的應(yīng)用
1．4．2 Hadoop在搜索引擎中的應(yīng)用
1．4．3 Hadoop在電商平臺(tái)中的應(yīng)用
1．5小結(jié)
第2章Hadoop安裝與配置管理
2．1 實(shí)驗(yàn)準(zhǔn)備
2．2 配置一個(gè)單節(jié)點(diǎn)環(huán)境
2．2．1 運(yùn)行一個(gè)虛擬系統(tǒng)CentOS
2．2．2 配置網(wǎng)絡(luò)
2．2．3創(chuàng)建新的用戶組和用戶
2．2．4上傳文件到CentOS并配置Java、Hadoop環(huán)境
2．2．5 修改Hadoop2．2配置文件
2．2．6修改CentOS主機(jī)名
2．2．7綁定hostname與IP
2．2．8關(guān)閉防火墻
2．3節(jié)點(diǎn)之間的免密碼通信
2．3．1什么是SSH
2．3．2 拷貝虛擬機(jī)節(jié)點(diǎn)
2．3．3 配置SSH免密碼登錄
2．4 Hadoop的啟動(dòng)和測(cè)試
2．4．1 格式化文件系統(tǒng)
2．4．2啟動(dòng)HDFS
2．4．3 啟動(dòng)Yarn
2．4．4 管理JobHistory Server
2．4．5 集群驗(yàn)證
2．4．6 需要了解的默認(rèn)配置
2．5動(dòng)態(tài)管理節(jié)點(diǎn)
2．5．1 動(dòng)態(tài)增加和刪除datanode
2．5．2 動(dòng)態(tài)修改TaskTracker
2．6小結(jié)
第3章HDFS技術(shù)
3．1HDFS的特點(diǎn)
3．2HDFS架構(gòu)
3．2．1數(shù)據(jù)塊
3．2．2元數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)
3．2．3輔助元數(shù)據(jù)節(jié)點(diǎn)
3．2．4安全模式
3．2．5負(fù)載均衡
3．2．6垃圾回收
3．3HDFS Shell命令
3．3．1文件處理命令
3．3．2dfsadmin命令
3．3．3namenode命令
3．3．4fsck命令
3．3．5pipes命令
3．3．6job命令
3．4HDFS中Java API的使用
3．4．1上傳文件
3．4．2新建文件
3．4．3查看文件詳細(xì)信息
3．4．4下載文件
3．5RPC通信
3．5．1反射機(jī)制
3．5．2代理模式與動(dòng)態(tài)代理
3．5．3Hadoop RPC機(jī)制與源碼分析
3．6小結(jié)
第4章Map/Reduce技術(shù)
4．1 什么是Map/Reduce
4．2 Map/Reduce編程模型
4．2．1 MapReduce編程模型簡(jiǎn)介
4．2．2 Map/Reduce簡(jiǎn)單模型
4．2．3 Map/Reduce復(fù)雜模型
4．2．4 Map/Reduce編程實(shí)例–WordCount
4．3 Map/Reduce數(shù)據(jù)流
4．3．1分片、格式化數(shù)據(jù)源（InputFormat）
4．3．2 Map過程
4．3．3 Shuffle過程
4．3．4 Reduce過程
4．3．5文件寫入（OutputFormat）
4．4 Map/Reduce任務(wù)流程
4．4．1 MRv2基本組成
4．4．2 Yarn基本組成
4．4．3 任務(wù)流程
4．5 Map/Reduce的Streaming和Pipe
4．5．1 Hadoop Streaming
4．5．2 Hadoop Pipe
4．6 Map/Reduce性能調(diào)優(yōu)
4．7Map/Reduce實(shí)戰(zhàn)
4．7．1 快速入門
4．7．2簡(jiǎn)單使用Eclipse插件
4．8小結(jié)
第5章Hadoop I/O操作
5．1HDFS數(shù)據(jù)完整性
5．1．1校驗(yàn)和
5．1．2DataBlockScanner
5．2基于文件的數(shù)據(jù)結(jié)構(gòu)
5．2．1SequenceFile存儲(chǔ)
5．2．2MapFile
5．2．3SequenceFile轉(zhuǎn)換為MapFile
5．3壓縮
5．3．1Codec
5．3．2本地庫(kù)
5．3．3如何選擇壓縮格式
5．4序列化
5．4．1Writable接口
5．4．2WritableComparable
5．4．3Hadoop writable基本類型
5．4．4自定義writable類型
5．5小結(jié)
第6章海量數(shù)據(jù)庫(kù)HBase技術(shù)
6．1 初識(shí)HBase
6．2 HBase表視圖
6．2．1概念視圖
6．2．2物理視圖
6．3HBase物理存儲(chǔ)模型
6．4安裝HBase
6．4．1HBase單節(jié)點(diǎn)安裝
6．4．2HBase偽分布式安裝
6．4．3HBase完全分布式安裝
6．5HBaseShell
6．5．1general一般操作
6．5．2ddl操作
6．5．3dml操作
6．5．4小結(jié)
6．6小結(jié)
第7章ZooKeeper技術(shù)
7．1 分布式協(xié)調(diào)技術(shù)
7．2 實(shí)現(xiàn)者
7．3 角色
7．4 ZooKeeper數(shù)據(jù)模型
7．4．1Znode
7．4．2ZooKeeper中的時(shí)間
7．4．3ZooKeeper節(jié)點(diǎn)屬性
7．4．4watch觸發(fā)器
7．5 ZooKeeper集群安裝
7．6 ZooKeeper主要Shell操作
7．7 典型運(yùn)用場(chǎng)景
7．7．1數(shù)據(jù)發(fā)布與訂閱
7．7．2統(tǒng)一命名服務(wù)（Name Service）
7．7．3分布通知/協(xié)調(diào)（Distribution of notification/coordination）
7．8小結(jié)
第8章分布式數(shù)據(jù)倉(cāng)庫(kù)技術(shù)Hive
8．1 Hive出現(xiàn)原因
8．2 Hive服務(wù)組成
8．3 Hive安裝
8．3．1 Hive基本安裝
8．3．2 MySQL安裝
8．3．3 Hive配置
8．4 Hive Shell介紹
8．5HiveQL詳解
8．5．1 Hive管理數(shù)據(jù)方式
8．5．2 Hive表DDL操作
8．5．3 Hive表DML操作
8．6小結(jié)
第9章分布式數(shù)據(jù)分析工具Pig
9．1 Pig的安裝和配置
9．2 Pig基本概念
9．3 Pig保留關(guān)鍵字
9．4使用Pig
9．4．1 Pig命令行選項(xiàng)
9．4．2 Pig的兩種運(yùn)行模式
9．4．3 Pig相關(guān)Shell命令詳解
9．4．4Pig程序運(yùn)行方式
9．4．5 Pig輸入與輸出
9．5模式（Schemas）
9．6 Pig相關(guān)函數(shù)詳解
9．7小結(jié)
第10章 Hadoop與RDBMS數(shù)據(jù)遷移工具Sqoop
10．1 Sqoop基本安裝
10．2 Sqoop配置
10．3 Sqoop相關(guān)功能
10．4 Hive、Pig和Sqoop三者之間的關(guān)系
10．5小結(jié)
第11章Hadoop1．x與Hadoop2．x的比較
11．1 Hadoop發(fā)展歷程
11．2 Hadoop1．x與Hadoop2．x之間的差異
11．2．1 Hadoop1與Hadoop2體系結(jié)構(gòu)對(duì)比
11．2．2 Hadoop1與Hadoop2之間配置差異
11．2．3 Hadoop2的Yarn框架
11．2．4 HDFS聯(lián)邦機(jī)制（Federation）
11．3小結(jié)
第12章Hadoop實(shí)時(shí)數(shù)據(jù)處理技術(shù)
12．1 Storm-Yarn
12．1．1 Apache Storm組成結(jié)構(gòu)
12．1．2 Storm數(shù)據(jù)流
12．1．3 Storm-Yarn產(chǎn)生背景
12．1．4 Storm-Yarn功能介紹
12．2 Apache Spark
12．2．1 Apache Spark組成結(jié)構(gòu)
12．2．2 Apache Spark擴(kuò)展功能
12．3 Storm與Spark的比較
12．4小結(jié)
附錄一：使用Eclipse提交Hadoop任務(wù)相關(guān)錯(cuò)誤解決
附錄二：常用Pig內(nèi)置函數(shù)簡(jiǎn)介