ElasticSearch是一個(gè)開(kāi)源的分布式搜索引擎，具有高可靠性，支持非常多的企業(yè)級(jí)搜索用例。Elasticsearch Hadoop作為一個(gè)完美的工具，用來(lái)連接 Elasticsearch 和 Hadoop 的生態(tài)系統(tǒng)。通過(guò)Kibana技術(shù)，Elasticsearch Hadoop很容易從Hadoop 生態(tài)系統(tǒng)中獲得大數(shù)據(jù)分析的結(jié)果。 本書(shū)全面介紹Elasticsearch Hadoop技術(shù)用于大數(shù)據(jù)分析以及數(shù)據(jù)可視化的方法。內(nèi)容共分7章，包括Hadoop、Elasticsearch、 Marvel和 Kibana 安裝；通過(guò)編寫(xiě) MapReduce 作業(yè)，把Hadoop數(shù)據(jù)導(dǎo)入 Elasticsearch；全面分析 Elasticsearch本質(zhì)，如全文本搜索分析、 查詢(xún)、 篩選器和聚合；使用 Kibana創(chuàng)建各種可視化和交互式儀表板，并使用Storm和 Elasticsearch分類(lèi)現(xiàn)實(shí)世界的流數(shù)據(jù)以及相關(guān)的其他主題。 本書(shū)適合從事大數(shù)據(jù)分析人員、大數(shù)據(jù)應(yīng)用開(kāi)發(fā)的人員參考，也適合高等院校及培訓(xùn)機(jī)構(gòu)相關(guān)專(zhuān)業(yè)的師生教學(xué)參考。

目錄

第1章 環(huán)境部署 1

1.1 安裝部署Hadoop集群 1

Java安裝和配置 2

用戶(hù)添加和配置 2

SSH認(rèn)證配置 3

Hadoop下載 4

環(huán)境變量配置 4

Hadoop配置 5

配置core-site.xml 6

配置hdfs-site.xml 6

配置yarn-site.xml 6

配置mapred-site.xml 7

格式化HDFS 7

啟動(dòng)Hadoop進(jìn)程 8

1.2 安裝Elasticsearch及相關(guān)插件 8

下載Elasticsearch 9

配置Elasticsearch 9

安裝Head插件 11

安裝Marvel插件 11

啟動(dòng)Elasticsearch 12

1.3 運(yùn)行WordCount示例 13

下載編譯示例程序 13

將示例文件上傳到HDFS 13

運(yùn)行第一個(gè)作業(yè) 14

1.4 使用Head 和 Marvel瀏覽數(shù)據(jù) 16

使用Head瀏覽數(shù)據(jù) 16

初識(shí)Marvel 18

使用Sense瀏覽數(shù)據(jù) 19

小結(jié) 21

第2章 初識(shí)ES-Hadoop 22

2.1 理解WordCount程序 23

理解Mapper 23

理解Reducer 24

理解Driver 25

使用舊的API——org.apache.hadoop.mapred 28

2.2 實(shí)際案例——網(wǎng)絡(luò)數(shù)據(jù)監(jiān)控 28

獲取并理解數(shù)據(jù) 28

明確問(wèn)題 29

解決方案 30

解決方案1——預(yù)聚合結(jié)果 30

解決方案2——直接查詢(xún)聚合結(jié)果 32

2.3 開(kāi)發(fā)MapReduce作業(yè) 33

編寫(xiě)Mapper類(lèi) 34

編寫(xiě)Driver 37

編譯作業(yè) 38

上傳數(shù)據(jù)到HDFS 41

運(yùn)行作業(yè) 41

查看TOP N結(jié)果 42

2.4 將數(shù)據(jù)從Elasticsearch寫(xiě)回HDFS 44

了解Twitter數(shù)據(jù)集 44

導(dǎo)入Elasticsearch 45

創(chuàng)建MapReduce作業(yè) 46

編寫(xiě)Tweets2HdfsMapper 46

運(yùn)行示例 50

確認(rèn)輸出 50

小結(jié) 52

第3章 深入理解Elasticsearch 53

3.1 理解搜索 53

觀念轉(zhuǎn)換 54

索引 54

類(lèi)型 55

文檔 55

字段 55

3.2 與Elasticsearch交互 56

Elasticsearch的CRUD 56

創(chuàng)建文檔 56

獲取文檔 57

更新文檔 58

刪除文檔 58

創(chuàng)建索引 58

映射 59

數(shù)據(jù)類(lèi)型 60

創(chuàng)建映射 61

索引模板 62

3.3 控制索引過(guò)程 63

什么是反轉(zhuǎn)索引 63

輸入數(shù)據(jù)分析 64

停止詞 64

大小寫(xiě) 65

詞根 65

同義詞 65

分析器 65

3.4 Elastic查詢(xún) 67

編寫(xiě)查詢(xún)語(yǔ)句 68

URI查詢(xún) 68

match_all查詢(xún) 68

term查詢(xún) 68

boolean查詢(xún) 70

match查詢(xún) 71

range查詢(xún) 72

wildcard查詢(xún) 73

過(guò)濾器 73

3.5 聚合查詢(xún) 75

執(zhí)行聚合查詢(xún) 76

terms聚合 76

histogram聚合 78

range聚合 78

geo distance聚合 79

嵌套聚合 81

自測(cè)題 82

小結(jié) 82

第4章 利用Kibana進(jìn)行大數(shù)據(jù)可視化 83

4.1 安裝部署 83

Kibana安裝 84

準(zhǔn)備數(shù)據(jù) 84

自測(cè)題 85

啟動(dòng)Kibana 86

4.2 數(shù)據(jù)發(fā)現(xiàn) 87

4.3 數(shù)據(jù)可視化 90

餅圖 91

堆積柱狀圖 94

使用堆積柱狀圖完成日期直方圖 96

面積圖 97

餅圖組圖 98

環(huán)形圖 98

瓦片地圖 99

自測(cè)題 100

4.4 動(dòng)態(tài)圖表 101

小結(jié) 104

第5章 實(shí)時(shí)分析 105

5.1 了解Twitter趨勢(shì)分析器 105

實(shí)現(xiàn)目標(biāo) 106

Apache Storm安裝 107

5.2 將流式數(shù)據(jù)接入Storm 107

編寫(xiě)Storm spout 108

編寫(xiě)Storm bolt 110

創(chuàng)建Storm topology 112

編譯運(yùn)行Storm作業(yè) 113

5.3 趨勢(shì)分析 114

significant term聚合 114

使用Kibana分析趨勢(shì) 116

5.4 使用Percolator對(duì)推文分類(lèi) 117

Percolator 118

Percolator優(yōu)化 120

推文分類(lèi) 121

小結(jié) 124

第6章 ES-Hadoop配置 125

6.1 分布式環(huán)境中的Elasticsearch 125

集群和節(jié)點(diǎn) 126

節(jié)點(diǎn)類(lèi)型 126

節(jié)點(diǎn)發(fā)現(xiàn) 128

數(shù)據(jù)分布 129

分片 129

副本 129

分片分配 130

6.2 ES-Hadoop架構(gòu) 132

動(dòng)態(tài)并行 132

寫(xiě)入Elasticsearch 133

從Elasticsearch中讀取 134

失敗捕獲 134

數(shù)據(jù)本地化 135

6.3 生產(chǎn)環(huán)境配置 135

硬件 135

內(nèi)存 135

CPU 135

磁盤(pán) 136

網(wǎng)絡(luò) 136

集群安裝 137

集群拓?fù)浣Y(jié)構(gòu) 137

設(shè)置名稱(chēng) 138

設(shè)置路徑 138

設(shè)置內(nèi)存 139

腦裂問(wèn)題 140

設(shè)置恢復(fù)參數(shù) 141

預(yù)設(shè)配置 142

數(shù)據(jù)導(dǎo)入 142

全文檢索 144

快速聚合 144

生產(chǎn)環(huán)境部署檢查列表 145

6.4 集群管理 146

監(jiān)控集群健康 146

備份和恢復(fù) 149

數(shù)據(jù)備份 149

數(shù)據(jù)恢復(fù) 150

小結(jié) 151

第7章 與Hadoop生態(tài)系統(tǒng)集成 152

7.1 與Pig集成 152

Pig安裝 154

向Elasticsearch中導(dǎo)入數(shù)據(jù) 155

從JSON源寫(xiě)數(shù)據(jù) 157

類(lèi)型轉(zhuǎn)換 157

從Elasticsearch中讀取數(shù)據(jù) 158

7.2 與Hive集成 158

安裝Apache Hive 158

向Elasticsearch中導(dǎo)入數(shù)據(jù) 159

從JSON源寫(xiě)數(shù)據(jù) 161

類(lèi)型轉(zhuǎn)換 161

從Elasticsearch中讀取數(shù)據(jù) 162

7.3 與Cascading集成 163

向Elasticsearch中導(dǎo)入數(shù)據(jù) 163

編寫(xiě)一個(gè)Cascading作業(yè) 163

運(yùn)行作業(yè) 164

從Elasticsearch中讀取數(shù)據(jù) 165

編寫(xiě)一個(gè)reader作業(yè) 165

使用Lingual 165

7.4 與Spark集成 167

安裝Spark 168

向Elasticsearch中導(dǎo)入數(shù)據(jù) 168

使用SparkSQL向Elasticsearch中導(dǎo)入數(shù)據(jù) 169

從Elasticsearch中讀取數(shù)據(jù) 170

使用SparkSQL從Elasticsearch中讀取數(shù)據(jù) 170

7.5 與YARN集成 171

小結(jié) 172

附錄 配置 174

基本配置 174

es.resource 174

es.resource.read 174

es.resource.write 175

es.nodes 175

es.port 175

讀寫(xiě)配置 175

es.query 175

es.input.json 176

es.write.operation 177

es.update.script 177

es.update.script.lang 177

es.update.script.params 177

es.update.script.params.json 178

es.batch.size.bytes 178

es.batch.size.entries 178

es.batch.write.refresh 178

es.batch.write.retry.count 178

es.batch.write.retry.wait 179

es.ser.reader.value.class 179

es.ser.writer.value.class 179

es.update.retry.on.conflict 179

映射配置 179

es.mapping.id 179

es.mapping.parent 180

es.mapping.version 180

es.mapping.version.type 180

es.mapping.routing 180

es.mapping.ttl 180

es.mapping.timestamp 181

es.mapping.date.rich 181

es.mapping.include 181

es.mapping.exclude 181

索引配置 181

es.index.auto.create 181

es.index.read.missing.as.empty 182

es.field.read.empty.as.null 182

es.field.read.validate.presence 182

網(wǎng)絡(luò)配置 182

es.nodes.discovery 182

es.nodes.client.only 183

es.http.timeout 183

es.http.retries 183

es.scroll.keepalive 183

es.scroll.size 183

es.action.heart.beat.lead 183

認(rèn)證配置 184

es.net.http.auth.user 184

es.net.http.auth.pass 184

SSL配置 184

es.net.ssl 184

es.net.ssl.keystore.location 184

es.net.ssl.keystore.pass 184

es.net.ssl.keystore.type 184

es.net.ssl.truststore.location 184

es.net.ssl.truststore.pass 185

es.net.ssl.cert.allow.self.signed 185

es.net.ssl.protocol 185

es.scroll.size 185

代理配置 185

es.net.proxy.http.host 185

es.net.proxy.http.port 185

es.net.proxy.http.user 185

es.net.proxy.http.pass 186

es.net.proxy.http.use.system.props 186

es.net.proxy.socks.host 186

es.net.proxy.socks.port 186

es.net.proxy.socks.user 186

es.net.proxy.socks.pass 186

es.net.proxy.socks.use.system.props 186