ELK 技術(shù)棧是一套新興的日志處理開源系統(tǒng)，ELK 分別代表Elasticsearch、Logstash 和Kibana。Elasticsearch 是基于Lucene 構(gòu)建的一套分布式搜索引擎，提供了實時搜索和聚合分析的能力，是整個ELK技術(shù)棧的核心。Logstash 構(gòu)建了數(shù)據(jù)采集、解析和輸出的框架，通過插件可以支持不同的輸入、過濾和輸出的場景。Kibaba 實現(xiàn)了對Elasticsearch 的搜索查詢和數(shù)據(jù)可視化。三者組合起來是一套經(jīng)過很多生產(chǎn)環(huán)境驗證的日志解決方案。《Learning ELK Stack 中文版》針對ELK 技術(shù)棧由淺入深地對每個組件做了介紹，并且通過實際的部署和應(yīng)用案例，真正地講清楚了如何利用ELK 技術(shù)棧來實現(xiàn)日志數(shù)據(jù)的完整管道。

目錄

前言 . XIII
1 EKL 技術(shù)棧介紹 1
日志分析的必要性 1
問題調(diào)試 2
性能分析 2
安全分析 2
預(yù)測分析 2
物聯(lián)網(wǎng)日志 3
日志分析的挑戰(zhàn) 3
不一致的日志格式 3
不同的時間格式 4
專業(yè)知識的需求 5
ELK 技術(shù)棧 5
Elasticsearch 5
Logstash 6
Kibana 6
ELK 數(shù)據(jù)管道 7
安裝ELK 技術(shù)棧 8
安裝Elasticsearch 8
運行Elasticsearch 9
配置Elasticsearch 10
Elasticsearch 插件 11
安裝Logstash 11
運行Logstash 12
Logstash 的文件輸入插件 13
Logstash 的Elasticsearch 輸出插件 13
配置Logstash 14
安裝Logstash forworder 15
Logstash 插件 15
安裝Kibana 17
配置Kibana 18
運行Kibana 18
Kibana 的界面 19
總結(jié) 22
2 構(gòu)建第一條ELK 數(shù)據(jù)管道 23
輸入的數(shù)據(jù)集 23
輸入數(shù)據(jù)集的數(shù)據(jù)格式 23
配置Logstash 的輸入 25
過濾和處理輸入數(shù)據(jù) 26
將數(shù)據(jù)存儲到Elasticsearch 29
使用Kibana 可視化 32
運行Kibana 32
Kibana 可視化組件 34
構(gòu)建折線圖 35
構(gòu)建柱狀圖 36
構(gòu)建度量 37
構(gòu)建數(shù)據(jù)表 38
總結(jié) 40
3 使用Logstash 采集、解析和轉(zhuǎn)換數(shù)據(jù) 41
配置Logstash 41
Logstash 插件 42
列出Logstash 的所有插件 42
插件屬性的數(shù)據(jù)類型 43
Logstash 條件語句 44
Logstash 插件的類型 46
總結(jié) 72
4 創(chuàng)建自定義Logstash 插件 73
Logstash 插件管理 73
插件生命周期管理 74
安裝插件 74
更新插件 75
卸載插件 75
Logstash 插件的結(jié)構(gòu) 76
需要的依賴 77
類定義 78
配置插件名字 78
配置選項設(shè)置 78
插件方法 79
實現(xiàn)一個Logstash 過濾器插件 81
構(gòu)建插件 83
總結(jié) 86
5 為什么需要ELK 中的Elasticsearch 87
為什么是Elasticsearch 87
Elasticsearch 的基本概念 88
索引 88
文檔 88
字段 89
類型 89
映射 89
分片 89
主分片和副本分片 89
集群 90
節(jié)點 90
探索Elasticsearch API 91
列出所有可用索引 92
列出集群中的所有節(jié)點 93
檢查集群的健康狀態(tài) 93
創(chuàng)建索引 94
檢索文檔 95
刪除文檔 96
Elasticsearch Query DSL 97
Elasticsearch 插件 104
Bigdesk 插件 104
Elastic-Hammer 插件 105
Head 插件 105
總結(jié) 106
6 使用Kibana 理解數(shù)據(jù) 107
Kibana 4 的功能 107
搜索詞高亮顯示 107
Elasticsearch 聚合 108
衍生字段 108
動態(tài)儀表盤 108
Kibana 界面 109
搜索頁面 109
查詢和檢索數(shù)據(jù) 111
總結(jié) 116
7 Kibana 可視化和儀表盤 117
可視化頁面 117
創(chuàng)建可視化 118
可視化的類型 118
度量和桶聚合 119
可視化 124
儀表盤頁面 129
創(chuàng)建新的儀表盤 130
保存和加載儀表盤131
分享儀表盤 131
總結(jié) 132
8 構(gòu)建完整的ELK 技術(shù)棧 133
輸入數(shù)據(jù)集 133
配置Logstash 輸入 134
訪問日志的Grok 表達(dá)式 134
Kibana 可視化 137
運行Kibana 137
在搜索頁進(jìn)行搜索 139
可視化—圖表 141
創(chuàng)建折線圖 142
創(chuàng)建區(qū)域圖 143
創(chuàng)建柱狀圖 144
創(chuàng)建Markdown 145
儀表盤頁面 146
總結(jié) 147
9 生產(chǎn)環(huán)境的ELK 技術(shù)棧 149
防止數(shù)據(jù)丟失 149
數(shù)據(jù)保護(hù). 150
系統(tǒng)可擴(kuò)展性 152
數(shù)據(jù)保留 153
ELK 技術(shù)棧實施案例. 153
LinkedIn 的ELK 技術(shù)棧 153
SCA 使用ELK 的案例 156
SCA 如何使用ELK 157
如何幫助分析 157
SCA 使用ELK 做監(jiān)控 158
Cliffhanger Solutions 使用ELK 的案例 158
Kibana 示例——Packetbeat 儀表盤 160
總結(jié) 163
10 擴(kuò)展ELK 165
Elasticsearch 插件和工具 165
用于索引管理的Curator 165
用于安全的Shield 167
用于監(jiān)控的Marvel 169
ELK 的路線圖 172
Elasticsearch 路線圖 172
Logstash 路線圖 172
Kibana 路線圖 173
總結(jié) 174