對大數(shù)據(jù)的搜索與挖掘，在當今網(wǎng)絡時代是很有必要的。本書提出的分布式大數(shù)據(jù)搜索與日志挖掘及可視化解決方案是基于Elasticsearch、Logstash和Kibana而形成的，它能有效應對海量大數(shù)據(jù)所帶來的分布式存儲與處理、全文檢索、日志挖掘、可視化等的挑戰(zhàn)。構(gòu)建在全文檢索開源軟件Lucene之上的Elasticsearch，不僅能對海量規(guī)模的數(shù)據(jù)完成分布式索引與檢索，還能提供數(shù)據(jù)聚合分析；Logstash能有效處理來源于各種不同數(shù)據(jù)源的日志信息；Kibana能得出可視化分析結(jié)果。本書講解有關(guān)Elasticsearch、Logstash、Kibana的使用，相關(guān)內(nèi)容以模塊化的方式進行組織，注重實戰(zhàn)，強調(diào)實踐，內(nèi)容新穎，組織合理。

目錄
2015年5月第1章概述
1.1Elasticsearch的安裝與簡單配置
1.2走近Elasticsearch
1.2.1Elasticsearch是什么
1.2.2Elasticsearch中涉及到的相關(guān)概念
1.2.3Elasticsearch API的簡單使用方式
1.2.4Elasticsearch RTF版本中的部分插件簡介
1.2.5Elasticsearch 基本架構(gòu)
1.3Elasticsearch索引及其構(gòu)建
1.3.1概述
1.3.2借助Head工具構(gòu)建索引
1.3.3Mapping簡述
1.4信息檢索及其構(gòu)建
1.5實例
1.6擴展知識與閱讀
1.7本章小結(jié)
第2章文檔索引及管理
2.1文檔索引概述
2.2建立索引
2.3通過映像Mapping配置索引
2.3.1在索引中使用映像
2.3.2管理/配置映像
2.3.3獲取映像信息
2.3.4刪除映像
2.4管理索引文件
2.4.1打開、關(guān)閉、檢測、刪除索引文件
2.4.2清空索引緩存
2.4.3刷新索引數(shù)據(jù)
[1][2][1][3]2.4.4優(yōu)化索引數(shù)據(jù)
2.4.5Flush操作
2.5設置中文分詞器
2.6對文檔的其他操作
2.6.1獲取指定的文檔信息
2.6.2刪除文檔中的信息
2.6.3數(shù)據(jù)更新
2.6.4基于POST方式批量獲取文檔
2.6.5刪除部分文檔
2.7擴展知識與閱讀
2.8本章小結(jié)
第3章信息檢索與結(jié)果過濾
3.1實驗數(shù)據(jù)集描述
3.2簡單檢索
3.3基本檢索
3.3.1設置不同字段的排序權(quán)重
3.3.2指定返回的字段子集
3.3.3Term查詢、Terms查詢、Wildcard通配符查詢
3.3.4Match、Match_all、Match_phrase查詢
3.3.5Query_string查詢
3.3.6Prefix、Range查詢
3.3.7More_like_this、Fuzzy_like_this查詢
3.3.8跨字段檢索
3.4Filter概述
3.5常用Filter及其應用
3.5.1And Filter及Or Filter
3.5.2Bool Filter
3.5.3Exists Filter和Missing Filter
3.5.4Type Filter
3.5.5Match_all Filter
3.5.6Not Filter
3.5.7Query Filter
3.6復合查詢
3.7結(jié)果排序
3.8擴展知識與閱讀
3.9本章小結(jié)
第4章信息統(tǒng)計分析與搜索提示
4.1Facets概述
4.2各種不同的Facets統(tǒng)計
4.2.1Terms Facets: 指定字段的分布情況統(tǒng)計
4.2.2Range Facets: 在某個范圍的分布情況統(tǒng)計
4.2.3Histogram Facets
4.2.4Date_histogram Facets
4.2.5Statistical Facets
4.2.6Terms_stats Facets
4.3Aggregations
4.3.1概述
4.3.2最值、求和、均值統(tǒng)計
4.3.3Stats Aggregations及Extended Stats Aggregations
4.3.4Terms Aggregations
4.3.5Range Aggregations
4.3.6Date_range Aggregations
4.3.7Histogram Aggregations
4.3.8Date_histogram Aggregations
4.3.9Filter Aggregations
4.3.10Missing Aggregations
4.4搜索提示
4.5擴展知識與閱讀
4.6本章小結(jié)
第5章Elasticsearch部分功能的Java客戶端實現(xiàn)
5.1Elasticsearch節(jié)點實例化
5.1.1通過Maven添加對Elasticsearch依賴
5.1.2初始化Elasticsearch Client
5.2索引數(shù)據(jù)
5.2.1準備JSON數(shù)據(jù)
5.2.2索引JSON數(shù)據(jù)
5.3對索引文檔的操作
5.3.1獲取索引文檔
5.3.2刪除索引文檔
5.3.3更新索引文檔
5.3.4批量操作索引文件
5.3.5簡單的統(tǒng)計操作
5.4信息檢索
5.4.1概述
5.4.2MultiSearch
5.4.3Query DSL概述
5.4.4MatchQuery
5.4.5MatchAllQuery
5.4.6MultiMatchQuery
5.4.7BoolQuery
5.4.8TermQuery
5.4.9WildcardQuery
5.4.10QueryString
5.4.11MoreLikeThis
5.4.12Filter概述
5.4.13TermFilter
5.4.14ExistsFilter
5.4.15MatchAllFilter
5.4.16QueryFilter
5.4.17RangeFilter
5.4.18TypeFilter
5.4.19過濾器間的組合: BoolFilter、NotFilter、OrFilter、AndFilter
5.5統(tǒng)計分析
5.5.1Facets
5.5.2Aggregations
5.6對檢索結(jié)果的進一步處理
5.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)
5.6.2基于Scroll方法的檢索結(jié)果及其分頁
5.6.3高亮顯示檢索詞
5.7擴展知識與閱讀
5.8本章小結(jié)
第6章Elasticsearch配置與集群管理
6.1Elasticsearch部分基本配置及其說明
6.2提高索引和查詢效率的策略
6.3監(jiān)控集群狀態(tài)
6.4控制索引分片與副本分配
6.5擴展知識與閱讀
6.6本章小結(jié)
第7章基于Logstash的日志處理
7.1概述
7.2Input: 處理輸入的日志數(shù)據(jù)
7.2.1處理基于File方式輸入的日志信息
7.2.2處理基于Generator產(chǎn)生的日志信息
7.2.3處理基于Log4j的日志信息
7.2.4處理基于Redis的日志信息
7.2.5處理基于Stdin方式輸入的信息
7.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)
7.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)
7.3Codecs: 格式化日志數(shù)據(jù)
7.3.1JSON格式
7.3.2Rubydebug格式
7.3.3Plain格式
7.4基于Filter的日志處理與轉(zhuǎn)換
7.4.1JSON Filter
7.4.2Grok Filter
7.4.3Kv Filter
7.5Output: 處理輸出的日志數(shù)據(jù)
7.5.1將處理后的日志輸出到Elasticsearch中
7.5.2將處理后的日志輸出至文件中
7.5.3將處理后的部分日志輸出到csv格式的文件中
7.5.4將處理后的日志輸出到redis中
7.5.5將處理后的部分日志通過UDP協(xié)議輸出
7.5.6將處理后的部分日志通過TCP協(xié)議輸出
7.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中
7.6擴展知識與閱讀
7.7本章小結(jié)
第8章基于Kibana的數(shù)據(jù)分析可視化
8.1安裝Kibana
8.2Kibana概述
8.2.1在儀表盤上添加新行
8.2.2在行中添加新面板
8.2.3設置Query和Filtering
8.3常用面板類型
8.3.1Histogram
8.3.2Table
8.3.3Map和Bettermap
8.3.4Terms
8.3.5Text
8.3.6Sparklines
8.3.7Trends
8.4網(wǎng)站性能監(jiān)控可視化應用的設計與實現(xiàn)
8.4.1概述
8.4.2Page View
8.4.3響應/請求時間
8.4.4流量走勢與統(tǒng)計
8.4.5狀態(tài)碼監(jiān)控
8.4.6UA行
8.5Kibana V4簡介
8.5.1新建視圖
8.5.2建立Dashboard
8.5.3配置
8.6擴展知識與閱讀
8.7本章小結(jié)
第9章網(wǎng)絡信息檢索與分析實踐
9.1信息采集
9.2基于Python的信息檢索及Web端設計
9.2.1安裝Python及Django
9.2.2安裝Elasticsearch的Python插件
9.2.3Web頁面設計
9.3基于Logstash的日志處理
9.3.1安裝和配置Nginx
9.3.2設計面向日志文件的Pattern
9.3.3在Logstash中進行相關(guān)配置
9.4基于Kibana的日志分析結(jié)果可視化設計與實現(xiàn)
9.4.1圖表1: 狀態(tài)碼走勢分析
9.4.2圖表2: 查詢詞分析
9.4.3圖表3: 分析各狀態(tài)碼隨時間的變遷情況
9.4.4集成上述圖表
9.5擴展知識與閱讀
9.6本章小結(jié)
參考文獻