前言 XIII
1 EKL 技术栈介绍 1
日志分析的必要性 1
问题调试 2
性能分析 2
安全分析 2
预测分析 2
物联网日志 3
日志分析的挑战 3
不一致的日志格式 3
不同的时间格式 4
专业知识的需求 5
ELK 技术栈 5
Elasticsearch 5
Logstash 6
Kibana 6
ELK 数据管道 7
安装 ELK 技术栈 8
安装 Elasticsearch 8
运行 Elasticsearch 9
配置 Elasticsearch 10
Elasticsearch 插件 11
安装 Logstash 11
运行 Logstash 12
Logstash 的文件输入插件 13
Learning ELK stack(中文版)
【VIII】
Logstash 的 Elasticsearch 输出插件 13
配置 Logstash 14
安装 Logstash forworder 15
Logstash 插件 15
安装 Kibana 17
配置 Kibana 18
运行 Kibana 18
Kibana 的界面 19
总结 22
2 构建第一条 ELK 数据管道 23
输入的数据集 23
输入数据集的数据格式 23
配置 Logstash 的输入 25
过滤和处理输入数据 26
将数据存储到 Elasticsearch 29
使用 Kibana 可视化 32
运行 Kibana 32
Kibana 可视化组件 34
构建折线图 35
构建柱状图 36
构建度量 37
构建数据表 38
总结 40
3 使用 Logstash 采集、解析和转换数据 41
配置 Logstash 41
Logstash 插件 42
列出 Logstash 的所有插件 42
插件属性的数据类型 43
Logstash 条件语句 44
Logstash 插件的类型 46
总结 72
目录
【IX】
4 创建自定义 Logstash 插件 73
Logstash 插件管理 73
插件生命周期管理 74
安装插件 74
更新插件 75
卸载插件 75
Logstash 插件的结构 76
需要的依赖 77
类定义 78
配置插件名字 78
配置选项设置 78
插件方法 79
实现一个 Logstash 过滤器插件 81
构建插件 83
总结 86
5 为什么需要 ELK 中的 Elasticsearch 87
为什么是 Elasticsearch 87
Elasticsearch 的基本概念 88
索引 88
文档 88
字段 89
类型 89
映射 89
分片 89
主分片和副本分片 89
集群 90
节点 90
探索 Elasticsearch API 91
列出所有可用索引 92
列出集群中的所有节点 93
检查集群的健康状态 93
Learning ELK stack(中文版)
【X】
创建索引 94
检索文档 95
删除文档 96
Elasticsearch Query DSL 97
Elasticsearch 插件 104
Bigdesk 插件 104
Elastic-Hammer 插件 105
Head 插件 105
总结 106
6 使用 Kibana 理解数据 107
Kibana 4 的功能 107
搜索词高亮显示 107
Elasticsearch 聚合 108
衍生字段 108
动态仪表盘 108
Kibana 界面 109
搜索页面 109
查询和检索数据 111
总结 116
7 Kibana 可视化和仪表盘 117
可视化页面 117
创建可视化 118
可视化的类型 118
度量和桶聚合 119
可视化 124
仪表盘页面 129
创建新的仪表盘 130
保存和加载仪表盘 131
分享仪表盘 131
总结 132
目录
【XI】
8 构建完整的 ELK 技术栈 133
输入数据集 133
配置 Logstash 输入 134
访问日志的 Grok 表达式 134
Kibana 可视化 137
运行 Kibana 137
在搜索页进行搜索 139
可视化―图表 141
创建折线图 142
创建区域图 143
创建柱状图 144
创建 Markdown 145
仪表盘页面 146
总结 147
9 生产环境的 ELK 技术栈 149
防止数据丢失 149
数据保护 150
系统可扩展性 152
数据保留 153
ELK 技术栈实施案例 153
LinkedIn 的 ELK 技术栈 153
SCA 使用 ELK 的案例 156
SCA 如何使用 ELK 157
如何帮助分析 157
SCA 使用 ELK 做监控 158
Cliffhanger Solutions 使用 ELK 的案例 158
Kibana 示例――Packetbeat 仪表盘 160
总结 163
10 扩展 ELK 165
Elasticsearch 插件和工具 165
Learning ELK stack(中文版)
【XII】
用于索引管理的 Curator 165
用于安全的 Shield 167
用于监控的 Marvel 169
ELK 的路线图 172
Elasticsearch 路线图 172
Logstash 路线图 172
Kibana 路线图 173
总结 174