华章 Splunk实践指南

　　Splunk是一个收集、存储、报警、制表和研究机器数据的强有力工具，本书从理解Splunk交互界面的基本元素入手，详细讲解搜索语言的基本知识，对表格、图表、指示板等具体内容进行了细致的描述，并通过对高级搜索案例和应用程序的逐步分析，向读者展示构建属于用户自己的应用程序的方法，可以为读者快速学习和掌握Splunk大数据开发与应用提供系统指导。

　　《华章 Splunk实践指南》共12章第1章介绍Splunk交互界面的基本元素和一些重要概念；第2章详细介绍搜索语言的基础，讨论Splunk中的搜索功能，并讲解如何对搜索结果进行一些有用的再加工；第3章展示如何使用字段生成报表，以及如何构建自定义字段；第4章介绍如何通过使用Splunk提供的向导界面构建指示板；第5章深入讨论一些搜索的高级案例，展示搜索语句的若干强大特性；第6章展示更多的Splunk特性以帮助扩展查询语句，并在搜索时丰富数据；第7章深入讨论安装、构建、定制和分享应用程序；第8章介绍高级XML指示板的概念，以及简单XML指示板转换为高级XML指示板的实用方法；第9章讨论摘要索引及其在提高系统性能方面所发挥的作用；第10章深入讲解驱动Splunk的配置文件；第11章深入介绍关于分布式部署的相关内容，以及如何高效地对其进行配置；第12章阐述在输入数据、外部查询、渲染、定制命令和定制行为等方面扩展Splunk的方法。

　　Vincent Bumgarner ，资深软件设计与开发专家，在多种平台从事软件设计近20年，有丰富的从业经验。他于2007年起开始使用Splunk，并一直关注该产品历年的更新和进展，并帮助许多公司培训了众多Splunk的使用者，指导他们驾驭、扩展、管理这一极具灵活性的软件产品。

　　杨甲东，毕业于清华大学，获计算机科学与技术工学博士学位，现任北京搜狐新媒体信息技术有限公司移动应用探索中心高级研发工程师，擅长领域为大规模数据处理、数据挖掘、信息检索、机器学习等。他已发表高水平学术论文10余篇，其中SCI检索论文5篇；获得国家发明专利2项；参与完成国家科技支撑计划项目1项，国家自然科学基金项目2项。

译者序

前言

第1章　Splunk交互界面

1.1　登录Splunk

1.2　首页应用程序

1.3　顶栏

1.4　搜索应用程序

1.4.1　数据生成器

1.4.2　概要视图

1.4.3　搜索

1.4.4　动作

1.4.5　时间轴

1.4.6　字段选择器

1.4.7　搜索结果

1.5　使用时间选择器

1.6　使用字段选择器

1.7　使用管理器

1.8　总结

第2章　理解搜索

2.1　有效地使用搜索词

2.2　布尔和分组操作符

2.3　点击修改你的搜索

2.3.1　事件分割

2.3.2　字段组件

2.3.3　时间

2.4　使用字段进行查询

2.5　有效地使用通配符

2.5.1　仅仅尾部通配符是有效的

2.5.2　通配符最后测试

2.5.3　在字段中补充通配符

2.6　关于时间

2.6.1　Splunk如何解析时间

2.6.2　Splunk如何存储时间

2.6.3　Splunk如何显示时间

2.6.4　确定时区的方法及原因

2.6.5　搜索时间的不同方式

2.6.6　在搜索中嵌入式地指定时间

2.6.7　_indextime 与 _time 对比

2.7　加速搜索

2.8　分享结果

2.9　保存结果供再次使用

2.10　根据搜索创建报警

2.10.1　定时计划

2.10.2　动作

2.11　总结

第3章　表格、图表和字段

3.1　关于管道符号

3.2　使用top命令显示常见字段数值

3.3　使用stats命令聚合数值

3.4　使用图表转换数据

3.5使用时间图显示数值在时间上的变化

3.6　使用字段

3.6.1　正则表达式

3.6.2　创建字段的命令

3.6.3　抽取日志级别

3.7　总结

第4章　简单XML指示板

4.1　指示板的作用

4.2　使用向导构建指示板

4.3　定时生成指示板

4.4　直接编辑XML

4.5　用户交互案例应用程序

4.6　构建表单

4.6.1　根据指示板创建表单

4.6.2　从一个表单中产生多个面板

4.6.3　后处理的搜索结果

4.6.4　后处理的限制

4.7总结

第5章　高级搜索案例

5.1使用子查询寻找松散相关的事件

5.1.1子查询

5.1.2子查询使用的注意事项

5.1.3嵌套子查询

5.2使用事务命令

5.2.1使用事务计算会话时长

5.2.2合计事务统计信息

5.2.3用事务组合子搜索

5.3计算并发量

5.3.1使用带并发的事务

5.3.2使用并发量估计服务器负载

5.3.3　使用by字句计算并发量

5.4　计算每个时间片段的事务

5.4.1　使用timechart命令

5.4.2计算每分钟内的平均请求量

5.4.3计算每分钟、每小时内的平均事件

5.5重构top命令

5.6总结

第6章　扩展搜索

6.1使用标签简化搜索

6.2使用事件类型对结果分类

6.3　通过查找操作丰富数据

6.3.1　定义查找操作的表格文件

6.3.2　定义一个查找操作的表格文件

6.3.3　定义自动查找操作

6.3.4在查找操作中排除故障

6.4　使用宏以重复使用逻辑

6.4.1　创建一个简单的宏

6.4.2　创建带有参数的宏

6.4.3　使用eval命令构建一个宏

6.5　创建工作流动作

6.5.1　使用事件中的数值运行查询

6.5.2　链接到外部站点

6.5.3　构建工作流动作以展示字段上下文

6.6　使用外部命令

6.6.1　从XML中抽取数值

6.6.2　使用Google生成结果

6.7　总结

第7章　使用应用程序

7.1定义应用程序

7.2　自带的应用程序

7.3　安装应用程序

7.3.1　从Splunk库中安装应用程序

7.3.2　从文件安装应用程序

7.4　构建第一个应用程序

7.5　编辑导航

7.6　定制应用程序外观

7.6.1　定制启动图标

7.6.2　使用定制CSS

7.6.3使用定制HTML

7.7　对象权限

7.7.1　权限如何影响导航

7.7.2　权限如何影响其他对象

7.7.3　纠正权限问题

7.8　应用程序目录结构

7.9　将应用程序添加到Splunk库中

7.9.1　准备你的应用程序

7.9.2　打包应用程序

7.9.3　上传应用程序

7.10总结

第8章　构建高级指示板

8.1　使用高级XML的原因

8.2　不使用高级XML的原因

8.3　开发过程

8.4　高级XML结构

8.5　将简单XML转换为高级XML

8.6　模块逻辑流

8.7理解布局面板

8.8再次使用查询

8.9　使用意图

8.9.1　字符串替换

8.9.2　添加查询词（addterm）

8.10　创建定制的细化查询

8.10.1　根据定制查询语句构建明细查询

8.10.2　为另一个面板构建细化查询

8.10.3　对多面板使用HiddenPost- Process模块构建细化查询

8.11　第三方插件

8.11.1　Google地图

8.11.2　边视图工具（Sideview Utils）

8.12总结

第9章　摘要索引和CSV文件

9.1理解摘要索引

9.2何时使用摘要索引

9.3何时不使用摘要索引

9.4利用保存的查询生成摘要索引

9.5在查询中使用摘要索引事件

9.6使用sistats、sitop和sitimechart命令

9.7延迟如何影响摘要查询

9.8如何以及何时回填摘要数据

9.8.1使用fill_summary_index.py回填

9.8.2使用collect命令生成定制的摘要索引

9.9减少摘要索引的规模

9.9.1使用eval和rex命令定义分组字段

9.9.2使用带有通配符的查找操作

9.9.3使用事件类型对结果分组

9.10大跨度的时间范围内计算排名靠前的结果

9.11在摘要索引中存储原始事件

9.12使用CSV文件存储暂态数据

9.12.1预填充下拉菜单

9.12.2计算一天的数据

9.13总结

第10章　配置Splunk

10.1Splunk配置文件的位置

10.2Splunk配置文件的结构

10.3配置合并逻辑

10.3.1合并顺序

10.3.2配置合并逻辑

10.3.3使用btool

10.4Splunk中的.conf文件概览

10.4.1props.conf

10.4.2inputs.conf

10.4.3transforms.conf

10.4.4fields.conf

10.4.5outputs.conf

10.4.6indexes.conf

10.4.7authorize.conf

10.4.8savedsearches.conf

10.4.9times.conf

10.4.10commands.conf

10.4.11web.conf

10.5用户交互资源

10.5.1视图与导航

10.5.2应用程序服务器资源

10.5.3元数据

10.6总结

第11章　高级部署

11.1制定安装计划

11.2Splunk实例类型

11.2.1Splunk转发器

11.2.2　Splunk索引器

11.2.3Splunk搜索

11.3常见数据来源

11.3.1监视服务器日志

11.3.2监视共享驱动器日志

11.3.3批量处理日志

11.3.4接收系统日志事件

11.3.5处理数据库日志

11.3.6使用脚本收集数据

11.4计算索引器规模

11.5制定冗余计划

11.5.1索引器负载均衡

11.5.2理解典型的系统中断

11.6使用多个索引

11.6.1索引的目录结构

11.6.2创建更多索引的时机

11.6.3桶的生命周期

11.6.4计算索引规模

11.6.5使用卷管理多个索引

11.7部署Splunk二进制文件

11.7.1根据压缩文件部署

11.7.2使用msiexec命令部署

11.7.3添加基本配置

11.7.4配置Splunk以实现开机时启动

11.8　使用应用程序组织配置

11.9配置分布

11.9.1　使用你自己的部署系统

11.9.2　使用Splunk部署服务器

11.10　为授权使用LDAP

11.11　使用单点登录

11.12　负载均衡与Splunk

11.12.1　Web

11.12.2　splunktcp

11.12.3　部署服务器

11.13　多搜索头部

11.14总结

第12章　扩展Splunk

12.1　书写脚本化的输入以收集数据

12.1.1　 捕获不带日期的脚本输出

12.1.2　捕获脚本输出作为单独事件

12.1.3　编写长时间运行的脚本输入

12.2在命令行中使用Splunk

12.3　通过REST命令查询Splunk

12.4编写命令

12.4.1　何时不编写命令

12.4.2　何时编写命令

12.4.3　配置命令

12.4.4　添加字段

12.4.5操作数据

12.4.6　转换数据

12.4.7产生数据

12.5编写脚本化的查找操作以丰富数据

12.6编写事件渲染器

12.6.1　使用特殊字段

12.6.2　基于字段数值的字段表格

12.6.3　打印XML

12.7　编写脚本化的报警动作以处理结果

12.8　总结