Filebeat 模块(modules)使用实战:启用与 nginx 日志采集

围绕 Filebeat 官方 modules 模块展开实战:先介绍模块概念,演示还原 Nginx 访问日志格式并热加载生效;再通过 filebeat modules enable/disable/list 启用 nginx、tomcat 模块(本质是 modules.d 下 *.yml.disabled 重命名为 *.yml);最后用 nginx 模块采集访问/错误日志写入 Elasticsearch(索引 dawn-log-modules-nginx,模板名 dawn-modules),并在 Kibana 查看数据。

· 阅读需 3 分钟

Filebeat filestream 采集实战:ndjson 解析、multiline 多行匹配与综合案例

围绕 Filebeat 新版 filestream 输入类型展开实战:一是用 ndjson parser 解析 JSON 格式日志并写入 Elasticsearch(索引 dawn-log-filestream-nginx);二是用 multiline pattern 正则实现多行错误日志匹配(索引 dawn-log-filestream-tomcat-errorlog);三是综合案例,组合 multiline count_lines 与 ndjson 解析一段多行 JSON 日志(索引 dawn-log-filestream-case-demo)。

· 阅读需 2 分钟

Filebeat 采集 Tomcat 日志实战:自定义 JSON 访问日志与多行错误日志匹配

围绕 EFK 采集 Tomcat 日志展开:部署 Tomcat 并自定义 JSON 格式访问日志(server.xml AccessLogValve),用 Filebeat 采集 JSON 访问日志写入 Elasticsearch(索引 dawn-log-tomcat,json.keys_under_root 关键配置),以及用 multiline 多行匹配采集 catalina.out 启动/错误日志(索引 dawn-log-tomcat-errorlog),最后在 Kibana 查看数据。

· 阅读需 3 分钟

Filebeat 多 Input 写入不同 ES 索引与多实例部署实战

实战演示 Filebeat 两个核心进阶用法:一是配置多个 input 按 tags 将事件分流写入不同 Elasticsearch 索引(dawn-log-zlm、dawn-log-lmy),含 multiline 多行合并与关闭 ILM、自定义 dawn-log* 模板;二是 Filebeat 多实例部署,通过 –path.data 隔离数据目录实现同一主机并行运行多个采集进程。

· 阅读需 2 分钟

Filebeat 采集 Nginx 日志实战:自定义 JSON 日志格式、NFS 配置共享与七层 Web 集群

围绕 ELK/EFK 日志采集实验展开:自定义 Nginx JSON 日志格式(dawn_nginx_json),基于 NFS 实现三节点 Filebeat 配置共享,EFK 架构采集 Nginx 日志至 Elasticsearch(索引 dawn-log-nginx),Filebeat 解析 JSON 格式日志(json.keys_under_root 关键配置),以及基于 Nginx 七层分流的 Web 集群部署与 Filebeat 日志采集实战。

· 阅读需 6 分钟