Filebeat 多 Input 写入不同 ES 索引与多实例部署实战
实战演示 Filebeat 两个核心进阶用法:一是配置多个 input 按 tags 将事件分流写入不同 Elasticsearch 索引(dawn-log-zlm、dawn-log-lmy),含 multiline 多行合并与关闭 ILM、自定义 dawn-log* 模板;二是 Filebeat 多实例部署,通过 –path.data 隔离数据目录实现同一主机并行运行多个采集进程。
实战演示 Filebeat 两个核心进阶用法:一是配置多个 input 按 tags 将事件分流写入不同 Elasticsearch 索引(dawn-log-zlm、dawn-log-lmy),含 multiline 多行合并与关闭 ILM、自定义 dawn-log* 模板;二是 Filebeat 多实例部署,通过 –path.data 隔离数据目录实现同一主机并行运行多个采集进程。
基于已采集进 Elasticsearch 的 Nginx 日志,手把手演示 Kibana 可视化:PV 统计、IP 统计、带宽统计、网站状态码统计、站点访问统计多维查询,以及如何将多个可视化拖拽组合成一张 Dashboard 面板并保存。
围绕 ELK/EFK 日志采集实验展开:自定义 Nginx JSON 日志格式(dawn_nginx_json),基于 NFS 实现三节点 Filebeat 配置共享,EFK 架构采集 Nginx 日志至 Elasticsearch(索引 dawn-log-nginx),Filebeat 解析 JSON 格式日志(json.keys_under_root 关键配置),以及基于 Nginx 七层分流的 Web 集群部署与 Filebeat 日志采集实战。
围绕 Filebeat 日志采集器展开:环境搭建(deb 下载安装)、架构组成,以及 stdin→ES、tcp→ES、log→ES 三类输入实战,并涵盖自定义索引名称、关闭 ILM、自定义分片/副本,以及采集 Ubuntu 系统日志写入 ES 集群的完整操作。
围绕 Elasticsearch 字段映射(mapping)展开三个实战案例:ip 类型字段配合 CIDR 网段查询、date 类型字段按生日排序、geo_point 类型字段写入经纬度并经 Kibana Maps 在地图上可视化展示。