Logstash 进阶实战:多分支语句、多实例与 pipeline 语法
Logstash 进阶第二篇:if 多分支语句(file/beats/tcp 三种输入分别走 grok+geoip+useragent)、多实例部署(多进程各加载一个配置)与 pipelines.yml 多 pipeline 语法,以及三者的关系与 sincedb 注意事项。
Logstash 进阶第二篇:if 多分支语句(file/beats/tcp 三种输入分别走 grok+geoip+useragent)、多实例部署(多进程各加载一个配置)与 pipelines.yml 多 pipeline 语法,以及三者的关系与 sincedb 注意事项。
记录 Logstash 四段进阶实践:file 输入 sincedb 的 offset 机制与旧数据重新采集、date 插件处理日志时间、ES 自定义索引名,以及 grok 自定义正则配合 geoip/useragent/translate 等 filter 的完整案例。
围绕 ElasticStack 中 ES 与 Logstash 两个组件展开实战:一是 ES 的 JVM 基础环境优化,调整堆内存(-Xms/-Xmx,生产建议物理内存一半且不超 32GB),将 jvm.options 经 scp 分发至 11.0.1.112/113 并三节点重启生效;二是 Logstash 环境搭建,下载安装 logstash-7.17.22、加入 PATH、用 stdin-to-stdout 配置跑通管道;三是用 Logstash 处理自定义业务日志,编写 generate_log.py 造数,借助 mutate 过滤器(split 切分、add_field 加字段、convert 类型转换)将文本日志结构化后写入 Elasticsearch。