https://LMDAWN1127.github.io/tags/elasticstack/ Recent content in ElasticStack on DAWN's Blog https://LMDAWN1127.github.io/images/DAWN.jpg https://LMDAWN1127.github.io/images/DAWN.jpg Hugo zh-cn Wed, 21 Oct 2026 19:45:00 +0800 https://LMDAWN1127.github.io/posts/es-cluster-health/ Wed, 21 Oct 2026 19:45:00 +0800 https://LMDAWN1127.github.io/posts/es-cluster-health/ 通过 _cluster/health API 查看 ES 集群健康状态：curl + jq 的两种查询姿势（整包 JSON 与单字段提取），以及 status/timed_out/active_shards 等全部返回参数的逐项解读。 https://LMDAWN1127.github.io/posts/kibana-rbac/ Wed, 21 Oct 2026 19:30:00 +0800 https://LMDAWN1127.github.io/posts/kibana-rbac/ Kibana RBAC 实操：内置五大系统用户、创建 dawn_log_reader 只读角色（cluster/indices/applications 三段权限）、创建 elk_viewer 用户并五项登录验证（空间隔离、索引授权边界、只读界面、禁 Dev Tools、禁建索引模式），以及 Kibana 空间管理。 https://LMDAWN1127.github.io/posts/es-cluster-encryption-auth/ Wed, 21 Oct 2026 14:30:00 +0800 https://LMDAWN1127.github.io/posts/es-cluster-encryption-auth/ ES 集群安全实战：生成 TLS 证书并同步各节点、修改 elasticsearch.yml 启用传输加密与认证、Kibana 登录认证与 elastic 密码修改，以及 postman/es-head/filebeat/logstash 四类客户端如何访问加密集群。 https://LMDAWN1127.github.io/posts/logstash-multi-branch-instance-pipeline/ Wed, 21 Oct 2026 13:00:00 +0800 https://LMDAWN1127.github.io/posts/logstash-multi-branch-instance-pipeline/ Logstash 进阶第二篇：if 多分支语句（file/beats/tcp 三种输入分别走 grok+geoip+useragent）、多实例部署（多进程各加载一个配置）与 pipelines.yml 多 pipeline 语法，以及三者的关系与 sincedb 注意事项。 https://LMDAWN1127.github.io/posts/logstash-sincedb-date-index/ Tue, 20 Oct 2026 19:00:00 +0800 https://LMDAWN1127.github.io/posts/logstash-sincedb-date-index/ 记录 Logstash 四段进阶实践：file 输入 sincedb 的 offset 机制与旧数据重新采集、date 插件处理日志时间、ES 自定义索引名，以及 grok 自定义正则配合 geoip/useragent/translate 等 filter 的完整案例。 https://LMDAWN1127.github.io/posts/elfk-nginx-access-log/ Tue, 20 Oct 2026 14:00:00 +0800 https://LMDAWN1127.github.io/posts/elfk-nginx-access-log/ 完整演示基于 ELFK 架构分析 Nginx 访问日志的全流程：Logstash 编写 05-beats-filter-es.conf（beats 输入 9999、grok 用 HTTPD_COMBINEDLOG 解析 combined 格式、geoip 指定本地 GeoLite2-City.mmdb、ruby 将经纬度拼成 dawn-geo 的 [lon,lat] 数组、useragent 解析 dawn-device、rename 规避字段冲突、date 对齐 @timestamp），输出到 Elasticsearch 的 dawn-logstash-nginx 索引；Filebeat 启用 nginx 模块并将数据推送至 Logstash；最后在 Kibana 建立索引模式，制作访客地理分布 Maps、设备类型/操作系统饼图、响应状态码柱状图，并整合进统一 Dashboard。 https://LMDAWN1127.github.io/posts/es-jvm-logstash/ Mon, 19 Oct 2026 14:00:00 +0800 https://LMDAWN1127.github.io/posts/es-jvm-logstash/ 围绕 ElasticStack 中 ES 与 Logstash 两个组件展开实战：一是 ES 的 JVM 基础环境优化，调整堆内存（-Xms/-Xmx，生产建议物理内存一半且不超 32GB），将 jvm.options 经 scp 分发至 11.0.1.112/113 并三节点重启生效；二是 Logstash 环境搭建，下载安装 logstash-7.17.22、加入 PATH、用 stdin-to-stdout 配置跑通管道；三是用 Logstash 处理自定义业务日志，编写 generate_log.py 造数，借助 mutate 过滤器（split 切分、add_field 加字段、convert 类型转换）将文本日志结构化后写入 Elasticsearch。 https://LMDAWN1127.github.io/posts/filebeat-modules/ Sun, 18 Oct 2026 22:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-modules/ 围绕 Filebeat 官方 modules 模块展开实战：先介绍模块概念，演示还原 Nginx 访问日志格式并热加载生效；再通过 filebeat modules enable/disable/list 启用 nginx、tomcat 模块（本质是 modules.d 下 *.yml.disabled 重命名为 *.yml）；最后用 nginx 模块采集访问/错误日志写入 Elasticsearch（索引 dawn-log-modules-nginx，模板名 dawn-modules），并在 Kibana 查看数据。 https://LMDAWN1127.github.io/posts/filebeat-filestream/ Sun, 18 Oct 2026 18:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-filestream/ 围绕 Filebeat 新版 filestream 输入类型展开实战：一是用 ndjson parser 解析 JSON 格式日志并写入 Elasticsearch（索引 dawn-log-filestream-nginx）；二是用 multiline pattern 正则实现多行错误日志匹配（索引 dawn-log-filestream-tomcat-errorlog）；三是综合案例，组合 multiline count_lines 与 ndjson 解析一段多行 JSON 日志（索引 dawn-log-filestream-case-demo）。 https://LMDAWN1127.github.io/posts/filebeat-tomcat-log-collection/ Sat, 17 Oct 2026 23:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-tomcat-log-collection/ 围绕 EFK 采集 Tomcat 日志展开：部署 Tomcat 并自定义 JSON 格式访问日志（server.xml AccessLogValve），用 Filebeat 采集 JSON 访问日志写入 Elasticsearch（索引 dawn-log-tomcat，json.keys_under_root 关键配置），以及用 multiline 多行匹配采集 catalina.out 启动/错误日志（索引 dawn-log-tomcat-errorlog），最后在 Kibana 查看数据。 https://LMDAWN1127.github.io/posts/filebeat-multi-input-multi-instance/ Sat, 17 Oct 2026 22:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-multi-input-multi-instance/ 实战演示 Filebeat 两个核心进阶用法：一是配置多个 input 按 tags 将事件分流写入不同 Elasticsearch 索引（dawn-log-zlm、dawn-log-lmy），含 multiline 多行合并与关闭 ILM、自定义 dawn-log* 模板；二是 Filebeat 多实例部署，通过 –path.data 隔离数据目录实现同一主机并行运行多个采集进程。 https://LMDAWN1127.github.io/posts/kibana-query-dashboard/ Sat, 17 Oct 2026 19:00:00 +0800 https://LMDAWN1127.github.io/posts/kibana-query-dashboard/ 基于已采集进 Elasticsearch 的 Nginx 日志，手把手演示 Kibana 可视化：PV 统计、IP 统计、带宽统计、网站状态码统计、站点访问统计多维查询，以及如何将多个可视化拖拽组合成一张 Dashboard 面板并保存。 https://LMDAWN1127.github.io/posts/filebeat-nginx-log-collection/ Fri, 16 Oct 2026 23:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-nginx-log-collection/ 围绕 ELK/EFK 日志采集实验展开：自定义 Nginx JSON 日志格式（dawn_nginx_json），基于 NFS 实现三节点 Filebeat 配置共享，EFK 架构采集 Nginx 日志至 Elasticsearch（索引 dawn-log-nginx），Filebeat 解析 JSON 格式日志（json.keys_under_root 关键配置），以及基于 Nginx 七层分流的 Web 集群部署与 Filebeat 日志采集实战。 https://LMDAWN1127.github.io/posts/filebeat-deployment/ Thu, 15 Oct 2026 23:00:00 +0800 https://LMDAWN1127.github.io/posts/filebeat-deployment/ 围绕 Filebeat 日志采集器展开：环境搭建（deb 下载安装）、架构组成，以及 stdin→ES、tcp→ES、log→ES 三类输入实战，并涵盖自定义索引名称、关闭 ILM、自定义分片/副本，以及采集 Ubuntu 系统日志写入 ES 集群的完整操作。 https://LMDAWN1127.github.io/posts/elasticsearch-data-mapping/ Thu, 15 Oct 2026 22:00:00 +0800 https://LMDAWN1127.github.io/posts/elasticsearch-data-mapping/ 围绕 Elasticsearch 字段映射（mapping）展开三个实战案例：ip 类型字段配合 CIDR 网段查询、date 类型字段按生日排序、geo_point 类型字段写入经纬度并经 Kibana Maps 在地图上可视化展示。 https://LMDAWN1127.github.io/posts/kibana-setup/ Wed, 14 Oct 2026 22:00:00 +0800 https://LMDAWN1127.github.io/posts/kibana-setup/ 记录 Kibana 7.17.22 的离线环境搭建全流程：通过 deb 包下载与 dpkg 安装，修改 kibana.yml 接入 Elasticsearch 集群（配置 server.port/host、elasticsearch.hosts、i18n.locale 中文），使用 systemctl 启动并验证 5601 端口监听，最后通过 WebUI 访问。 https://LMDAWN1127.github.io/posts/elasticsearch-destructive-requires-name/ Wed, 14 Oct 2026 21:00:00 +0800 https://LMDAWN1127.github.io/posts/elasticsearch-destructive-requires-name/ 围绕 Elasticsearch 集群级安全设置 action.destructive_requires_name 展开：该配置决定删除索引时是否必须指定明确名称（禁用通配符与 _all）。涵盖动态 API（_cluster/settings，persistent/transient）与静态 elasticsearch.yml 两种配置方式，以及如何验证通配符删除被拦截、明确名称删除成功。 https://LMDAWN1127.github.io/posts/elasticsearch-document-api-management/ Wed, 14 Oct 2026 20:00:00 +0800 https://LMDAWN1127.github.io/posts/elasticsearch-document-api-management/ 围绕 Elasticsearch 文档的 REST API 展开：单文档的创建（指定/不指定 id）、查看（全量/指定/DSL 查询）、修改与删除，以及批量写入（_bulk）与批量读取（_mget）等常见文档级运维操作。 https://LMDAWN1127.github.io/posts/elasticsearch-index-api-management/ Wed, 14 Oct 2026 18:00:00 +0800 https://LMDAWN1127.github.io/posts/elasticsearch-index-api-management/ 围绕 Elasticsearch 索引的 REST API 管理展开：索引的创建、查看、自定义分片与副本数量，修改副本数量、删除指定/批量删除索引数据，索引开启与关闭，索引模板与组件模板的创建/查看/修改/删除，以及索引别名的增删改查与实际查询应用。 https://LMDAWN1127.github.io/posts/elastic-stack/ Wed, 14 Oct 2026 15:00:00 +0800 https://LMDAWN1127.github.io/posts/elastic-stack/ 从 ElasticStack 组件（Elasticsearch / Logstash / Kibana / Beats）入手，重点记录 Elasticsearch 单点部署与集群搭建：软件包下载、服务安装、elasticsearch.yml 关键配置（集群名、数据与日志路径、监听地址端口、单点/集群模式）、节点时区统一、配置分发与集群启动、端口与节点状态验证。