Kibana数据可视化与ELFK架构实战#

[TOC]

kibana出图展示#

昨天的成果

统计PV#

1
# 进入到可视化库界面
2
基于聚合 --> 指标 --> 选择索引J(kpyun-filebeat-modules-nginx...) --> 24
3
root@Elk02 ~# wc -l /var/log/nginx/access.log
4
24 /var/log/nginx/access.log
5
# 共 24 条访问记录
6
==============================
7
# 停掉所有 filebeat
8
killall -9 filebeat
9
# 删索引
10
curl -X DELETE 'http://10.0.0.6:9200/kpyun-filebeat-modules-nginx-2026.07.27'
11
# 清 registry + 重采
12
rm -rf /var/lib/filebeat/
13
filebeat -e -c /etc/filebeat/config/05-modules_nginx-to-es.yaml
14
# 等 10 秒，验证应该只有 24 条

1
PV: 点击一次页面、刷新一次页面被网站记录一次PV
2
# 页面的访问量
3

4
UV: 一台主机就是一个UV、
5
# 独立访客数量
6

7
IP: 独立的公网IP地址
8
DAU：每天的活跃用户数量（日活）
9
MAU：每月的活跃用户数量（月活）
10

11
举个例子：
12
假设公司有一座大厦,大厦有100人,每个人有一台电脑和一部手机,上网都是通过nat转换出口,每个人每台设备点击网站2次, 请问对应的pv,uv,ip分别是多少？
13
PV: 100X2X2=400
14
UV: 100X2=200
15
IP: 1
16
'很多时候,访问到不了后台,缓存就解决了'

分析IP#

1
基于聚合 --> 指标 --> 选择索引(kpyun-filebeat-modules-nginx...) --> 指定字段（related.ip）

设备类型#

1
创建+可视化 --> 选择Lens --> 选择索引 --> 选择字段（user_agent.device.name）

操作系统用户占比#

1
创建+可视化 --> 选择Lens --> 选择索引 --> 选择特定字段（user_agent.os.full）

1
# 查看现有的图列表
2
如下图所示，我们已经画了4张图了!

分析流量带宽#

1
创建+可视化 --> 选择Lens --> 选择索引 --> 选择特定字段（http.response.body.bytes）
2
# 搜索bytes（字节）

1
root@Elk02 ~# nohup filebeat -e -c /etc/filebeat/config/05-modules_nginx-to-es.yaml &> /tmp/es01.log &
2
# 启动filebeat
3
'我们可以尝试增加一条nginx的访问日志，修改带宽的大小，而后由Filebeat采集数据到ES，kibana出图展示'
4
========================================
5
💡 '修改nginx访问日志观察数据是否监控'
6
root@Elk02 ~# echo 50*1024 | bc
7
51200
8
# 增加50KB带宽（加到状态码后面）
9
root@Elk02 ~# echo '123.113.31.55 - - [27/Jul/2026:14:35:00 +0800] "GET /api/health HTTP/1.1" 200 51200 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36"' >> /var/log/nginx/access.log
10
root@Elk02 ~# wc -l /var/log/nginx/access.log
11
25 /var/log/nginx/access.log

全球用户分布图#

1
创建+可视化 --> 选择maps --> 添加图层 --> 文档 --> 选择索引 --> 地理空间字段（source.geo.location）

作Dashboard展示数据#

1
新建仪表盘 --> 从库中添加 --> 展示数据并保存Dashboard

EFK架构采集web集群日志#

需求说明: - 在Elk01和Elk03部署tomcat，要求首页内容不一样; - 在Elk02节点部署nginx服务作为统一的访问入口，要求如下: - 1.访问路径为: /oldboyedu时请求转发到Elk01节点; - 2.访问路径为: /linux时请求转发到Elk03节点; - 使用EFK架构分析整个web集群的访问日志;

Tomcat部署#

1
1)JDk版本（ES自带）
2
root@Elk03 ~# /usr/share/elasticsearch/jdk/bin/java -version
3
openjdk version "22.0.2" 2024-07-16
4
OpenJDK Runtime Environment (build 22.0.2+9-70)
5
OpenJDK 64-Bit Server VM (build 22.0.2+9-70, mixed mode, sharing)
6
# 7.17.29（2025.06 发布）已经换成 JDK 22
7

8
2)部署tomcat
9
root@Elk03 ~# mkdir /soft
10
root@Elk03 ~# tar xf /tmp/apache-tomcat-11.0.24.tar.gz -C /soft/
11
# 解压到/soft
12
root@Elk03 ~# ll /soft/
13
total 12
14
drwxr-xr-x  3 root root 4096 Jul 27 21:11 ./
15
drwxr-xr-x 25 root root 4096 Jul 27 21:11 ../
16
drwxr-xr-x  9 root root 4096 Jul 27 21:11 apache-tomcat-11.0.24/
17
root@Elk03 ~# ln -s /soft/apache-tomcat-11.0.24/ /soft/tomcat
18
# 第二个是软连接
19

20
3)环境变量
21
root@Elk03 ~# vim /etc/profile.d/tomcat.sh
22
#!/bin/bash
23
export JAVA_HOME=/usr/share/elasticsearch/jdk
24
export TOMCAT_HOME=/soft/tomcat
25
export PATH=$PATH:$JAVA_HOME/bin:$TOMCAT_HOME/bin
26
root@Elk03 ~# source  /etc/profile.d/tomcat.sh
27
root@Elk03 ~# java --version
28
openjdk 22.0.2 2024-07-16
29
OpenJDK Runtime Environment (build 22.0.2+9-70)
30
OpenJDK 64-Bit Server VM (build 22.0.2+9-70, mixed mode, sharing)
31

32
4)运行Tomcat
33
root@Elk03 ~# startup.sh
34
......Tomcat started.
35
# /soft/tomcat/bin/startup.sh --> 绝对路径启动Tomcat
36
root@Elk03 ~# ss -lntup |grep 8080
37
tcp   LISTEN 0      100  *:8080  (("java",pid=2679,fd=44))
38

39
5)访问web UI
40
http://10.0.0.8:8080/
41

42
6)访问日志
43
root@Elk03 ~# cat /soft/tomcat/logs/localhost_access_log.2026-07-27.txt
44
10.0.0.1 - - [27/Jul/2026:21:27:36 +0800] "GET / HTTP/1.1" 200 11237
45
10.0.0.1 - - [27/Jul/2026:21:27:36 +0800] "GET /tomcat.css HTTP/1.1" 200 5584
46
10.0.0.1 - - [27/Jul/2026:21:27:36 +0800] "GET /tomcat.svg HTTP/1.1" 200 67795
47
10.0.0.1 - - [27/Jul/2026:21:27:36 +0800] "GET /asf-logo-wide.svg HTTP/1.1" 200 7089
48
10.0.0.1 - - [27/Jul/2026:21:27:42 +0800] "GET /host-manager/html HTTP/1.1" 403 3104
49
10.0.0.1 - - [27/Jul/2026:21:27:42 +0800] "GET /host-manager/images/favicon.ico HTTP/1.1" 403 3104
50
10.0.0.1 - - [27/Jul/2026:21:27:46 +0800] "GET /manager/html HTTP/1.1" 403 3523
51
10.0.0.1 - - [27/Jul/2026:21:27:46 +0800] "GET /manager/images/favicon.ico HTTP/1.1" 403 3523
52
10.0.0.1 - - [27/Jul/2026:21:46:39 +0800] "GET /w3er HTTP/1.1" 404 721
53
10.0.0.1 - - [27/Jul/2026:21:47:01 +0800] "GET /docs/ HTTP/1.1" 403 877
54
10.0.0.1 - - [27/Jul/2026:21:47:05 +0800] "GET /docs/ HTTP/1.1" 403 877
55
10.0.0.1 - - [27/Jul/2026:21:47:05 +0800] "GET /docs/ HTTP/1.1" 403 877
56

57
'Elk01节点重复上述操作'
58
root@Elk01 ~# cat /soft/tomcat/logs/localhost_access_log.2026-07-27.txt
59
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET / HTTP/1.1" 200 11237
60
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /tomcat.svg HTTP/1.1" 200 67795
61
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /tomcat.css HTTP/1.1" 200 5584
62
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /bg-nav.png HTTP/1.1" 200 1401
63
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /bg-middle.png HTTP/1.1" 200 1918
64
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /asf-logo-wide.svg HTTP/1.1" 200 7089
65
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /bg-upper.png HTTP/1.1" 200 3103
66
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /bg-button.png HTTP/1.1" 200 713
67
10.0.0.1 - - [27/Jul/2026:21:51:01 +0800] "GET /favicon.ico HTTP/1.1" 200 21630
68
10.0.0.1 - - [27/Jul/2026:21:51:04 +0800] "GET /manager/status HTTP/1.1" 403 3523
69
10.0.0.1 - - [27/Jul/2026:21:51:04 +0800] "GET /manager/images/favicon.ico HTTP/1.1" 403 3523
70
10.0.0.1 - - [27/Jul/2026:21:51:16 +0800] "GET / HTTP/1.1" 200 11237
71
10.0.0.1 - - [27/Jul/2026:21:51:29 +0800] "GET /test HTTP/1.1" 404 721

准备tomcat首页内容#

1
root@Elk01 ~# rm -rf /soft/tomcat/webapps/ROOT/*
2
root@Elk01 ~# echo "<h1 style='color: red;'>Elk01~~~</h1>" > /soft/tomcat/webapps/ROOT/index.html
3
root@Elk01 ~# curl localhost:8080
4
<h1 style='color: red;'>Elk01~~~</h1>
5

6

7
root@Elk03 ~# rm -rf /soft/tomcat/webapps/ROOT/*
8
root@Elk03 ~# echo "<h1 style='color: red;'>Elk03...</h1>" > /soft/tomcat/webapps/ROOT/index.html
9
root@Elk03 ~# curl localhost:8080
10
<h1 style='color: red;'>Elk03...</h1>

nginx代理tomcat应用#

1
root@Elk02 ~# vim /etc/nginx/conf.d/lb-tomcat.conf
2
server {
3
    listen 80 default_server;
4
    server_name _;
5

6
    location /oldboyedu/ {
7
        proxy_pass http://10.0.0.6:8080/;
8
    }
9
    location /linux/ {
10
        proxy_pass http://10.0.0.8:8080/;
11
    }
12
    location / {
13
        return 404;
14
    }
15
}
16
root@Elk02 ~# rm -f  /etc/nginx/sites-enabled/default
17
# Ubuntu的默认站点（两个）
18
root@Elk02 ~# rm -f  /etc/nginx/sites-available/default
19
root@Elk02 ~# nginx  -t
20
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
21
nginx: configuration file /etc/nginx/nginx.conf test is successful
22
root@Elk02 ~# systemctl reload nginx
23

24
# 测试验证
25
root@Elk02 nginx# curl localhost
26
<center><h1>404 Not Found</h1></center>
27
root@Elk02 nginx# curl -L localhost/oldboyedu
28
<h1 style='color: red;'>Elk01~~~</h1>
29
root@Elk02 nginx# curl -L localhost/linux
30
<h1 style='color: red;'>Elk03...</h1>

采集web集群日志#

1
1)Filebeat采集nginx访问日志（Elk02）
2
root@Elk02 ~# rm -rf /var/lib/filebeat/
3
root@Elk02 ~# vim /etc/filebeat/config/06-efk-nginx-to-es.yaml
4
filebeat.inputs:
5
- type: log
6
  paths:
7
    - /var/log/nginx/access.log
8

9
output.elasticsearch:
10
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
11
  index: "kpyun-efk-nginx-%{+yyyy.MM.dd}"       # 按天分割索引
12

13
setup.ilm.enabled: false                    # 禁用 ILM，否则会忽略自定义 index 名称
14
setup.template.name: "efk"            # 索引模板名（可自定义）
15
setup.template.pattern: "kpyun-efk*"   # 匹配索引名称的模式（根据索引模板初始化）
16
setup.template.overwrite: false
17
setup.template.settings:
18
  index.number_of_shards: 5                 # 分片数
19
  index.number_of_replicas: 0               # 副本数
20
root@Elk02 ~# nohup filebeat -e -c /etc/filebeat/config/06-efk-nginx-to-es.yaml &>/tmp/elk01.log &

Tip

关于 setup.template.overwrite：

false（推荐）：模板已存在时不做任何修改，安全默认值
true：用当前配置（settings）覆盖已存在的同名模板

调整分片/副本数的推荐做法： 不改 overwrite 去覆盖旧模板；而是新建模板 ✅

1
setup.template.name: "efk-new"
2
setup.template.pattern: "kpyun-efk-new*"
3
setup.template.overwrite: false
4
setup.template.settings:
5
 index.number_of_shards: 9
6
 index.number_of_replicas: 0

💡 新模板名 + 新 pattern → ES 中不存在 → overwrite: false 照样创建成功 老模板不受影响，新数据按新规则建索引

1
2)Elk01的tomcat数据
2
root@Elk01 ~# dpkg -i /tmp/filebeat-7.17.29-amd64.deb
3
root@Elk01 ~# vim /tmp/tomcat-to-es.yaml
4
filebeat.inputs:
5
- type: log
6
  paths:
7
    - /soft/tomcat/logs/*.txt
8

9
output.elasticsearch:
10
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
11
  index: "kpyun-efk-tomcat-%{+yyyy.MM.dd}"       # 按天分割索引
12

13
setup.ilm.enabled: false                    # 禁用 ILM，否则会忽略自定义 index 名称
14
setup.template.name: "efk"            # 索引模板名（可自定义）
15
setup.template.pattern: "kpyun-efk*"   # 匹配索引名称的模式（根据索引模板初始化）
16
setup.template.overwrite: false
17
setup.template.settings:
18
  index.number_of_shards: 5                 # 分片数
19
  index.number_of_replicas: 0               # 副本数
20
root@Elk01 ~# nohup filebeat -e -c /tmp/tomcat-to-es.yaml &>/tmp/elk01.log &
21

22

23
2)Elk03的tomcat数据
24
root@Elk03 ~# dpkg -i /tmp/filebeat-7.17.29-amd64.deb
25
root@Elk03 ~# vim /tmp/tomcat-to-es.yaml
26
filebeat.inputs:
27
- type: log
28
  paths:
29
    - /soft/tomcat/logs/*.txt
30

31
output.elasticsearch:
32
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
33
  index: "kpyun-efk-tomcat-%{+yyyy.MM.dd}"       # 按天分割索引
34

35
setup.ilm.enabled: false                    # 禁用 ILM，否则会忽略自定义 index 名称
36
setup.template.name: "efk"            # 索引模板名（可自定义）
37
setup.template.pattern: "kpyun-efk*"   # 匹配索引名称的模式（根据索引模板初始化）
38
setup.template.overwrite: false
39
setup.template.settings:
40
  index.number_of_shards: 5                 # 分片数
41
  index.number_of_replicas: 0               # 副本数
42
root@Elk03 ~# nohup filebeat -e -c /tmp/tomcat-to-es.yaml &>/tmp/elk01.log &

Note

我这里把 tomcat 的日志放在一起了，索引名都是kpyun-efk-tomcat-%{+yyyy.MM.dd}

新建了一个索引模板 efk 和匹配索引名称 kpyun-efk*；5个主分片，0个副本分片 💡 rm -rf /var/lib/filebeat/ 没有出效果就删除了，重新来一遍

1
# 如下图所示，我们可以分析数据指标
2
1)查看相关字段：
3
  - message
4
  - host.name
5

6
2)KQL语句:
7
  - message : 200 and host.name : "Elk02"
8
  - message : 404

Filebeat tag 路由到不同索引#

Note

一个 Filebeat 实例可以定义多个 input，每个 input 打上不同 tags 输出到 ES 时，用 indices + when.contains 实现==按 tag 路由到不同索引==

1
1)配置文件
2
root@Elk02 ~# vim /etc/filebeat/config/multiple_input-to-es.yaml
3
filebeat.inputs:
4
- type: filestream
5
  id: tag-log
6
  paths:
7
    - /tmp/tag-test.log
8
  tags: kpyun-log
9
# 给文件采集事件的标签
10

11
- type: tcp
12
  host: "0.0.0.0:9000"
13
  # Filebeat 就在 9000 端口起了一个 TCP 服务端，等你 nc 往里灌数据
14
  tags: kpyun-tcp
15
# 给 TCP 采集事件的标签
16

17
output.elasticsearch:
18
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
19
  indices:
20
    - index: "kpyun-filebeat-tags-logs-%{+yyyy.MM.dd}"
21
      when.contains:
22
        tags: "kpyun-log"
23
# 包含 kpyun-log 标签的事件 → 写入 logs 索引
24
    - index: "kpyun-filebeat-tags-tcp-%{+yyyy.MM.dd}"
25
      when.contains:
26
        tags: "kpyun-tcp"
27
# 包含 kpyun-tcp 标签的事件 → 写入 tcp 索引
28

29
setup.ilm.enabled: false
30
setup.template.name: "kpyun-fb-tags"
31
setup.template.pattern: "kpyun-filebeat-tags*"
32
setup.template.overwrite: false
33
setup.template.settings:
34
  index.number_of_shards: 3
35
  index.number_of_replicas: 0
36
# 注意：如果已有模板的 pattern 与该模板重叠，需要调整优先级或删除冲突模板
37
'⚠️ 模板 pattern 冲突会导致 Filebeat 连接 ES 失败（400 Bad Request）'
38

39
2)启动 Filebeat
40
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/multiple_input-to-es.yaml
41
Input 'filestream' starting
42
Started listening for TCP connection
43
root@Elk02 ~# ss -ntl | grep 9000
44
LISTEN 0      4096        *:9000            *:*
45

46
3)模板冲突
47
# ⚠️ 启动 Filebeat 时反复报 400 错误：
48
ERROR Failed to connect, error loading template: 400 Bad Request: ......

Caution

==索引模板冲突==：现有模板 kpyun（来自之前实验）的 pattern kpyun-filebeat* 会==包含==新模板 kpyun-fb-tags 的 pattern kpyun-filebeat-tags* 同一个索引同时命中两个同优先级（150）的模板 → ES 拒绝创建

📌 实验环境：直接删 kpyun 模板最快 📌 ==生产环境==：新建模板时避开重叠 pattern，或调高 priority（如 200），不影响已有索引

1
# 解决方案：删除冲突的旧模板
2
root@Elk01 ~# curl -s -X DELETE "10.0.0.6:9200/_index_template/kpyun"
3
{"acknowledged":true}  # 也可通过 WebUI 删除
4

5
# 重启 Filebeat，新模板顺利加载
6
root@Elk02 ~# killall -9 filebeat; rm -rf /var/lib/filebeat/
7
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/multiple_input-to-es.yaml
8

9
4)发送测试数据
10
# 文件输入 — 写行到 /tmp/tag-test.log
11
root@Elk02 ~# echo 'log message: first test' > /tmp/tag-test.log
12
root@Elk02 ~# echo 'line2' >> /tmp/tag-test.log
13

14
# TCP 输入 — 通过 nc 发送
15
root@Elk02 ~# echo 'tcp message from netcat' | nc -w 1 10.0.0.7 9000
16
# nc（netcat）: TCP/UDP 数据传输工具，这里充当 TCP 客户端，向 Filebeat 端口灌测试数据
17
# nc -w 1: 发送完等1秒自动断开，防止 nc 挂在那不退出
18

19

20
5)验证两个索引分别收到数据
21
root@Elk01 ~# curl -s '10.0.0.6:9200/_cat/indices/kpyun-filebeat-tags*?v'
22
health status index                               pri rep docs.count
23
green  open   kpyun-filebeat-tags-logs-2026.07.31   3   0          2
24
green  open   kpyun-filebeat-tags-tcp-2026.07.31    3   0          1
25
# logs 索引 2 条（文件的两行），tcp 索引 1 条（nc 的一条消息）✅️

Filebeat多行匹配#

Tip

filestream 完全可以替代 log 类型，功能上 log 能做的 filestream 都能做

而且从 7.16.x 开始官方已不再推荐 log 写法，建议统一用 filestream

初体验#

1
1)编写配置文件
2
root@Elk01 ~# killall -9 filebeat
3
# 新的日志文件，不需要 rm -rf /var/lib/filebeat/
4
root@Elk01 ~# vim /tmp/filestream_tomcat-to-es.yaml
5
filebeat.inputs:
6
- type: filestream
7
  paths:
8
    - /soft/tomcat/logs/catalina.out
9
    # tomcat的系统日志

Important

tomcat/logs/catalina.out 是 Tomcat 的标准输出/标准错误重定向日志
- JVM 启动过程、部署状态、异常堆栈全部写在这里
💡 判断 Tomcat 是否启动成功、报了什么错，第一时间看这个文件就行

1
output.elasticsearch:
2
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
3
  index: "kpyun-filestream-tomcat-%{+yyyy.MM.dd}"  # 索引名字更换
4

5
setup.ilm.enabled: false
6
setup.template.name: "filestream"        # 模板名字更换
7
setup.template.pattern: "kpyun-filestream*"    # 匹配的索引名称更换
8
setup.template.overwrite: false
9
setup.template.settings:
10
  index.number_of_shards: 9            # 模板配置更换
11
  index.number_of_replicas: 0
12

13
2)启动实例
14
root@Elk03 ~# nohup filebeat -e -c /tmp/filestream_tomcat-to-es.yaml &>/tmp/elk01.log &

Tip

过滤 filebeat 进程时，用 grep [f]ilebeat 代替 grep filebeat，可以免去 -v grep 的麻烦
[f] 作为正则只匹配单字符 f，grep 自身的命令行是字面量 [f]ilebeat
- 正则匹配不了它，所以 grep 不会命中自身
- 比 -v grep 更简练——从源头避免，而非事后排除

1
3)进程验证
2
# 过滤出两条（默认自带grep）
3
root@Elk01 ~# ps -ef | grep filebeat
4
root  1803  1552  8 10:36 pts/0   /usr/share/filebeat/bin/filebeat...
5
root  1811  1552  0 10:36 pts/0   grep --color=auto filebeat
6

7
# 只过滤出一条
8
root@Elk01 ~# ps -ef | grep filebeat | grep -v grep
9
root  1803  1552  0 10:36 pts/0  /usr/share/filebeat/bin/filebeat...
10
root@Elk01 ~# ps -ef | grep [f]ilebeat
11
root  1803  1552  3 10:36 pts/0  /usr/share/filebeat/bin/filebeat...
12

13
4)kibana查看数据

多行匹配案#

1
1)停止tomcat服务
2
root@Elk01 ~# wc -l /soft/tomcat/logs/catalina.out
3
92 /soft/tomcat/logs/catalina.out
4
root@Elk01 ~# shutdown.sh
5
root@Elk01 ~# wc -l /soft/tomcat/logs/catalina.out
6
98 /soft/tomcat/logs/catalina.out
7
root@Elk01 ~# curl -s http://localhost:9200/kpyun-filestream-tomcat-2026.07.28/_search | jq '.hits.total'
8
{
9
  "value": 98,
10
  "relation": "eq"
11
}
12
# hits.total.value: 98 = 共 98 条文档（默认按行 \n 采集数据）
13
root@Elk01 ~# tail /soft/tomcat/logs/catalina.out
14
28-Jul-2026 07:52:03.608 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deploying web application directory [/soft/apache-tomcat-11.0.24/webapps/manager]
15
28-Jul-2026 07:52:03.632 INFO [main] org.apache.catalina.startup.HostConfig.deployDirectory Deployment of web application directory [/soft/apache-tomcat-11.0.24/webapps/manager] has finished in [23] ms
16

17
2)修改tomcat的配置文件（模拟报错）
18
root@Elk01 ~# vim +151 /soft/tomcat/conf/server.xml  # 主配置文件
19
...
20
151       </Host666666666>
21
....
22

23
3)启动tomcat
24
root@Elk01 ~# startup.sh
25
.....
26
Tomcat started.
27
# 表面起来了，实则没起来
28
root@Elk01 ~# ss -lntup | grep 8080 | wc -l
29
0
30

31
4)查看日志
32
root@Elk01 ~# tail -13 /soft/tomcat/logs/catalina.out
33
28-Jul-2026 15:54:53.849 WARNING [main] org.apache.catalina.startup.Catalina.parseServerXml Unable to load server configuration from [/soft/apache-tomcat-11.0.24/conf/server.xml]
34
  org.xml.sax.SAXParseException; systemId: ⚠️ file:/soft/apache-tomcat-11.0.24/conf/server.xml⚠️; lineNumber: ⚠️151; columnNumber: 13; The end-tag for element type "Host" must end with a '>' delimiter. ⚠️
35
    at java.xml/com.sun.org.apache.xerces.internal.parsers.AbstractSAXParser.parse(AbstractSAXParser.java:1252)
36
    at java.xml/com.sun.org.apache.xerces.internal.jaxp.SAXParserImpl$JAXPSAXParser.parse(SAXParserImpl.java:643)
37
    at org.apache.tomcat.util.digester.Digester.parse(Digester.java:1621)
38
    at org.apache.catalina.startup.Catalina.parseServerXml(Catalina.java:718)
39
    at org.apache.catalina.startup.Catalina.load(Catalina.java:817)
40
    at org.apache.catalina.startup.Catalina.load(Catalina.java:857)
41
    at java.base/jdk.internal.reflect.DirectMethodHandleAccessor.invoke(DirectMethodHandleAccessor.java:103)
42
    at java.base/java.lang.reflect.Method.invoke(Method.java:580)
43
    at org.apache.catalina.startup.Bootstrap.load(Bootstrap.java:302)
44
    at org.apache.catalina.startup.Bootstrap.main(Bootstrap.java:481)
45
28-Jul-2026 15:54:53.850 SEVERE [main] org.apache.catalina.startup.Catalina.start Cannot start server, server instance is not configured
46

47
5)文档数
48
# 多行才应该是一条日志
49
root@Elk01 ~# curl -s http://localhost:9200/kpyun-filestream-tomcat-2026.07.28/_search | jq '.hits.total'
50
{
51
  "value": 135,
52
  "relation": "eq"
53
}

Tip

为什么需要多行匹配？

Filebeat 默认按 \n 逐行采集，一条堆栈异常被拆成 N 条文档

核心参数： negate + match 决定哪些行往哪个方向合并

negate	match	效果
false	after	匹配的行追加到上一行
false	before	匹配的行提前到下一行
true	after	不匹配的行追加到上一行（堆栈专用🦄）
true	before	不匹配的行提前到下一行

💡 堆栈场景：negate: true + match: after + pattern: '^\d'

以数字开头的是新日志，其余续行全部合并到上一条
官方文档参考：Multiline examples

1
1)环境清理
2
root@Elk01 ~# killall -9 filebeat
3
root@Elk01 ~# curl -s -X DELETE http://10.0.0.6:9200/kpyun-filestream-tomcat-2026.07.28/ | jq
4
{
5
  "acknowledged": true  # 删除之前的索引
6
}
7

8
2)准备配置文件
9
root@Elk01 ~# vim /tmp/tomcat-to-es.yaml
10
filebeat.inputs:
11
- type: filestream
12
  paths:
13
    - /soft/tomcat/logs/catalina.out
14
  # 定义解析器
15
  parsers:
16
    # 配置多行匹配
17
  - multiline:
18
      # 指定多行匹配的模式，有效值为：pattern，count
19
      type: pattern
20
      # pattern = 正则匹配合并行，count = 每N行合并为一条文档
21
      # 如果类型是pattern，则需要指定正则表达式
22
      pattern: '^\d'
23
      # 以数字开头 → 视为新日志的起始行
24
      negate: true
25
      match: after
26

27
# 复用上面的索引模板（无需重新创建）
28
output.elasticsearch:
29
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
30
  index: "kpyun-filestream-tomcat-%{+yyyy.MM.dd}"
31

32
setup.ilm.enabled: false
33
setup.template.name: "filestream"
34
setup.template.pattern: "kpyun-filestream*"
35
setup.template.overwrite: false
36
setup.template.settings:
37
  index.number_of_shards: 9
38
  index.number_of_replicas: 0
39

40
3)启动实例
41
root@Elk01 ~# rm -rf /var/lib/filebeat/
42
root@Elk01 ~# nohup filebeat -e -c /tmp/tomcat-to-es.yaml &>/tmp/elk01.log &
43

44
4)kibana查看数据
45
root@Elk01 ~# curl -s http://localhost:9200/kpyun-filestream-tomcat-2026.07.28/_search | jq '.hits.total'
46
{
47
  "value": 101, ✅   # "value": 135 ❌
48
  "relation": "eq"
49
}
50
# 堆栈异常已合并为单条文档，不再是逐行拆散的碎片

1
# KQL语句
2
message :at

ELFK架构✨#

部署logstash环境#

官方链接：logstash下载

1
1)安装logstash
2
# Elk03节点
3
root@Elk03 ~# wget -P /tmp/ https://artifacts.elastic.co/downloads/logstash/logstash-7.17.29-amd64.deb
4
root@Elk03 ~# dpkg -i /tmp/logstash-7.17.29-amd64.deb
5

6
2)添加符号链接
7
root@Elk03 ~# ln -svf /usr/share/logstash/bin/logstash /usr/local/bin/
8
-v    # 显示创建过程的详细信息（打印出链接名称）
9
-f     # 强制覆盖已存在的目标文件
10
'/usr/local/bin/logstash' -> '/usr/share/logstash/bin/logstash'
11

12
3)在命令行中测试启动
13
root@Elk03 ~# logstash -e "input { stdin {} }  output { stdout {} }"
14
-e    # 直接在命令行中写入配置，而不是从配置文件（.conf 文件）中读取
15
# 从键盘读取输入，并在屏幕上打印输出
16
...
17
[ERROR] 2026-07-xxx] jvm - Unknown garbage collector name {:name=>"G1 Concurrent GC"}

系统设置了 JAVA_HOME，指向了 /usr/share/elasticsearch/jdk（Elasticsearch 自带的 JDK）
- 这个 JDK 版本（OpenJDK 22.0.2），版本太新了，导致监控接口不兼容
- Logstash 7.17 官方推荐的 JDK 是 Java 11 或 Java 17

1
4)更改环境变量
2
# 可以直接指向logstash的JDK环境
3
root@Elk03 ~# vim /etc/profile.d/tomcat.sh
4
#!/bin/bash
5

6
# export JAVA_HOME=/usr/share/elasticsearch/jdk
7
export JAVA_HOME=/usr/share/logstash/jdk
8
export TOMCAT_HOME=/soft/tomcat
9
export PATH=$PATH:$JAVA_HOME/bin:$TOMCAT_HOME/bin
10
root@Elk03 ~# unset JAVA_HOME
11
# 清除掉之前的java环境变量
12
root@Elk03 ~# source /etc/profile.d/tomcat.sh
13
root@Elk03 ~# exit
14
# 退出当前会话重新SSH连接 ✅（这个生效）
15
jiuzhao@Ubuntu ~$ ssh Elk03
16
root@Elk03 ~# java --version
17
openjdk 11.0.26 2025-01-21
18
'Tomcat 11.0.24 只支持 Java 17+'
19
# Tomcat 11 启动错误，根本原因是 JDK 版本与 Tomcat 不兼容
20
root@Elk03 ~#  echo $JAVA_HOME
21
/usr/share/logstash/jdk
22

23
5)重新启动（命令行）
24
root@Elk03 ~# logstash -e "input { stdin {} }  output { stdout {} }"
25
-e    # 直接在命令行中写入配置，而不是从配置文件（.conf 文件）中读取
26
......
27
The stdin plugin is now waiting for input:
28
www.kpyun.com  # 这是输入的数据
29
{
30
       "message" => "www.kpyun.com",  # 这是采集到的数据
31
          "host" => "Elk03",
32
    "@timestamp" => 2026-07-28T11:48:32.852Z,
33
      "@version" => "1"
34
}  # 这里不是json格式
35

36
6)在配置文件中测试启动
37
root@Elk03 ~# vim /etc/logstash/conf.d/01-stdin-to-stdout.conf
38
input {
39
  stdin {}
40
}
41

42
output {
43
  stdout {
44
    # 指定输出的数据格式，如果不指定，则默认值为: rubydebug
45
  codec => "json"
46
  }
47
}
48
root@Elk03 ~# logstash -f /etc/logstash/conf.d/01-stdin-to-stdout.conf --config.test_and_exit
49
-f            # 指定配置文件
50
--config.test_and_exit  # 干跑
51
Configuration OK ✅ 配置文件正确
52
root@Elk03 ~# logstash -f /etc/logstash/conf.d/01-stdin-to-stdout.conf
53
The stdin plugin is now waiting for input:
54
......
55
Hello  # json格式输出
56
{"message":"Hello","host":"Elk03","@version":"1","@timestamp":"2026-07-28T12:37:59.541Z"}

采集文本案例#

1
1)准备配置文件
2
root@Elk03 ~#  vim /etc/logstash/conf.d/02-file-to-es.conf
3
input {
4
  file {
5
    # 指定文件的路径
6
    path => ["/tmp/*.log"]
7

8
    # 指定第一次采集时的起始位置，有效值为: beginning, end
9
    start_position => "beginning"
10
  }
11
}
12

13
output {
14
 # stdout {
15
 #    codec => "json"
16
 # }
17

18
  elasticsearch {
19
      # 指定ES集群的地址
20
      hosts => ["10.0.0.6:9200","10.0.0.7:9200","10.0.0.8:9200"]
21
      # 指定ES集群的索引名称
22
      index => "kpyun-test-logstash-%{+YYYY.MM.dd}"
23
  }
24
}
25

26
2)启动logstash
27
--config.test_and_exit  # 先干跑一遍
28
root@Elk03 ~# logstash -rf /etc/logstash/conf.d/02-file-to-es.conf
29
-r    # --reload（自动重载配置）
30
-f    # --config（指定配置文件）
31
# 关键日志：
32
#   Elasticsearch version determined (7.17.29) → 已确定版本（7.17.29）
33
#   Pipeline started → 管道启动成功
34
#   Pipelines running {:count=>1} → 1 条管道在跑
35

36
3)发送测试数据
37
# Elk01远程执行
38
root@Elk01 ~# ssh 10.0.0.8 "echo 666666666666666666 >> /tmp/haha.log"
39

40
4)kibana出图展示
41
# 如下图所示
42
创建+索引模式（kpyun-test*）--> Discover --> KQL语句（message:  666666666666666666）

1
# 默认数据目录的内容
2
root@Elk03 ~# ls -la /usr/share/logstash/data/
3
total 20
4
drwxr-xr-x  4 root root 4096 Jul 30 16:29 .
5
drwxr-xr-x 12 root root 4096 Jul 30 16:29 ..
6
drwxr-xr-x  2 root root 4096 Jul 30 16:29 dead_letter_queue
7
-rw-r--r--  1 root root    0 Jul 30 16:29 .lock
8
drwxr-xr-x  2 root root 4096 Jul 30 16:29 queue
9
-rw-r--r--  1 root root   36 Jul 30 16:29 uuid
10
drwxr-xr-x  3 root root 4.0K Jul 31 16:36 plugins
11

12
# 温馨提示:
13
logstash的 `file input(从文件中读取)` 是有缓存的，也是在相应的数据目录中的".sincedb"文件中记录；
14
root@Elk03 ~# ll /usr/share/logstash/data/plugins/inputs/file/
15
total 12
16
-rw-r--r-- 1 root root  106 Jul 28 21:12 .sincedb_f673f6cfb25c903a69af206b740195d3

Note

💡 plugins/inputs/file/ 目录是 file input ==专属的==，beats input 不产生，无需关心

也就是只有通过文件读取的日志才有这个目录，如果 logstash 是监听的端口，则不会产生数据

Tip

.sincedb 记录了每个文件读取到的位置（offset），logstash 重启后从上次位置继续，不会重复采集

如果改完配置想全量重采，删掉这个文件即可

自研apps日志案例#

非结构化日志#

1
1)模拟APP生成测试日志
2
# Elk01节点执行即可
3
root@Elk01 ~# vim generate_log.py
4
#!/usr/bin/env python3
5

6
import datetime
7
import random
8
import logging
9
import time
10
import sys
11

12
LOG_FORMAT = "%(levelname)s %(asctime)s [com.kpyun.%(module)s] - %(message)s "
13
DATE_FORMAT = "%Y-%m-%d %H:%M:%S"
14

15
# 配置root的logging.Logger实例的基本配置
16
logging.basicConfig(level=logging.INFO, format=LOG_FORMAT, datefmt=DATE_FORMAT, filename=sys.argv[1]
17
, filemode='a',)
18
actions = ["浏览页面", "评论商品", "加入收藏", "加入购物车", "提交订单", "使用优惠券", "领取优惠券",
19
 "搜索", "查看订单", "付款", "清空购物车"]
20

21
while True:
22
    time.sleep(random.randint(1, 5))
23
    user_id = random.randint(1, 10000)
24
    # 对生成的浮点数保留2位有效数字.
25
    price = round(random.uniform(15000, 30000),2)
26
    action = random.choice(actions)
27
    svip = random.choice([0,1,2])
28
    logging.info("DAU|{0}|{1}|{2}|{3}".format(user_id, action,svip,price))
29

30
2)查看测试数据
31
root@Elk01 ~# python3 generate_log.py /tmp/apps.log
32
# 需要传参数（文件路径参数）
33
root@Elk01 ~# tail /tmp/apps.log
34
# 非结构化数据 --> logstash
35
INFO 2026-07-29 15:26:20 [com.kpyun.generate_log] - DAU|2738|查看订单|1|29612.77
36
INFO 2026-07-29 15:26:25 [com.kpyun.generate_log] - DAU|3043|领取优惠券|1|28290.65
37
INFO 2026-07-29 15:26:29 [com.kpyun.generate_log] - DAU|4096|清空购物车|2|25508.63
38
INFO 2026-07-29 15:26:30 [com.kpyun.generate_log] - DAU|6544|查看订单|0|25883.05
39
INFO 2026-07-29 15:26:32 [com.kpyun.generate_log] - DAU|3719|搜索|1|16282.12
40
INFO 2026-07-29 15:26:36 [com.kpyun.generate_log] - DAU|462|浏览页面|1|20617.06
41
INFO 2026-07-29 15:26:38 [com.kpyun.generate_log] - DAU|5175|提交订单|0|19346.11
42
INFO 2026-07-29 15:26:42 [com.kpyun.generate_log] - DAU|8737|提交订单|2|16317.69
43
INFO 2026-07-29 15:26:43 [com.kpyun.generate_log] - DAU|7504|付款|0|28776.08
44
INFO 2026-07-29 15:26:44 [com.kpyun.generate_log] - DAU|8776|浏览页面|1|16240.77

Filebeat写入数据到logstash#

1
1)编写logstash的配置文件
2
'logstash安装在Elk03'
3
root@Elk03 ~# vim /etc/logstash/conf.d/03-beats-to-es.conf
4
input {
5
  beats {
6
    port => "6666"          # logstash作为服务端监听此端口
7
  }
8
}
9

10
# 过滤插件
11
filter {
12
  mutate {
13
     remove_field => [ "@version","agent","log","ecs","tags","input" ]
14
  }                          # 先过滤掉无关字段，保持数据干净
15
}
16

17
output {
18
  stdout {                  # 终端输出——调试用，确认数据过来了
19
     codec => "rubydebug"
20
  }
21
}
22
# 写入ES
23
# elasticsearch {
24
#     hosts => ["10.0.0.6:9200","10.0.0.7:9200","10.0.0.8:9200"]
25
#     index => "kpyun-logstash-apps-%{+YYYY.MM.dd}"
26
# }
27
'先把ES注释掉，stdout看数据过来没有'
28

29
2)启动logstash
30
# 启动慢（重量级）
31
root@Elk03 ~# logstash -rf  /etc/logstash/conf.d/03-beats-to-es.conf --config.test_and_exit
32
# 先干跑一遍
33
root@Elk03 ~# logstash -rf  /etc/logstash/conf.d/03-beats-to-es.conf
34
# Pipeline started ✅
35
# Pipelines running {:count=>1}
36

37
3)编写Filebeat的配置文件
38
'切到Elk01'
39
root@Elk01 ~# mkdir /etc/filebeat/config/
40
root@Elk01 ~# vim /etc/filebeat/config/apps-to-logstash.yaml
41
filebeat.inputs:
42
- type: filestream
43
  paths:
44
    - /tmp/apps.log            # 采集自研APP的日志
45

46
output.logstash:
47
  hosts: ["10.0.0.8:6666"]     # 发往logstash，不再是直接发ES
48
# ✅️ filebeat → logstash → ES 的三级架构
49

50
4)启动Filebeat实例
51
root@Elk01 ~# filebeat -e -c /etc/filebeat/config/apps-to-logstash.yaml
52
# Connection to backoff(async(tcp://10.0.0.8:6666)) established
53

54
5)查看logstash终端输出
55
'logstash这边能看到rubydebug格式的数据就说明通了'
56
{
57
       "message" => "INFO 2026-07-29 09:11:43 [com.kpyun.generate_log] - DAU|7173|清空购物车|0|24648.72 ",
58
    "@timestamp" => 2026-07-29T01:11:43.446Z,
59
          "host" => {
60
        "name" => "Elk01"
61
    }
62
}
63
# 字段非常干净，只有必要的被保留下来的，源于我们的filter过滤插件

Important

为什么用 Filebeat → Logstash → ES 三级架构？

==Filebeat== 只负责采集——轻量、不占资源，放在每个需要采集的机器上
==Logstash== 负责加工——字段拆分、类型转换、日期格式化、数据清洗
==ES== 负责入库 + 检索——数据落盘、全文搜索、聚合计算，Kibana 每张图背后都是它在算

💡 一条日志的旅程：采集 → 加工 → 存储，各干各的，谁也别越俎代庖

使用mutate处理数据案例#

1
1)编写配置文件
2
root@Elk03 ~# vim /etc/logstash/conf.d/03-beats-to-es.conf
3
...........
4
filter {
5

6
  mutate {
7
      split => { "message" => "|" }  # 以竖线为分隔符切割
8

9
      add_field => {        # 把切割后的数组元素映射为独立字段
10
         "other" => "%{[message][0]}"
11
         # 数组下标从0开始——other = "INFO 2026-07-29..."
12
         "userid" => "%{[message][1]}"
13
         "action" => "%{[message][2]}"
14
         "svip" => "%{[message][3]}"
15
         "price" => "%{[message][4]}"
16
       }
17
  }
18

19
  mutate {
20
      split => { "other" => " " }
21
      # 再次切割，"INFO" = [0], "2026-07-29" = [1], "08:21:55" = [2]
22

23
      add_field => {
24
        "date" => "%{[other][1]} %{[other][2]}"
25
                     # 拼接为 "2026-07-29 08:21:55"
26
      }
27
}
28

29
  mutate {
30
    convert => {        # 类型转换——确保数字类型可以去kibana做数学聚合
31
          "userid" => "integer"  # 整型
32
          "price" => "float"  # 浮点型
33
          # 💡 不转换的话在ES里是text类型，没法做sum/avg
34
        }
35
remove_field => [ "@version","agent","log","ecs","tags","input","message","host","other" ]
36
          # 清理掉所有中间字段，只保留业务字段
37
  }
38
}
39
...........
40
'这就是logstash的核心价值——把脏数据洗干净再入库'
41
# 配置文件中不要有中文注释，会导致 Logstash 的解析器字节 --> 偏移算歪

1
input {
2
  beats {
3
    port => "6666"
4
  }
5
}
6

7
filter {
8

9
mutate {
10
      split => { "message" => "|" }
11

12
       add_field => {
13
         "other" => "%{[message][0]}"
14
         "userid" => "%{[message][1]}"
15
         "action" => "%{[message][2]}"
16
         "svip" => "%{[message][3]}"
17
         "price" => "%{[message][4]}"
18
       }
19
  }
20

21
mutate {
22
      split => { "other" => " " }
23

24
      add_field => {
25
        "date" => "%{[other][1]} %{[other][2]}"
26
      }
27
}
28

29
mutate {
30
    convert => {
31
          "userid" => "integer"
32
          "price" => "float"
33
        }
34
remove_field => [ "@version","agent","log","ecs","tags","input","message","host","other" ]
35
 }
36
}
37

38
output {
39
  stdout { codec => "rubydebug" }
40
}

1
2)启动实例
2
root@Elk03 ~# logstash -rf /etc/logstash/conf.d/03-beats-to-es.conf --config.test_and_exit
3
# 干跑
4
root@Elk03 ~# logstash -rf /etc/logstash/conf.d/03-beats-to-es.conf
5
'预期输出'
6
{
7
    "@timestamp" => 2026-07-29T06:52:34.942Z,
8
        "action" => "搜索",
9
          "svip" => "0",
10
        "userid" => 2880,
11
         "price" => 28736.94,
12
          "date" => "2026-07-29 14:52:34"
13
}
14
✅️ 字段拆分成功
15
# 注意此时 @timestamp 是采集时间，不是日志的真实时间 👇（date字段才是）

Tip

mutate 是 logstash 的瑞士军刀——split、add_field、remove_field、convert 4 个操作一组，处理非结构化日志的标准套路：

切分 → 映射 → 清理 → 转换

遇到新的日志格式，套这个模板就行

链接：官方文档
搜索 Logstash —> other versions —> filter过滤插件 —> mutate字段过滤插件

使用date插件处理日期#

官网链接：date字段过滤插件

1
1)为什么需要date插件？
2
# 上面的数据中 @timestamp 显示的是 "filebeat采集这条日志的时刻"
3
# 而日志中有真实的时间: "2026-07-29 14:52:34"
4
# ❌ 这两个可能差几秒甚至几分钟——业务分析要以日志里的真实时间为准!
5

6
2)编写配置文件（在之前的filter块中追加date段）
7
root@Elk03 ~# vim /etc/logstash/conf.d/03-beats-to-es.conf
8
............
9
  date {       # "2026-07-29 14:52:34" → @timestamp
10
    match => [ "date", "yyyy-MM-dd HH:mm:ss" ]  # 格式必须与date字段的实际格式严格一致
11
    target => "@timestamp"   # 🦄 亮点：用日志里的时间覆盖 @timestamp
12
  }
13
}
14
............

1
input {
2
  beats {
3
    port => "6666"
4
  }
5
}
6

7
filter {
8
  mutate {
9
      split => { "message" => "|" }
10
       add_field => {
11
         "other" => "%{[message][0]}"
12
         "userid" => "%{[message][1]}"
13
         "action" => "%{[message][2]}"
14
         "svip" => "%{[message][3]}"
15
         "price" => "%{[message][4]}"
16
       }
17
  }
18

19
  mutate {
20
      split => { "other" => " " }
21
      add_field => {
22
        "date" => "%{[other][1]} %{[other][2]}"
23
      }
24
      remove_field => [ "@version","agent","log","ecs","tags","input","message","host","other" ]
25
  }
26

27
  mutate {
28
    convert => {
29
          "userid" => "integer"
30
          "price" => "float"
31
        }
32
  }
33

34
  date {
35
    match => [ "date", "yyyy-MM-dd HH:mm:ss" ]
36
    target => "@timestamp"
37
  }
38
}
39

40
output {
41
  stdout {
42
     codec => "rubydebug"
43
  }
44

45
elasticsearch {
46
    hosts => ["10.0.0.6:9200","10.0.0.7:9200","10.0.0.8:9200"]
47
    index => "kpyun-logstash-apps-%{+YYYY.MM.dd}"
48
 }
49
}

1
3)预创建模板和索引匹配模式
2
curl -X PUT "10.0.0.6:9200/_index_template/kpyun-apps" -H 'Content-Type: application/json' -d'
3
{
4
  "index_patterns": ["kpyun-logstash-apps-*"],
5
  "template": {
6
    "settings": {
7
      "number_of_shards": 6,
8
      "number_of_replicas": 0
9
    }
10
  }
11
}'
12
# 6个主分片，0个副本分片
13

14
4)清除logstash环境并启动实例
15
root@Elk03 ~# killall -9 logstash
16
logstash: no process found
17
# logstash 的进程名是 java，killall 匹配不到
18
# ⚠️ killall -9 java 会误杀 ES 集群！
19
# 只能用 pkill -f 模糊匹配命令行，而非进程名（宽泛匹配，容易误杀，谨慎使用）
20
root@Elk03 ~# pkill -f -9 logstash
21
` rm -rf /usr/share/logstash/data/ `
22
# 上一轮用的 file input，清理 sincedb；用 beats input 则不需要清理
23
# beats input 监听6666端口，数据从 Filebeat 流入，filebeat清理即可
24
root@Elk03 ~# logstash -rf /etc/logstash/conf.d/03-beats-to-es.conf
25

26
5)日志准备并启动filebeat实例
27
root@Elk01 ~# > /tmp/apps.log
28
root@Elk01 ~# python3 generate_log.py /tmp/apps.log
29
# 再开一个终端
30
root@Elk01 ~# rm -rf /var/lib/filebeat/
31
root@Elk01 ~# filebeat -e -c /etc/filebeat/config/apps-to-logstash.yaml
32

33
6)验证ES数据
34
root@Elk01 ~# curl -s 'http://localhost:9200/kpyun-logstash-apps-2026.07.29/_search?pretty' | jq '.hits.total,.hits.hits[0]._source'
35
{
36
  "value": 38,          # 数据已入库 ✅
37
  "relation": "eq"
38
}
39
{                # ✅ @timestamp 已替换为日志里的真实时间
40
  "@timestamp": "2026-07-29T08:21:51.000Z",
41
  "action": "清空购物车",
42
  "svip": "2",
43
  "userid": 2686,
44
  "date": "2026-07-29 16:21:51",
45
  "price": 20555.2
46
}
47

48
7)kibana创建索引模式
49
'Management → Stack Management → Index Patterns → Create'
50
# 模式：kpyun-logstash-apps-*
51
# 时间字段：@timestamp

Important

date 插件的作用就一句话：

把 @timestamp（filebeat 的”我什么时候采集到的”）替换成日志里写的真实时间（“这件事什么时候发生的”）

💡 没替换的后果：Kibana 时间轴上显示的会偏后几秒到几分钟——不影响查数据，但 ==出图不准确==

分析自定义程序的业务指标#

Note

🧱 前置条件：ES 索引 kpyun-logstash-apps-* 中已有结构化数据

字段清单：userid(integer) | svip(keyword) | price(float) | action(keyword) | @timestamp(date)

以下操作均在 Kibana Web UI 中完成——用鼠标点点就行

访问量PV统计#

1
'统计每天的访问总量'
2
kibana: 创建可视化 → 基于聚合 → 指标 → 选择索引 → 聚合（默认计数）→ 定制标签（PV）

分析用户的数量#

1
'去重后 userid 的简单计数'
2
kibana: 唯一计数 → 字段（userid）→ 定制标签（用户数分析）# 另存为新的视图

分析平台的交易额#

1
'GMV——总成交额'
2
kibana: 求和 → 字段（price）→ 定制标签（平台交易额）# 另存为新的视图
3
# 注意 price 必须在 logstash mutate → convert 中转为 float/integer
4
# 否则这里看到的 price 会显示为字符串，没法做数学聚合 ❌
5
✅️ 数据类型转换的重要性在此体现!

分析SVIP用户占比#

1
'看看会员等级分布'
2
kibana: 创建可视化 → Lens → 索引 → 字段（svip） → 圆环图
3
# svip=0 普通用户; svip=1 银卡; svip=2 金卡
4
# 能看出来什么群体在平台上最活跃

用户行为分析#

1
'用户都在干什么？'
2
kibana: 创建可视化 → Lens → 索引 → 字段（action） → 圆环图
3
# 浏览页面、搜索、加入购物车、提交订单、付款...
4
# CEO要的就是这个图——知道哪一步流失最多

Tip

按 SVIP 等级拆分的用户行为分布（svip + action交叉分析）

制作Dashboard#

1
'把所有图汇总到一张仪表盘——给老板看'
2
kibana: Dashboard → 新建仪表盘 → 从库中添加 → 拖拽排列 → 保存
3
# 一张图展示 PV/用户数/交易额/SVIP占比/用户行为 → 业务全貌一目了然

ElasticStack故障排查技巧指南#

Important

🧱 面试高频——ELK 出问题了你怎么排查？

核心口诀：跟着数据走，从源头往下查——源 → 采集 → 加工 → 索引 → 展示，一层一层确认，哪环断了问题就在哪

EFK架构排查技巧#

1
排查口诀（EFK 四步走）：
2

3
① 源：app 到底有没有打出日志？→ 去对应机器上 cat / tail 日志文件
4
② 采：filebeat 还活着吗？→ ps -ef | grep [f]ilebeat
5
③ 采：filebeat 采的是你要的文件吗？→ 确认配置文件里 paths 路径没写错
6
  # 需要重采时 `rm -rf /var/lib/filebeat/` 清掉 registry
7
④ 存：ES 本身是否正常？→ `ss -lntup | grep 9200` 看端口 / `curl localhost:9200` 看响应
8
    # Kibana 查 `systemctl status kibana`，ES也可以查 `systemctl status elasticsearch`
9
    # ES 和 Kibana 是 systemd 服务，Filebeat 是裸进程
10

11
排查清单（7 条，从可能到不可能）：
12

13
    1. 源数据文件本身就空 → `wc -l /path/to/log` 先看一眼
14
    2. filebeat 进程没跑 → `ps -ef | grep [f]ilebeat`
15
    3. filebeat 配错了 → paths 路径写错 / output 写错 IP / 索引名写错
16
    4. ES 集群故障 → `ss -lntup | grep 9200` 看端口 / `curl localhost:9200/_cluster/health` 看集群状态，Kibana 查 `systemctl status kibana`，ES 和 Kibana 是 service，filebeat 是裸进程
17
    5. filebeat registry 记录 offset → `rm -rf /var/lib/filebeat/` 重置
18
    6. kibana 时间范围不对 → "Last 15 minutes" 改成 "Today"
19
    7. ES 脑裂 → filebeat 连的节点和 kibana 连的不是同一个 → `GET /_cat/nodes`

Tip

💡 EFK 排查一句话： 三条腿折了哪一条？（源 / 采集 / 存储）

别看日志先看进程——filebeat 看 ps，ES / Kibana 看 systemctl status，确认三个东西都活着，已经排掉一半的坑

ELFK架构排查技巧#

1
排查口诀（ELFK 五步走——多了一个 Logstash）：
2

3
① 源：日志打了没有？（同 EFK，tail 源文件）
4
② 采：Filebeat 活着 + 采对了？（同 EFK，ps + 看 paths + 看 output.logstash）
5
③ 加：Logstash 活着吗？→ `ps -ef | grep [l]ogstash`
6
   # 端口开了没？→ `ss -lntup | grep 6666`，防火墙拦了？→ `iptables -L`
7
④ 加：Logstash 配置对吗？→ 先 `--config.test_and_exit` 干跑，再 stdout rubydebug 看数据过来没
8
⑤ 存：ES / Kibana 正常吗？（同 EFK，curl + systemctl status elasticsearch/kibana）
9

10
排查清单（ELFK 比 EFK 多出来的坑）：
11

12
    1. logstash 进程挂 → `ps -ef | grep [l]ogstash`
13
    2. logstash 端口没监听 → `ss -lntup | grep 6666`（防火墙？`iptables -L`）
14
    3. logstash 配置语法错 → `logstash -f xxx.conf --config.test_and_exit` 干跑
15
    4. filebeat → logstash 路没通 → filebeat 日志看 output 连接状态
16
    5. logstash output 忘了配 ES → stdout 开着，ES 段还注释着
17
    6. logstash filter 处理异常 → stdout rubydebug 看字段长什么样
18
    7. ES 有数据但 kibana 出不了图 → 字段类型错了（price 应该是数值，不是string）
19

20
💡 源 / 采 / 存的共性问题 → 见上方 EFK 排查清单

Note

📌 ELFK 对比 EFK 的核心差异：

多了一个 ==Logstash==，排查就多了一环——“filebeat 已经把数据送出去了，logstash 到底收没收到？”

验证方法：logstash 配置里开 stdout { codec => rubydebug } 是最快的定位手段 ✅

课后作业#

Warning

🦄 编写程序模拟 nginx 访问日志 10w 条记录，并使用 EFK 架构分析全球用户分布图、设备类型等信息

1
# ===== /root/generate_nginx_log.py =====
2
#!/usr/bin/env python3
3
import random, time
4

5
# 伪造IP池——覆盖多个国家的地址段（用于 GeoIP 出图）
6
IPS = [
7
    "1.2.3.4",           # 澳大利亚
8
    "8.8.8.8",           # 美国
9
    "13.107.42.14",      # 美国（微软）
10
    "31.13.24.12",       # 爱尔兰
11
    "47.96.0.1",         # 中国杭州
12
    "52.84.0.1",         # 美国
13
    "59.24.3.1",         # 韩国
14
    "77.88.55.88",       # 俄罗斯
15
    "103.235.46.39",     # 日本
16
    "110.242.68.66",     # 中国北京
17
    "151.101.1.1",       # 美国（Fastly）
18
    "185.199.108.153",   # 德国
19
    "202.108.22.5",      # 中国北京
20
    "203.119.24.1",      # 越南
21
    "216.58.200.4",      # 美国（Google）
22
]
23
STATUS = [200]*70 + [301]*5 + [304]*10 + [404]*10 + [500]*5
24
# 200 占70%，模拟正常流量
25

26
URLS = [
27
    "/", "/index.html", "/api/health", "/api/products",
28
    "/api/users", "/api/orders", "/about", "/contact",
29
    "/images/logo.png", "/css/main.css", "/js/app.js",
30
    "/docs/api-reference", "/blog/post/2024", "/products/list",
31
    "/login", "/register", "/cart", "/checkout"
32
]
33

34
UAS = [
35
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36',
36
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36',
37
    'Mozilla/5.0 (iPhone; CPU iPhone OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 Mobile/15E148 Safari/604.1',
38
    'Mozilla/5.0 (Linux; Android 14; Pixel 8 Pro) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.792.99 Mobile Safari/537.36',
39
    'Mozilla/5.0 (iPad; CPU OS 18_0 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/18.0 Mobile/15E148 Safari/604.1',
40
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36',
41
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Firefox/135.0',
42
]
43

44
with open("/var/log/nginx/access.log", "a") as f:
45
    for i in range(100000):
46
        ip = random.choice(IPS)
47
        url = random.choice(URLS)
48
        status = random.choice(STATUS)
49
        body_size = random.randint(100, 51200)   # 模拟不同大小的请求体
50
        ua = random.choice(UAS)
51
        f.write(f'{ip} - - [29/Jul/2026:08:00:00 +0800] "GET {url} HTTP/1.1" {status} {body_size} "-" "{ua}"\n')
52
        if (i + 1) % 10000 == 0:
53
            print(f"已生成 {i + 1}/100000 条...")
54
print("✅️ 完成! 共 100000 条日志")

1
# 只有Elk02有Nginx
2
'操作流程'
3
1)生成日志
4
root@Elk02 ~# vim /root/generate_nginx_log.py
5
root@Elk02 ~# python3 /root/generate_nginx_log.py
6
# 10w条大约需要2-3分钟
7

8
2)Filebeat配置文件
9
root@Elk02 ~# filebeat modules list | head -3
10
Enabled:
11
nginx
12
# 启用nginx模块采集
13
root@Elk02 ~# egrep -v "^.*#|^$" /etc/filebeat/modules.d/nginx.yml
14
- module: nginx
15
  access:
16
    enabled: true
17
    var.paths: ["/var/log/nginx/access.log*"]
18
    # 启用访问日志并指定路经
19
  error:
20
    enabled: false
21
    # 错误日志采集（关闭）
22
  ingress_controller:
23
    enabled: false
24
    # K8s Ingress 日志（普通 nginx 不需要）
25

26
3)编写Filebeat的配置文件
27
root@Elk02 ~# vim /etc/filebeat/config/nginx-10w-to-es.yaml
28
filebeat.config.modules:  # 启用模块配置
29
  path: ${path.config}/modules.d/*.yml  # 指定模块的路径（找所有已启用的模块）
30
  # 此处的'${path.config}'会找到模块的配置文件路径，启动Filebeat时会定义该参数
31
  reload.enabled: true    # 是否支持热加载配置文件
32

33
output.elasticsearch:
34
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
35
  index: "kpyun-nginx-10w-%{+yyyy.MM.dd}"
36

37
setup.ilm.enabled: false
38
setup.template.name: "nginx-10w"
39
setup.template.pattern: "kpyun-nginx-10w*"
40
setup.template.overwrite: false
41
setup.template.settings:
42
  index.number_of_shards: 3
43
  index.number_of_replicas: 0
44

45
3)启动Filebeat
46
root@Elk02 ~# rm -rf /var/lib/filebeat/
47
root@Elk02 ~# nohup filebeat -e -c /etc/filebeat/config/nginx-10w-to-es.yaml &>/tmp/es01.log &
48

49
4)Kibana出图展示（Web UI操作）
50
✅️ 创建索引模式: kpyun-nginx-10w-*
51
✅️ 全球用户分布图: Maps → 添加图层 → 文档 → 选择索引 → 地理空间字段（source.geo.location）
52
✅️ 设备类型分析: Lens → user_agent.device.name
53
✅️ 操作系统占比: Lens → user_agent.os.full
54
✅️ PV/带宽/Dashboard... 同上面的操作思路

Warning

裸文本采集（type: log）不会做 GeoIP 解析——source.geo.location nginx 模块才会 ✅ （IP 不能只嵌在 message 字符串里）

音乐

音乐

Kibana数据可视化与ELFK架构实战#

kibana出图展示#

统计PV#

分析IP#

设备类型#

操作系统用户占比#

分析流量带宽#

全球用户分布图#

作Dashboard展示数据#

EFK架构采集web集群日志#

Tomcat部署#

准备tomcat首页内容#

nginx代理tomcat应用#

采集web集群日志#

Filebeat tag 路由到不同索引#

Filebeat多行匹配#

初体验#

多行匹配案#

ELFK架构✨#

部署logstash环境#

采集文本案例#

自研apps日志案例#

非结构化日志#

Filebeat写入数据到logstash#

使用mutate处理数据案例#

使用date插件处理日期#

分析自定义程序的业务指标#

访问量PV统计#

分析用户的数量#

分析平台的交易额#

分析SVIP用户占比#

用户行为分析#

制作Dashboard#

ElasticStack故障排查技巧指南#

EFK架构排查技巧#

ELFK架构排查技巧#

课后作业#

文章分享