Prometheus监控中间件 && Grafana进阶#

[TOC]

Prometheus监控主流的中间件#

监控mysql#

GitHub 项目链接：https://github.com/prometheus/mysqld_exporter

1
1)环境准备
2
jiuzhao@Ubuntu ~$ wget -P /home/jiuzhao/下载 https://github.com/prometheus/mysqld_exporter/releases/download/v0.19.0/mysqld_exporter-0.19.0.linux-amd64.tar.gz
3
jiuzhao@Ubuntu ~$ scp /home/jiuzhao/下载/mysqld_exporter-0.19.0.linux-amd64.tar.gz Docker:/tmp
4
root@Docker ~# docker images | grep mysql
5
mysql:8.0.36   839MB    189MB
6

7
2)运行MySQL服务
8
root@Docker ~# docker container run \
9
  -e MYSQL_ALLOW_EMPTY_PASSWORD="yes" \
10
  -d \
11
  -p 3306:3306 \
12
  --name mysql-server \
13
  --restart unless-stopped \
14
  -e MYSQL_DATABASE="prometheus" \
15
  -e MYSQL_USER="jiu" \
16
  -e MYSQL_PASSWORD="oldboy123.com" \
17
  -e TZ=Asia/Shanghai \
18
  mysql:8.0.36 \
19
  --character-set-server=utf8mb4 \
20
  --collation-server=utf8mb4_unicode_ci \
21
  --default-authentication-plugin=mysql_native_password \
22
  --default-time-zone='+8:00'
23

24
3)检查MySQL服务
25
root@Docker ~# docker ps
26
mysql:8.0.36   "docker-entrypoint.s…"   Up...  0.0.0.0:3306->3306/tcp   mysql-server
27
root@Docker ~# ss -ntl | grep 3306
28
LISTEN 0      4096         0.0.0.0:3306      0.0.0.0:*
29

30
4)添加用户权限
31
root@Docker ~# docker exec -it mysql-server mysql
32
Welcome to the MySQL monitor.
33
Server version: 8.0.36 MySQL Community Server - GPL
34

35
mysql> SHOW GRANTS FOR jiu;
36
+-----------------------------------------------------+
37
| Grants for jiu@%                                    |
38
+-----------------------------------------------------+
39
| GRANT USAGE ON *.* TO `jiu`@`%`                     |
40
| GRANT ALL PRIVILEGES ON `prometheus`.* TO `jiu`@`%` |
41
+-----------------------------------------------------+
42
2 rows in set (0.00 sec)
43

44
mysql> GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO jiu@'%';
45
PROCESS          # 可以查看所有正在运行的线程
46
REPLICATION CLIENT    # 可以查看主从复制状态
47
SELECT ON *.*      # 可以查询所有库的所有表
48
TO jiu          # 授予给了用户 jiu（ % 从任何主机连接）
49

50
mysql> SHOW GRANTS FOR jiu;
51
+---------------------------------------------------------------+
52
| Grants for jiu@%                                              |
53
+---------------------------------------------------------------+
54
| GRANT SELECT, PROCESS, REPLICATION CLIENT ON *.* TO `jiu`@`%` |
55
| GRANT ALL PRIVILEGES ON `prometheus`.* TO `jiu`@`%`           |
56
+---------------------------------------------------------------+
57
2 rows in set (0.00 sec)
58

59
mysql> exit
60
Bye
61

62

63
5)解压软件包
64
root@Docker ~# tar tf /tmp/mysqld_exporter-0.19.0.linux-amd64.tar.gz
65
mysqld_exporter-0.19.0.linux-amd64/
66
mysqld_exporter-0.19.0.linux-amd64/LICENSE
67
mysqld_exporter-0.19.0.linux-amd64/mysqld_exporter  ✅ '只有这个有用'
68
mysqld_exporter-0.19.0.linux-amd64/NOTICE
69
root@Docker ~# tar xf /tmp/mysqld_exporter-0.19.0.linux-amd64.tar.gz -C /usr/local/bin/ mysqld_exporter-0.19.0.linux-amd64/mysqld_exporter --strip-components=1
70
root@Docker ~# ll /usr/local/bin/mysqld_exporter
71
-rwxr-xr-x 1 1001 1002 19325865 Mar 18 23:28 /usr/local/bin/mysqld_exporter*
72

73
6)运行MySQL-exporter暴露MySQL的监控指标
74
root@Docker ~# cat > ~/.my.cnf <<'EOF'
75
[client]
76
host = 10.0.0.9
77
port = 3306
78
user = jiu
79
password = oldboy123.com
80
EOF
81
root@Docker ~# mysqld_exporter  --config.my-cnf=/root/.my.cnf
82
.......
83
msg="TLS is disabled." http2=false address=[::]:9104
84
`"我监听在 9104，用的是 HTTP 明文，没开 TLS 加密"`
85

86
7)验证测试
87
root@Prom ~# curl -s http://10.0.0.9:9104/metrics | wc -l
88
2569
89

90
8)修改Prometheus的配置文件
91
root@Prom ~# vim /etc/prometheus/prometheus.yml
92
...
93
  - job_name: "kpyun-mysql-exporter"
94
    metrics_path: "/metrics"
95
    scheme: "http"
96
    static_configs:
97
      - targets:
98
          - 10.0.0.9:9104
99

100
9)热加载配置文件 & 验证
101
root@Prom ~# curl -X POST 10.0.0.10:9090/-/reload
102
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" --data-urlencode "query=up" | jq -r ".data.result[] | \"\(.metric.job) | \(.metric.instance) | \(.value[1])\"" | grep mysql
103
kpyun-mysql-exporter | 10.0.0.9:9104 | 1
104
========================================
105
`Prometheus自带的Web界面也是可以看的`
106
http://10.0.0.10:9090/targets
107

108
10)Grafana导入ID模板
109
http://10.0.0.10:3000/
110
14057

监控mongoDB#

GitHub 项目地址：https://github.com/percona/mongodb_exporter

1
1)环境准备
2
jiuzhao@Ubuntu ~$ wget -P /home/jiuzhao/下载 https://github.com/percona/mongodb_exporter/releases/download/v0.52.0/mongodb_exporter-0.52.0.linux-amd64.tar.gz
3
jiuzhao@Ubuntu ~$ scp /home/jiuzhao/下载/mongodb_exporter-0.52.0.linux-amd64.tar.gz Docker:/tmp
4
root@Docker ~# docker pull mongo:latest
5
...
6
Status: Downloaded newer image for mongo:latest
7
docker.io/library/mongo:latest
8

9

10
2)部署mongoDB服务
11
root@Docker ~# docker run -d --name mongodb-server -p 27017:27017 mongo:latest
12
root@Docker ~# docker ps | grep mongodb
13
mongo:latest   "docker-entrypoint.s…"   Up...   0.0.0.0:27017->27017/tcp   mongodb-server
14
root@Docker ~# ss -ntl | grep 27017
15
LISTEN 0      4096         0.0.0.0:27017      0.0.0.0:*
16

17

18
3)解压软件包
19
root@Docker ~# tar tf /tmp/mongodb_exporter-0.52.0.linux-amd64.tar.gz
20
mongodb_exporter-0.52.0.linux-amd64/CHANGELOG
21
mongodb_exporter-0.52.0.linux-amd64/LICENSE
22
mongodb_exporter-0.52.0.linux-amd64/README.md
23
mongodb_exporter-0.52.0.linux-amd64/mongodb_exporter
24
root@Docker ~# tar xf /tmp/mongodb_exporter-0.52.0.linux-amd64.tar.gz  -C /usr/local/bin/ mongodb_exporter-0.52.0.linux-amd64/mongodb_exporter --strip-components=1
25
root@Docker ~# ll /usr/local/bin/mongodb_exporter
26
-rwxr-xr-x 1 1001 1001 37552290 Jul 31 03:29 /usr/local/bin/mongodb_exporter*
27

28
4)运行mongodb-exporter
29
root@Docker ~# mongodb_exporter  --mongodb.uri=mongodb://10.0.0.9:27017 --log.level=info    --collect-all
30
...msg="Listening on" address=[::]:9216
31
...msg="TLS is disabled." http2=false address=[::]:9216
32

33
5)测试验证mongoDB-exporter
34
root@Prom ~# curl -s 10.0.0.9:9216/metrics | wc -l
35
10729
36
# WebUI
37
http://10.0.0.9:9216/metrics
38

39
6)配置Prometheus监控mongoDB容器prometheus
40
root@Prom ~# vim /etc/prometheus/prometheus.yml
41
...
42
  - job_name: kpyun-mongodb-exporter
43
    metrics_path: "/metrics"
44
    scheme: "http"
45
    static_configs:
46
      - targets:
47
        - 10.0.0.9:9216
48
root@Prom ~# curl -X POST http://10.0.0.10:9090/-/reload
49
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" --data-urlencode "query=up" | jq -r ".data.result[] | \"\(.metric.job) | \(.metric.instance) | \(.value[1])\"" | grep mongodb
50
kpyun-mongodb-exporter | 10.0.0.9:9216 | 1
51
# WebUI
52
http://10.0.0.10:9090/targets
53

54
7)grafana导入模板ID
55
20867
56
# 由于我们的MongoDB版本较为新，grafana的社区模板更新的并不及时

监控redis#

GitHub 项目地址：https://github.com/oliver006/redis_exporter

1
1)环境准备
2
jiuzhao@Ubuntu ~$ wget -P /home/jiuzhao/下载
3
https://github.com/oliver006/redis_exporter/releases/download/v1.89.0/redis_exporter-v1.89.0.linux-amd64.tar.gz
4
jiuzhao@Ubuntu ~$ scp /home/jiuzhao/下载/redis_exporter-v1.89.0.linux-amd64.tar.gz Docker:/tmp
5
root@Docker ~# docker pull docker.xuanyuan.run/redis:7.2.8 && docker tag docker.xuanyuan.run/redis:7.2.8 redis:7.2.8 && docker rmi docker.xuanyuan.run/redis:7.2.8
6
root@Docker ~# docker images | grep redis
7
redis:7.2.8    174MB         46.9MB
8

9
2)启动redis服务
10
root@Docker ~# docker run -d --name redis-server -p 6379:6379 redis:7.2.8
11
root@Docker ~# docker ps | grep redis
12
redis:7.2.8    "docker-entrypoint.s…"   Up   6379/tcp     redis-server
13

14
3)写入测试数据
15
root@Docker ~# docker exec -it redis-server redis-cli -n 5
16
'-n 5 指的是第 6 块空间，因为 Redis 的数据库编号是从 0 开始的'
17
127.0.0.1:6379[5]> set school kpyun
18
OK
19
127.0.0.1:6379[5]> set class C413
20
OK
21
127.0.0.1:6379[5]> LPUSH hobby linux k8s dba sre devops
22
(integer) 5
23
LPUSH    # Redis 的一个命令，全称是 Left Push，表示从列表的左侧（头部）插入元素
24
hobby    # 你正在操作的键（Key）的名字，类型是列表（List）
25
linux k8s dba sre devops  # 你要插入的 5 个值（元素）
26
127.0.0.1:6379[5]> KEYS *
27
1) "school"
28
2) "class"
29
3) "hobby"
30
127.0.0.1:6379[5]> get class
31
"C413"
32
127.0.0.1:6379[5]> get school
33
"kpyun"
34
127.0.0.1:6379[5]> TYPE school
35
string
36
127.0.0.1:6379[5]> TYPE hobby
37
list
38
127.0.0.1:6379[5]> LRANGE hobby 0 -1
39
1) "devops"
40
2) "sre"
41
3) "dba"
42
4) "k8s"
43
5) "linux"
44
LRANGE    # 这是 Redis 的列表范围查询命令
45
hobby    # 你要查询的键（Key）的名字
46
0      # 起始索引，代表列表的第一个元素。
47
-1      # 结束索引，在 Redis 中代表最后一个元素。
48
`合起来 0 -1 的意思就是“返回从第一个到最后一个的所有元素”`
49

50
4)解压软件包
51
root@Docker ~# tar tf /tmp/redis_exporter-v1.89.0.linux-amd64.tar.gz
52
redis_exporter-v1.89.0.linux-amd64/
53
redis_exporter-v1.89.0.linux-amd64/redis_exporter
54
redis_exporter-v1.89.0.linux-amd64/LICENSE
55
redis_exporter-v1.89.0.linux-amd64/README.md
56
root@Docker ~# tar xf /tmp/redis_exporter-v1.89.0.linux-amd64.tar.gz   -C /usr/local/bin/ redis_exporter-v1.89.0.linux-amd64/redis_exporter --strip-components=1
57
root@Docker ~# ll /usr/local/bin/redis_exporter
58
-rwxr-xr-x 1 1001 1001 11509922 Aug  9 13:42 /usr/local/bin/redis_exporter*
59

60
5)运行redis-exporter & 测试验证
61
root@Docker ~# redis_exporter -redis.addr redis://10.0.0.9:6379 -web.telemetry-path /metrics -web.listen-address :9121
62
INFO[0000] Providing metrics at :9121/metrics
63
root@Prom ~# curl -s 10.0.0.9:9121/metrics | wc -l
64
783
65
# webUI
66
http://10.0.0.9:9121/metrics
67

68
6)修改Prometheus的配置文件
69
root@Prom ~# vim /etc/prometheus/prometheus.yml
70
...
71
  - job_name: "kpyun-redis-exporter"
72
    metrics_path: "/metrics"
73
    scheme: "http"
74
    static_configs:
75
      - targets:
76
          - 10.0.0.9:9121
77

78
7)热加载配置文件 & 测试验证
79
root@Prom ~# curl -X POST 10.0.0.10:9090/-/reload
80
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" --data-urlencode "query=up" | jq -r ".data.result[] | \"\(.metric.job) | \(.metric.instance) | \(.value[1])\"" | grep redis
81
kpyun-redis-exporter | 10.0.0.9:9121 | 1
82
# WebUI
83
http://10.0.0.10:9090/targets
84

85
8)Grafana导入模板ID
86
14091 | 11835

监控nginx#

1
1)克隆nginx-module-vts模块
2
# 虚拟主机流量状态模块
3
root@Ubuntu ~# git clone https://gitee.com/jasonyin2020/nginx-module-vts.git
4

5
2)下载&解压 Nginx
6
root@Ubuntu ~# Version=1.30.4
7
root@Ubuntu ~# wget -P /tmp http://nginx.org/download/nginx-${Version}.tar.gz -O ./nginx.tar.gz
8
root@Ubuntu ~# tar zxvf /tmp/nginx.tar.gz -C /root/
9

10
3)编译工具 & 打健康补丁
11
root@Ubuntu ~# apt install -y build-essential libpcre2-dev zlib1g-dev libssl-dev libaio-dev
12
# 健康检查工具
13
root@Ubuntu ~# wget https://ghproxy.net/https://github.com/yaoweibin/nginx_upstream_check_module/archive/refs/heads/master.tar.gz -O nginx_upstream_check_module-master.tar.gz
14
root@Ubuntu ~# tar xf nginx_upstream_check_module-master.tar.gz
15
root@Ubuntu ~# ls | grep nginx
16
nginx-1.30.4
17
nginx_upstream_check_module-master
18
root@Ubuntu ~# apt -y install patch
19
# 用于打补丁
20
root@Ubuntu ~# cd nginx-1.30.4/
21
root@Ubuntu nginx-1.30.4# patch -p1 < ../nginx_upstream_check_module-master/check_1.20.1+.patch
22
✅ 成功状态  # 所有文件都成功打了补丁，没有出现 FAILED 或 reject 文件
23

24
4)创建系统用户www（统一后续服务使用）
25
root@Ubuntu nginx-1.30.4# cd ~
26
root@Ubuntu ~# groupadd -g 888 www
27
root@Ubuntu ~# useradd -r -g 888 -u 888 -s /sbin/nologin www
28
-r  # 系统用户
29
root@Ubuntu ~# id www
30
uid=888(www) gid=888(www) groups=888(www)
31

32
5)编译安装
33
root@Ubuntu ~# mkdir -p /var/log/nginx
34
'提前创建日志文件'
35
root@Ubuntu ~# cd nginx-1.30.4/
36
root@Ubuntu nginx-1.30.4# ./configure \
37
  --prefix=/etc/nginx \
38
  --sbin-path=/usr/sbin/nginx \
39
  --conf-path=/etc/nginx/nginx.conf \
40
  --error-log-path=/var/log/nginx/error.log \
41
  --http-log-path=/var/log/nginx/access.log \
42
  --pid-path=/run/nginx.pid \
43
  --lock-path=/run/nginx.lock \
44
  --user=www \
45
  --group=www \
46
  --with-http_ssl_module \
47
  --with-http_v2_module \
48
  --with-http_realip_module \
49
  --with-http_gzip_static_module \
50
  --with-http_stub_status_module \
51
  --with-stream \
52
  --with-stream_ssl_module \
53
  --with-threads \
54
  --with-file-aio \
55
  --add-module=/root/nginx_upstream_check_module-master \
56
  --add-module=/root/nginx-module-vts \
57
  --with-cc-opt='-O2 -g -fstack-protector-strong -fPIC' \
58
  --with-ld-opt='-Wl,-z,relro -Wl,-z,now -pie'
59
root@Ubuntu nginx-1.30.4# make -j 4 && make install
60
-j 4  # 同时运行 4 个编译任务（使用4个CPU核心）
61
root@Ubuntu nginx-1.30.4# cd ~
62
root@Ubuntu ~# nginx -V
63
nginx version: nginx/1.30.4
64

65
6)修改nginx的配置文件
66
# 删除所有 .default 模板文件（保留一份配置即可）
67
root@Ubuntu ~# rm -f /etc/nginx/*.default
68
root@Ubuntu ~# cd /etc/nginx/conf.d
69
# 先修改主配置文件
70
root@Ubuntu conf.d# vim ../nginx.conf
71
http{
72
  .....
73
    # prometheus监控配件
74
    vhost_traffic_status_zone;
75

76
    # 子配置目录
77
    include /etc/nginx/conf.d/*.conf;
78
}
79

80
root@Ubuntu conf.d# vim default.conf
81
upstream kpyun-promethues {
82
       server 10.0.0.10:9090 max_fails=2 fail_timeout=10s;
83
       check interval=3000 rise=2 fall=3 timeout=1000 type=tcp;
84
    }
85

86
server {
87
        listen  80 default_server;
88
        server_name  _;
89
        root  /etc/nginx/html;
90

91
        location / {
92
            index  index.html index.htm;
93
            error_page   500 502 503 504  /50x.html;
94
        }
95

96
        location /proxy {
97
          proxy_pass http://kpyun-promethues/metrics;
98
        }
99

100
        location /status {
101
            vhost_traffic_status_display;
102
            vhost_traffic_status_display_format html;
103
        }
104

105
        location /check {
106
            check_status;
107
        }
108

109
        location /download {
110
            autoindex  on;
111
            alias /home/jiuzhao/download;
112
            charset utf-8;
113
            autoindex_localtime on;
114
            autoindex_exact_size off;
115
   }
116
}
117
root@Ubuntu conf.d# nginx -t
118
root@Ubuntu conf.d# nginx -s reload
119
root@Ubuntu conf.d# ss -ntl | grep 80
120
LISTEN 0      511          0.0.0.0:80        0.0.0.0:*
121

122
7)访问nginx的状态页面
123
http://localhost/check    # 用于健康检查（nginx_upstream_check_module）
124
http://localhost/proxy/    # 代理到prometheus主机页面
125
# prometheus的指标 --> 代理访问 http://10.0.0.10:9090/metrics
126
http://localhost/status/  # Nginx 运行数据（nginx-module-vts）虚拟主机流量状态模块
127
http://localhost/status/format/prometheus  # 用于暴露Nginx指标（这个才是Nginx自己的）

1
8)安装nginx-vtx-exporter【可选】
2
# 下载nginx-vtx-exporter
3
jiuzhao@Ubuntu ~$ wget -P /home/jiuzhao/下载/ https://github.com/sysulq/nginx-vts-exporter/releases/download/v0.10.8/nginx-vtx-exporter_0.10.8_linux_amd64.tar.gz
4

5
# 解压软件包到path路径
6
jiuzhao@Ubuntu ~$ sudo su -
7
root@Ubuntu ~# cd /home/jiuzhao/下载
8
root@Ubuntu 下载# tar xf nginx-vtx-exporter_0.10.8_linux_amd64.tar.gz  -C /usr/local/bin/ nginx-vtx-exporter
9
root@Ubuntu ~# ll /usr/local/bin/nginx-vtx-exporter
10
-rwxr-xr-x 1 1001 123 7950336 Jul 11  2023 /usr/local/bin/nginx-vtx-exporter*

https://github.com/sysulq/nginx-vts-exporter

1
# 运行nginx-vtx-exporter
2
root@Ubuntu ~# nginx-vtx-exporter -nginx.scrape_uri=http://localhost/status/format/json
3
2026/08/13 19:27:34 Starting nginx_vts_exporter (version=, branch=, revision=)
4
2026/08/13 19:27:34 Build context (go=go1.20.5, user=, date=)
5
2026/08/13 19:27:34 Starting Server at : :9913
6
2026/08/13 19:27:34 Metrics endpoint: /metrics
7
2026/08/13 19:27:34 Metrics namespace: nginx
8
2026/08/13 19:27:34 Scraping information from : http://localhost/status/format/json
9

10
# WebUI验证
11
http://localhost:9913/metrics

1
9)配置prometheus采集nginx数据
2
# 修改配置文件
3
[root@prometheus-server31 ~]#
4
  ...
5
  - job_name: "kpyun-nginx-vts-modules"
6
    metrics_path: "/status/format/prometheus"
7
    scheme: "http"
8
    static_configs:
9
      - targets:
10
          - "10.0.0.1:80"
11

12
  - job_name: "kpyun-nginx-vts-exporter"
13
    metrics_path: "/metrics"
14
    scheme: "http"
15
    static_configs:
16
      - targets:
17
          - "10.0.0.1:9913"
18

19
# 重新加载配置并验证配置是否生效
20
root@Prom ~# curl -X POST http://10.0.0.10:9090/-/reload
21
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" --data-urlencode "query=up" | jq -r ".data.result[] | \"\(.metric.job) | \(.metric.instance) | \(.value[1])\"" | grep nginx
22
kpyun-nginx-vts-exporter | 10.0.0.1:9913 | 1
23
kpyun-nginx-vts-modules | 10.0.0.1:80 | 1
24
# WebUI验证
25
http://10.0.0.10:9090/targets
26

27
10)导入grafana模板
28
9785【编译安装时添加vts模块即可】
29
2949【编译时添加vts模块且需要安装nginx-exporter】

Caution

这个模板作者的环境里，数据源叫 DS_PROMETHEUS 而你的 Prometheus 数据源可能叫别的名字（比如 Prometheus、prom）

占位符找不到对应名字的数据源，就报 was not found

解决方案：进入 Edit（编辑）模式，触发一次变量解析，Run 时它把这个变量重新绑定到了实际数据源

本质上是导入后第一次只有「占位符」，你在编辑界面跑一遍，才完成了「占位符 → 实际数据源」的绑定

监控tomcat#

GitHub 项目地址：https://github.com/nlighten/tomcat_exporter

1
1)导入镜像
2
root@Docker ~# docker pull docker.xuanyuan.run/library/tomcat:9.0.87-jdk17; docker tag docker.xuanyuan.run/library/tomcat:9.0.87-jdk17 library/tomcat:9.0.87-jdk17; docker rmi docker.xuanyuan.run/library/tomcat:9.0.87-jdk17
3
`镜像下载挺慢的`
4
jiuzhao@Ubuntu 下载$ scp tomcat-v9.0.87.tar.gz Docker:/root
5
# 这个镜像是我从百度网盘下载的
6
root@Docker ~# ls tomcat-v9.0.87.tar.gz
7
tomcat-v9.0.87.tar.gz
8
root@Docker ~# docker load -i tomcat-v9.0.87.tar.gz
9
Loaded image: registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/tomcat:9.0.87-jdk17
10
root@Docker ~# docker tag registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/tomcat:9.0.87-jdk17 tomcat:9.0.87-jdk17 && docker rmi registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/tomcat:9.0.87-jdk17
11
root@Docker ~# docker images | grep tomcat
12
tomcat:9.0.87-jdk17     882MB     434MB
13

14
2)基于Dockerfile构建tomcat-exporter
15
root@Docker ~# git clone https://gitee.com/jasonyin2020/tomcat-exporter.git
16
root@Docker ~# cd tomcat-exporter/
17
root@Docker tomcat-exporter# ls -lh
18
total 32K
19
-rw-r--r-- 1 root root   96 Aug 14 08:54 build.sh
20
-rw-r--r-- 1 root root  503 Aug 14 08:54 Dockerfile
21
drwxr-xr-x 2 root root 4.0K Aug 14 08:54 libs
22
-rw-r--r-- 1 root root 3.4K Aug 14 08:54 metrics.war
23
drwxr-xr-x 2 root root 4.0K Aug 14 08:54 myapp
24
-rw-r--r-- 1 root root  191 Aug 14 08:54 README.md
25
-rw-r--r-- 1 root root 7.5K Aug 14 08:54 server.xml
26
root@Docker tomcat-exporter# rm -rf README.md build.sh
27
root@Docker tomcat-exporter# grep -r yinzhengjie-k8s .
28
./Dockerfile:FROM registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/tomcat:9.0.87-jdk17
29
root@Docker tomcat-exporter# sed -ri 's#registry.cn-hangzhou.aliyuncs.com/yinzhengjie-k8s/(tomcat:9.0.87-jdk17)#\1#g' ./Dockerfile
30
root@Docker tomcat-exporter# docker build -t tomcat9-app:v1 $(pwd)
31
Successfully built eec423e05c6b
32
Successfully tagged tomcat9-app:v1
33
root@Docker tomcat-exporter# docker images | grep tomcat9-app
34
tomcat9-app:v1    887MB    436MB
35

36
3)运行tomcat镜像
37
root@Docker tomcat-exporter# docker run -d -p 18080:8080 --name tomcat-server tomcat9-app:v1
38
35ac68fa9e10b8ff7217b8683f2aa43db10029b51c5d32dc781159b4a76da76c
39
root@Docker tomcat-exporter# docker ps -l | grep tomcat
40
tomcat9-app:v1   "/usr/local/tomcat/b…"  Up  8009/tcp, 8443/tcp, 0.0.0.0:18080->8080/tcp   tomcat-server
41

42
4)访问tomcat应用
43
root@Prom ~# curl -s 10.0.0.9:18080/myapp/ | grep -A5 '<body>'
44
  <body>
45
    <h1 style="color: pink">xian ni</h1>
46
    <div>
47
      <img src="1.png">
48
    <div>
49
  </body>
50
root@Prom ~# curl -s 10.0.0.9:18080/metrics/ | wc -l
51
237
52

53
# WebUI
54
http://10.0.0.9:18080/myapp/
55
http://10.0.0.9:18080/metrics/
56

57
5)配置prometheus监控tomcat应用
58
# 修改配置文件
59
root@Prom ~# vim /etc/prometheus/prometheus.yml
60
  ...
61
  - job_name: "kpyun-tomcat-exporter"
62
    metrics_path: "/metrics"
63
    scheme: "http"
64
    static_configs:
65
      - targets:
66
          - "10.0.0.9:18080"
67

68
6)热加载并验证
69
root@Prom ~# curl -X POST http://10.0.0.10:9090/-/reload
70
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" --data-urlencode "query=up" | jq -r ".data.result[] | \"\(.metric.job) | \(.metric.instance) | \(.value[1])\"" | grep tomcat
71
kpyun-tomcat-exporter | 10.0.0.9:18080 | 1
72

73
# WebUI
74
http://10.0.0.10:9090/targets
75

76
7)导入grafana模板
77
# GitHub项目中的监控模板（JSON 文件）
78
参考链接:
79
  https://github.com/nlighten/tomcat_exporter/blob/master/dashboard/example.json

Grafana快速入门篇#

Grafana插件安装#

1
# 假如模板插件缺失！
2
报错如下:  # 说明缺少插件
3
'Panel plugin not found: natel-discrete-panel'
4

5
1)默认的数据目录
6
root@Prom ~# ll /var/lib/grafana/
7
total 6508
8
drwx------  2 grafana grafana    4096 Aug 11 09:55 csv/
9
-rw-r-----  1 grafana grafana 6635520 Aug 13 16:08 grafana.db
10
drwx------  2 grafana grafana    4096 Aug 11 09:55 pdf/
11
drwxr-x---  7 grafana grafana    4096 Aug 13 09:05 plugins/
12
drwxrwxr-x  4 grafana grafana    4096 Aug 11 10:14 plugins-bundled/
13
drwx------  2 grafana grafana    4096 Aug 11 09:55 png/
14
drwxr-x---  3 grafana grafana    4096 Aug 11 09:55 unified-search/
15

16

17
2)Grafana插件管理
18
# 列出本地安装的插件
19
root@Prom ~# grafana cli plugins ls
20
installed plugins:
21

22
grafana-assistant-app @ 2.0.48
23
grafana-exploretraces-app @ 2.1.0
24
grafana-lokiexplore-app @ 2.5.0
25
grafana-metricsdrilldown-app @ 2.4.0
26
grafana-pyroscope-app @ 2.2.0
27
# 安装指定的插件
28
root@Prom ~# grafana cli plugins install natel-discrete-panel
29
✔ Downloaded and extracted natel-discrete-panel v0.1.1 zip successfully to /var/lib/grafana/plugins/natel-discrete-panel
30

31
Please restart Grafana after installing or removing plugins. Refer to Grafana documentation for instructions if necessary.
32
root@Prom ~# grafana cli plugins ls | grep natel-discrete-panel
33
natel-discrete-panel @ 0.1.1
34
root@Prom ~# ll /var/lib/grafana/plugins/
35
total 56
36
drwxr-x--- 6 grafana grafana 24576 Aug 13 09:05 grafana-assistant-app/
37
drwxr-x--- 6 grafana grafana  4096 Aug 11 09:55 grafana-exploretraces-app/
38
drwxr-x--- 4 grafana grafana  4096 Aug 11 09:55 grafana-lokiexplore-app/
39
drwxr-x--- 4 grafana grafana  4096 Aug 11 09:55 grafana-metricsdrilldown-app/
40
drwxr-x--- 6 grafana grafana  4096 Aug 11 09:55 grafana-pyroscope-app/
41
drwxr-xr-x 4 root    root     4096 Aug 13 16:12 natel-discrete-panel/ ✅ '在这里'
42

43

44
3)重启Grafana使得配置生效
45
root@Prom ~# systemctl restart grafana-server.service
46
# 查看插件是否生效

自定义Dashboard#

1
# 我们以 node-exporter 为例
2
1)仪表盘（Dashboard） --> 新建（右上角）--> 新建Dashboard
3

4
2)添加新元素 --> 新建可视化面板
5

6
3)配置可视化
7
  # CPU使用率
8
(1 - sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance) /  sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 100
9

10
  # 系统模式占用的时间
11
(sum(increase(node_cpu_seconds_total{mode="system"}[1m])) by (instance) /  sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 100
12

13
  # 系统等待时间
14
(sum(increase(node_cpu_seconds_total{mode="iowait"}[1m])) by (instance) /  sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 100
15

16
  # CPU的空闲时间
17
(sum(increase(node_cpu_seconds_total{mode="idle"}[1m])) by (instance) /  sum(increase(node_cpu_seconds_total[1m])) by (instance)) * 100
18

19
  # 统计各个节点的CPU核心数
20
count(node_cpu_seconds_total{mode="idle",job="kpyun-node-exporter"}) by (instance)
21

22
4)添加行（Row）
23
# 使用Row对Panel(面板)进行折叠
24

25
5)对已有的Panel(面板)进行编辑
26

27
6)保存Dashboard

Tip

复现别人模板的监控值

1
# 面板初始值
2
node_time_seconds{instance="$node",job="$job"} - node_boot_time_seconds{instance="$node",job="$job"}
3

4
# 先不说这个变量（先替换成一个具体的值）
5
node_time_seconds{instance="10.0.0.11:9100",job="kpyun-node-exporter"} - node_boot_time_seconds{instance="10.0.0.11:9100",job="kpyun-node-exporter"}
6
# WebUI验证
7
http://10.0.0.10:9090/query

和原来展示的面板数据相比还是不同！
调整一下单位即可 ✅

变量案例#

1
1)编辑（右上角）--> 添加新元素[变量] --> 变量类型[查询] --> 名称[随便起] --> `打开变量编辑器`

查询类型（Query type）：设置为 Label values（标签值）
- 表示该变量会从Prometheus的某个标签中获取一系列值
标签（Label）：指定为 instance
- 意味着这个变量下拉菜单里会列出所有可用的 instance（实例/节点）标签值
指标（Metric）：当前显示为 Select metric（待选择指标）
- 选一个 node_exporter 指标，如 node_load1；保证只取 node_exporter 的采集目标
- 💡 Metric 只是改变了**“来源范围”**

Tip

up（Prometheus 自带的探活指标）：所有节点都会上报的、通用的指标

Note

现在所有node节点的图，都混在一起了？ 因为我们的查询语句没有用到变量！

1
2)重新配置可视化（基于instance进行过滤）
2
  # CPU使用率
3
(1 - sum(increase(node_cpu_seconds_total{mode="idle",instance="$We_server"}[1m])) /  sum(increase(node_cpu_seconds_total{instance="$We_server"}[1m]))) * 100
4
`末尾别少一个 ) `
5
# 1 - ( idle / total ) 外面套了一层 (...)，然后整体 * 100

1
  # 系统模式占用的时间
2
(sum(increase(node_cpu_seconds_total{mode="system",instance="$We_server"}[1m])) /  sum(increase(node_cpu_seconds_total{instance="$We_server"}[1m]))) * 100
3

4
  # 系统等待时间
5
(sum(increase(node_cpu_seconds_total{mode="iowait",instance="$We_server"}[1m])) /  sum(increase(node_cpu_seconds_total{instance="$We_server"}[1m]))) * 100
6

7
  # CPU的空闲时间
8
(sum(increase(node_cpu_seconds_total{mode="idle",instance="$We_server"}[1m])) /  sum(increase(node_cpu_seconds_total{instance="$We_server"}[1m]))) * 100
9

10
  # 统计各个节点的CPU核心数
11
count(node_cpu_seconds_total{mode="idle",job="kpyun-node-exporter",instance="$We_server"})
12

13
  # 运行时长
14
`偷别人模板的选项`
15
node_time_seconds{instance="$We_server",job="kpyun-node-exporter"} - node_boot_time_seconds{instance="$We_server",job="kpyun-node-exporter"}
16
# 每个实例的图分开了

重启 node1 验证

表格制作案例#

博客源参考链接：https://www.cnblogs.com/yinzhengjie/p/18538430

1
1)node_uname_info 字段详解
2
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" \
3
  --data-urlencode 'query=node_uname_info' \
4
  | jq -r '.data.result[] | "\(.metric | tojson)"' | jq
5
# 实例输出
6
{
7
  "__name__": "node_uname_info",
8
  "domainname": "(none)",
9
  "instance": "10.0.0.2:9100",
10
  "job": "kpyun-node-exporter",
11
  "machine": "x86_64",
12
  "nodename": "node1",
13
  "release": "6.12.0-211.34.1.el10_2.x86_64",
14
  "sysname": "Linux",
15
  "version": "#1 SMP PREEMPT_DYNAMIC Tue Jul 14 23:43:25 UTC 2026"
16
}

标签	含义	你的示例值
`domainname`	NIS/YP 域名（几乎都为空）	`(none)`
`instance`	采集目标地址（Prometheus 自动加）	`10.0.0.2:9100`
`job`	采集任务名（Prometheus 自动加）	`kpyun-node-exporter`
`machine`	CPU 架构（`uname -m`）	`x86_64`
`nodename`	主机名（对应 `uname -n`）	`node1`
`release`	内核版本 release（`uname -r`）	`6.12.0-211.34.1.el10_2.x86_64`
`sysname`	操作系统名（`uname -s`）	`Linux`
`version`	内核完整版本字符串（`uname -v`）	`#1 SMP PREEMPT_DYNAMIC ...`

1
`聚合函数名( 被聚合的表达式 ) by ( 分组标签 )`
2
group(node_uname_info) by (instance, nodename, release)
3
# 保留这些标签，不想要的标签"折叠"掉
4

5
2)验证
6
root@Prom ~# curl -s "http://localhost:9090/api/v1/query"   --data-urlencode 'query=group(node_uname_info) by (instance, nodename, release)' | jq
7
{
8
  "status": "success",
9
  "data": {
10
    "resultType": "vector",
11
    "result": [
12
      {
13
        "metric": {
14
          "instance": "10.0.0.2:9100", ✅
15
          "nodename": "node1", ✅
16
          "release": "6.12.0-211.34.1.el10_2.x86_64" ✅
17
        } .........
18

19
3)添加行[表格展示] --> 添加面板[配置可视化] --> 所有可视化[Table] --> 粘贴执行
20
group(node_uname_info) by (instance, nodename, release)
21
# 面板选项
22
标题：Linux系统统计

1
4)添加转换 --> 重新排序和重命名[大类] --> 按名称组织字段(Organize fields by name)
2
# 对字段重新排序、隐藏或重命名

1
5)配置多指标展示
2
# 统计系统负载（5分钟）
3
node_load5
4

5
root@Prom ~# curl -s "http://localhost:9090/api/v1/query" \
6
  --data-urlencode 'query=node_load5' \
7
  | jq -r '.data.result[] | "\(.metric | tojson)"' | jq
8
{
9
  "__name__": "node_load5",
10
  "instance": "10.0.0.2:9100",  # 关联字段（两个查询都有的字段）
11
  "job": "kpyun-node-exporter"
12
}

Tip

用 node_load5 - 0 来”去掉” __name__ 标签的影响，增加了表格的整洁度 node_memory_MemTotal_bytes - 0 同理 ✅（内存总量）

1
6)添加查询 --> 添加转换 --> 合并[大类] --> 按字段合并
2
node_load5 - 0
3
# 选项(Options)中格式(Format)也是Table

1
7)选择关联的“字段”
2
`需要选两个查询都有，且内容相同的字段，比如 instance 否则合并结果会乱掉`

Caution

这个转换只能处理单个数据帧（单个查询），但现在你有两个查询（两个数据帧），所以它报错了！

解决方法：调整转换顺序（你需要在合并之后再组织字段，而不是在合并之前）把 “按名称组织字段” 拖到最下面

1
# CPU核心数
2
count(node_cpu_seconds_total{mode='idle'}) by (instance)
3

4
# CPU使用率
5
(1 - sum(rate(node_cpu_seconds_total{mode="idle"}[1m])) by (instance)
6
       / sum(rate(node_cpu_seconds_total[1m])) by (instance)) * 100
7

8
# 内存总量
9
node_memory_MemTotal_bytes - 0
10
`表格更加整洁`
11

12
# 内存使用率
13
(1 - (node_memory_MemAvailable_bytes / node_memory_MemTotal_bytes))*100
14

15
# 整机总共出口流量（所有网卡求和）
16
sum(rate(node_network_transmit_bytes_total[1m])) by (instance)

1
# 其他指标同理（略过）
2
8)转换 --> 按名称组织字段（重命名一下）

1
9)覆盖字段
2
仅显示覆盖 --> 添加字段覆盖[带名称的字段] --> 内存总量 --> 添加覆盖属性 --> 标准选项>单位[数据>字节]
3
# 出口流量同理 --> 标准选项>单位[数据>字节]

Warning

数据重复现象：一个非常显著的特点是，表格中的数据呈现出循环重复的规律这表明系统在当前选定的时间窗口内，对这3个节点进行了多次定时采样，并把所有采样结果都罗列在了这张表中

Table 面板默认把「每个时间点」都渲染成一行，所以你会看到 node1/node2/node3 循环重复几十次

解决方案：让每个节点只显示一行 ✅

Grafana 里把面板改成 Instant（即时查询） 类型：

编辑 Panel（面板） → 下面 Query（查询）区域，把查询类型从 Range（范围） 切到 Instant（即时）
这样 Prometheus 只返回当前这一刻的值，每个节点只返回一条，Table 就只剩 3 行了

1
10)彩色背景 + 阈值
2
添加字段覆盖[带名称的字段] --> CPU使用率 --> 添加覆盖属性 --> 单元格选项>单元格类型[彩色背景]
3
--> 添加覆盖属性 --> 阈值
4
# 压力测试node2节点
5
[root@node2 ~]# stress --cpu 4 --io 2 --vm 1 --vm-bytes 128M --timeout 5m
6
stress: info: [1802] dispatching hogs: 4 cpu, 2 io, 1 vm, 0 hdd

备份和恢复#

1
导出（右上角） --> 导出为代码 --> 下载文件（JSON文件）

课后练习#

1
- 自定义Dashboard，要求监控所有的中间件（12个Row）任意3~5个指标;
2
  - Elasticsearch
3
  - kafka
4
  - zookeeper
5
  - docker
6
  - Linux
7
  - windows
8
  - MySQL
9
  - Redis
10
  - MongoDB
11
  - nginx
12
  - tomcat
13
  - RabbitMQ
14

15
- 将你制作的Dashboard进行备份和恢复测试
16

17
- 将自定义的Dashboard上传到grafana.com官网，并通过ID能够到你自定义的模板

音乐

音乐

Prometheus监控中间件 && Grafana进阶#

Prometheus监控主流的中间件#

监控mysql#

监控mongoDB#

监控redis#

监控nginx#

监控tomcat#

Grafana快速入门篇#

Grafana插件安装#

自定义Dashboard#

变量案例#

表格制作案例#

备份和恢复#

课后练习#

文章分享

音乐

Prometheus监控中间件 & Grafana进阶

Prometheus监控中间件 && Grafana进阶#

Prometheus监控主流的中间件#

监控mysql#

监控mongoDB#

监控redis#

监控nginx#

监控tomcat#

Grafana快速入门篇#

Grafana插件安装#

自定义Dashboard#

变量案例#

表格制作案例#

备份和恢复#

课后练习#

文章分享