1
# 下载ES软件包
2
wget -P /home/jiuzhao/下载  https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.17.29-amd64.deb
3

4
# 拷贝至Elk主机
5
jiuzhao@Ubuntu 下载$ scp elasticsearch-7.17.29-amd64.deb Elk01:/tmp
6
elasticsearch-7.17.29-amd64.deb  100%  310MB 341.0MB/s   00:00
7

8
# 安装ES软件包
9
root@Elk01 ~# ls /tmp/elasticsearch-7.17.29-amd64.deb
10
/tmp/elasticsearch-7.17.29-amd64.deb
11
root@Elk01 ~# dpkg -i /tmp/elasticsearch-7.17.29-amd64.deb
12

13
# 修改ES的配置文件
14
root@Elk01 ~# vim /etc/elasticsearch/elasticsearch.yml
15
...
16
# 集群的名字（可省略）
17
cluster.name: My-Elk
18
# 对外暴露ES的IP地址
19
network.host: 0.0.0.0
20
# 表示当前ES是一个单点，而非集群
21
discovery.type: single-node
22

23
# 启动ES服务
24
root@Elk01 ~# systemctl start elasticsearch.service
25
root@Elk01 ~# ss -ntl | grep "9[23]00"
26
LISTEN 0      4096               *:9300            *:*
27
LISTEN 0      4096               *:9200            *:*

1
# 测试验证
2
root@Elk01 ~# curl localhost:9200
3
{
4
  "name" : "Elk01",        # 节点名称，集群内唯一标识
5
  "cluster_name" : "My-Elk",  # 改的集群名称
6
  "cluster_uuid" : "XnJ4HL9cQXaWFfzFH3eOCw",  # 集群唯一 ID
7
  "version" : {
8
    "number" : "7.17.29",    # 版本号
9
    "build_flavor" : "default",
10
    "build_type" : "deb",    # 安装方式（deb 包），决定后续升级/卸载方式
11
    "build_hash" : "580aff1a0064ce4c93293aaab6fcc55e22c10d1c",
12
    "build_date" : "2025-06-19T01:37:57.847711500Z",
13
    "build_snapshot" : false,
14
    "lucene_version" : "8.11.3",
15
    "minimum_wire_compatibility_version" : "6.8.0",
16
    # 最低集群通信兼容版本，决定能和哪些旧版本组集群
17
    "minimum_index_compatibility_version" : "6.0.0-beta1"
18
    # 最低索引兼容版本，旧索引能否被读取
19
  },
20
  "tagline" : "You Know, for Search"
21
}
22
# ES 是 Java 开发的（基于 Lucene）
23
root@Elk01 ~# ls /usr/share/elasticsearch/
24
bin  jdk  lib  modules  NOTICE.txt  plugins  README.asciidoc
25

26
root@Elk01 ~# curl 10.0.0.6:9200/_cat/nodes
27
10.0.0.6 21 96 1 0.01 0.00 0.00 cdfhilmrstw * Elk01
28
root@Elk01 ~# curl 10.0.0.6:9200/_cat/nodes?v
29
ip       heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
30
10.0.0.6           22          96   0    0.00    0.00     0.00 cdfhilmrstw *      Elk01

1
1)停止单点 ES
2
root@Elk01 ~# systemctl stop elasticsearch.service
3
root@Elk01 ~# ss -lntup | grep "9[23]00" | wc -l
4
0
5
# 端口已释放
6

7
2)安装 ES（Elk02、Elk03）
8
root@Elk02 ~# dpkg -i /tmp/elasticsearch-7.17.29-amd64.deb
9
root@Elk03 ~# dpkg -i /tmp/elasticsearch-7.17.29-amd64.deb
10

11
3)修改配置 + 设置 JVM 堆
12
root@Elk01 ~# mkdir -p /etc/elasticsearch/jvm.options.d
13
⚠️ '每台VM都要创建这个目录'
14
root@Elk01 ~# echo -e "-Xms512m\n-Xmx512m" > /etc/elasticsearch/jvm.options.d/heap.options
15
# 修改 elasticsearch.yml（内容见上方）
16

17
4)同步配置到其他节点
18
# 将 Elk01 的配置 scp 到 Elk02/03 的 /etc/elasticsearch/（内容见上方）
19
scp /etc/elasticsearch/elasticsearch.yml 10.0.0.7:/etc/elasticsearch/
20
scp /etc/elasticsearch/jvm.options.d/heap.options 10.0.0.7:/etc/elasticsearch/jvm.options.d/
21
scp /etc/elasticsearch/elasticsearch.yml 10.0.0.8:/etc/elasticsearch/
22
scp /etc/elasticsearch/jvm.options.d/heap.options 10.0.0.8:/etc/elasticsearch/jvm.options.d/
23

24
5)清空旧数据（三台都要做）
25
root@Elk01 ~# rm -rf /var/{log,lib}/elasticsearch/*
26
root@Elk02 ~# rm -rf /var/{log,lib}/elasticsearch/*
27
root@Elk03 ~# rm -rf /var/{log,lib}/elasticsearch/*
28
# 不清数据，单点模式的元数据会导致加入集群失败
29

30
6)三台同时启动
31
root@Elk01 ~# systemctl restart elasticsearch.service
32
root@Elk02 ~# systemctl enable --now elasticsearch.service
33
root@Elk03 ~# systemctl enable --now elasticsearch.service
34
✅️ 三台同时 start，避免脑裂
35

36
7)验证集群
37
root@Elk01 ~# curl 10.0.0.6:9200/_cat/nodes?v
38
ip       heap.percent ram.percent cpu load_1m load_5m load_15m node.role   master name
39
10.0.0.6           65          80  18    0.59    0.28     0.12 cdfhilmrstw -      Elk01
40
10.0.0.7           31          92  23    0.35    0.20     0.09 cdfhilmrstw *      Elk02
41
10.0.0.8           62          93  22    0.58    0.32     0.14 cdfhilmrstw -      Elk03
42
✅️ 3 节点在线，Elk02 被选为主节点
43

44
root@Elk01 ~# curl 10.0.0.6:9200/_cat/health?v
45
epoch      timestamp cluster status node.total node.data shards pri relo init unassign active_shards_percent
46
1785055088 08:38:08  My-Elk  green           3         3      6   3    0    0        0                100.0%
47
# green = 所有主分片和副本分片均正常

1
1)批量写入数据（_bulk）
2
root@Elk01 ~# curl -s --location --request POST 'http://10.0.0.6:9200/_bulk' \
3
--header 'Content-Type: application/json' \
4
--data-raw '{ "create" : { "_index" : "kpyun", "_id" : "1001" } }
5
{ "name" : "孙悟空","hobby": ["蟠桃","仙丹","紫霞仙子"] }
6
{ "create" : { "_index" : "kpyun", "_id" : "1002" } }
7
{ "name" : "猪八戒","hobby": ["吃","睡","高老庄"] }
8
{ "create" : { "_index" : "kpyun", "_id" : "1003" } }
9
{ "name" : "沙和尚","hobby": ["大师兄，师傅被妖怪抓走了","二师兄，师傅被妖怪抓走了"] }
10
'
11
⚠️ 末尾还有个'单引号'
12
# "errors":false = 全部写入成功
13

14
2)查询全部数据
15
root@Elk01 ~# apt -y install jq
16
root@Elk01 ~# curl -s http://10.0.0.6:9200/kpyun/_search | jq
17
"hits": {
18
    "total": {
19
      "value": 3,
20
      "relation": "eq"
21
    } ...............
22
# hits.total.value: 3 = 共 3 条文档

1
3)查询指定文档
2
root@Elk01 ~# curl -s http://10.0.0.6:9200/kpyun/_doc/1003 | jq
3
{
4
  "_index": "kpyun",
5
  "_type": "_doc",
6
  "_id": "1003",
7
  "_version": 1,
8
  "_seq_no": 2,
9
  "_primary_term": 1,
10
  "found": true,
11
  "_source": {
12
    "name": "沙和尚",
13
    "hobby": [
14
      "大师兄，师傅被妖怪抓走了",
15
    ...................
16
# found: true , _source 中显示沙和尚的数据
17

18
4)模糊查询（match）
19
root@Elk01 ~# curl -s --location --request GET '10.0.0.6:9200/kpyun/_search' \
20
--header 'Content-Type: application/json' \
21
--data-raw '{"query":{"match":{"hobby":"蟠桃"}}}' | jq
22
# 搜"蟠桃" → 命中孙悟空
23

24
5)修改文档（POST 覆盖）
25
root@Elk01 ~# curl -s --location --request POST 'http://10.0.0.6:9200/kpyun/_doc/1003' \
26
--header 'Content-Type: application/json' \
27
--data-raw '{"docs":{"hobby":["念经","拜佛","女儿国"],"name":"唐僧"}}' | jq
28
# _version: 2 = 版本号递增，result: "updated"
29
root@Elk01 ~#  curl -s http://10.0.0.6:9200/kpyun/_doc/1003 | jq
30
# 再次查询
31
{
32
  "_index": "kpyun",
33
  "_type": "_doc",
34
  "_id": "1003",
35
  "_version": 2,
36
  "_seq_no": 3,
37
  "_primary_term": 1,
38
  "found": true,
39
  "_source": {
40
    "docs": {
41
      "hobby": [
42
        "念经",
43
        "拜佛",
44
        "女儿国"
45
      ],
46
      "name": "唐僧"
47
    }
48
  }
49
}
50

51
6)删除文档
52
root@Elk01 ~# curl -s -X DELETE http://10.0.0.6:9200/kpyun/_doc/1003 | jq
53
# result: "deleted" , _version: 3
54

55
7)删除索引（索引下所有文档一并删除）
56
root@Elk01 ~# curl -s -X DELETE http://10.0.0.6:9200/kpyun/ | jq
57
# acknowledged: true

1
# 这里安装在Elk02
2
wget -P /tmp/ https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.29-amd64.deb
3
dpkg -i /tmp/filebeat-7.17.29-amd64.deb
4

5
root@Elk02 ~# mkdir -p /etc/filebeat/config
6
root@Elk02 ~# vim /etc/filebeat/config/01-stdin-to-console.yaml
7
filebeat.inputs:
8
- type: stdin       # 从标准输入采集
9

10
output.console:     # 输出到控制台
11
  pretty: true
12

13
root@Elk02 ~# echo "Hello" | filebeat -e -c /etc/filebeat/config/01-stdin-to-console.yaml
14
echo "Hello"    # 模拟输入
15
-e              # 打印日志输出到当前终端
16
-c              # 指定配置文件
17
✅️ 最简单的方式，适合测试
18
"message": "Hello",  # message 字段: "Hello"
19
  "input": {
20
    "type": "stdin"
21
  }

1
root@Elk02 ~# vim /etc/filebeat/config/02-log-to-console.yaml
2
filebeat.inputs:
3
- type: log                       # 从文件采集
4
  paths:
5
    - /tmp/xixi.log
6

7
output.console:
8
  pretty: true
9

10
root@Elk02 ~# touch /tmp/xixi.log
11
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/02-log-to-console.yaml
12
# 在另一个终端：
13
root@Elk02 ~# echo "hello world" > /tmp/xixi.log
14
root@Elk02 ~# echo "line two" >> /tmp/xixi.log
15
# filebeat 输出 JSON，message 字段即为日志行内容
16

17
root@Elk02 ~# echo "abc"
18
abc # 正常输出（有换行）
19
root@Elk02 ~# echo -n "efg"
20
efg⚠️root@Elk02 ~#
21
# echo -n 就是不输出末尾的 \n（没有换行）

1
root@Elk02 ~# echo -n "kpyun" >> /tmp/xixi.log
2
'没有换行符，不进行采集'
3
root@Elk02 ~# echo "2026" >> /tmp/xixi.log
4
'Filebeat 按 \n 分隔事件，所以这两行被当成一条日志采集了'
5
# "message": "kpyun2026"
6

7
root@Elk02 ~# tree /var/lib/filebeat/registry/
8
/var/lib/filebeat/registry/
9
└── filebeat
10
    ├── log.json  # 日志位置
11
    └── meta.json
12
root@Elk02 ~# tail /var/lib/filebeat/registry/filebeat/log.json
13
# 里面有日志文件的inode号，关键字段offset
14
'offset 就是 filebeat 读到文件的哪个字节位置了'
15
# log.json 把每个文件的最后读取位置记下来
16
# 重启时恢复 --> 读 log.json 里存的 offset，从那个位置继续采集，不重复
17

18
# 先暂停正在采集的终端
19
instance/beat.go:462  filebeat stopped.
20
root@Elk02 ~# echo "xixixi" >> /tmp/xixi.log
21
root@Elk02 ~# cat /tmp/xixi.log
22
hello world
23
line two
24
kpyun2026
25
xixixi
26
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/02-log-to-console.yaml
27
# 继续采集 "message": "xixixi"
28

29
'再次暂停'
30
root@Elk02 ~# rm -rf /var/lib/filebeat/     # 清除采集位置点
31
# offset 归零了
32
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/02-log-to-console.yaml
33
# 从头采集

1
# Filebeat也在Elk02安装的
2
root@Elk02 ~# apt -y install nginx
3

4
root@Elk02 ~# vim /etc/filebeat/config/03-nginx-to-console.yaml
5
filebeat.inputs:
6
- type: log
7
  paths:
8
    - /var/log/nginx/access.log
9

10
output.console:
11
  pretty: true
12

13
# 制造访问日志
14
root@Elk02 ~# curl 10.0.0.7
15
root@Elk02 ~# curl 10.0.0.7/NotFound
16

17
# 新日志文件，filebeat 从未见过，不需要删 registry
18
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/03-nginx-to-console.yaml
19
# message 字段: "10.0.0.7 - - [26/Jul/2026:16:45:38 +0800] \"GET / HTTP/1.1\" 200 615 ..."
20
✅️ 成功采集 nginx 访问日志

1
1)安装 nginx + 制造日志
2
root@Elk02 ~# apt -y install nginx
3
# 多 curl 几次制造访问日志
4
root@Elk02 ~# for i in $(seq 1 15); do curl -s 10.0.0.7 > /dev/null; done
5
root@Elk02 ~# wc -l /var/log/nginx/access.log
6
33 /var/log/nginx/access.log
7

8

9
2)编写 Filebeat 写入 ES 的配置
10
root@Elk02 ~# vim /etc/filebeat/config/04-nginx-to-es.yaml
11
filebeat.inputs:
12
- type: log
13
  paths:
14
    - /var/log/nginx/access.log
15

16
output.elasticsearch:
17
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
18
  index: "kpyun-filebeat-nginx-%{+yyyy.MM.dd}"       # 按天分割索引
19

20
setup.ilm.enabled: false                    # 禁用 ILM，否则会忽略自定义 index 名称
21
setup.template.name: "kpyun"            # 索引模板名（可自定义）
22
setup.template.pattern: "kpyun-filebeat*"   # 匹配索引名称的模式（根据索引模板初始化）
23
setup.template.overwrite: false
24
setup.template.settings:
25
  index.number_of_shards: 3                 # 分片数
26
  index.number_of_replicas: 0               # 副本数
27

28

29
3)启动 Filebeat
30
root@Elk02 ~# rm -rf /var/lib/filebeat/     # console 只是预览，现在要把已有日志全部发到 ES，从头重采
31
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/04-nginx-to-es.yaml
32
# 日志显示 Connecting to backoff(elasticsearch(http://10.0.0.x:9200)) established
33
✅️ 三台 ES 全部连接成功
34

35

36
4)ES 中验证数据
37
root@Elk01 ~# curl -s 10.0.0.6:9200/_cat/indices?v | grep nginx
38
green open kpyun-filebeat-nginx-2026.07.27 ... 3 0 33 0 48.1kb
39
# 索引已创建，33 条文档，3 个主分片，0 个副本
40

41
root@Elk01 ~# curl -s 'http://10.0.0.6:9200/kpyun-filebeat-nginx-2026.07.27/_search?size=1' | jq '.hits.hits[0]._source.message'
42
"10.0.0.7 - - [26/Jul/2026:16:45:38 +0800] \"GET / HTTP/1.1\" 200 615 \"-\" \"curl/8.5.0\""
43
# 数据内容与 nginx access.log 一致

1
1)查看模块列表
2
root@Elk02 ~# filebeat modules list
3
Enabled:       # 已启用
4

5
Disabled:      # 已禁用
6
activemq
7
apache
8
...
9

10
2)启用 nginx 模块
11
root@Elk02 ~# filebeat modules enable nginx mysql
12
Enabled nginx
13
Enabled mysql
14
root@Elk02 ~# filebeat modules list | head -4
15
Enabled:
16
mysql
17
nginx    # nginx 出现在已启用列表
18

19
3)底层逻辑就是文件重命名💡
20
root@Elk02 ~# ls -la /etc/filebeat/modules.d/nginx*
21
-rw-r--r-- 1 root root 784 Jun 19  2025 /etc/filebeat/modules.d/nginx.yml
22
# enable  = *.yml.disabled 改名 *.yml
23
# disable = *.yml 改名 *.yml.disabled
24

25
4)手动模拟
26
root@Elk02 ~# mv /etc/filebeat/modules.d/tomcat.yml{.disabled,}
27
# 效果等同于 filebeat modules enable tomcat
28
root@Elk02 ~# filebeat modules list | head -4
29
Enabled:
30
.....tomcat    # tomcat 出现在已启用列表
31
root@Elk02 ~# mv /etc/filebeat/modules.d/mysql.yml{,.disabled}
32
# 效果等同于 filebeat modules disable mysql

1
root@Elk02 ~# wc -l  /var/log/nginx/access.log
2
24 /var/log/nginx/access.log
3

4
2)编写Filebeat的模块文件
5
root@Elk02 ~# mv /etc/filebeat/modules.d/tomcat.yml{,.disabled}
6
root@Elk02 ~# filebeat modules list | head -3
7
Enabled:
8
nginx  # 只需要开启nginx模块即可！
9
root@Elk02 ~# ll /etc/filebeat/modules.d/*.yml
10
-rw-r--r-- 1 root root 784 Jun 19  2025 /etc/filebeat/modules.d/nginx.yml
11
# 查看已启用模块
12

13
3)修改nginx的模块配置
14
root@Elk02 ~# egrep -v "^.*#|^$" /etc/filebeat/modules.d/nginx.yml
15
- module: nginx
16
  access:
17
    enabled: true
18
    var.paths: ["/var/log/nginx/access.log*"]
19
    # 启用访问日志并指定路经
20
  error:
21
    enabled: false    # 错误日志采集（关闭）
22
  ingress_controller:
23
    enabled: false    # K8s Ingress 日志（普通 nginx 不需要）
24

25
4)编写Filebeat的配置文件
26
root@Elk02 ~# vim /etc/filebeat/config/05-modules_nginx-to-es.yaml
27
filebeat.config.modules:  # 启用模块配置
28
  path: ${path.config}/modules.d/*.yml  # 指定模块的路径（找所有已启用的模块）
29
  # 此处的'${path.config}'会找到模块的配置文件路径，启动Filebeat时会定义该参数
30
  reload.enabled: true    # 是否支持热加载配置文件
31

32
# 变一下索引（filebeat-modules）
33
output.elasticsearch:
34
  hosts: ["http://10.0.0.6:9200","http://10.0.0.7:9200","http://10.0.0.8:9200"]
35
  index: "kpyun-filebeat-modules-nginx-%{+yyyy.MM.dd}"       # 按天分割索引
36

37
# 下面的不改变
38
setup.ilm.enabled: false                    # 禁用 ILM，否则会忽略自定义 index 名称
39
setup.template.name: "kpyun"            # 索引模板名（可自定义）
40
setup.template.pattern: "kpyun-filebeat*"   # 匹配索引名称的模式（根据索引模板初始化）
41
setup.template.overwrite: false
42
setup.template.settings:
43
  index.number_of_shards: 3                 # 分片数
44
  index.number_of_replicas: 0               # 副本数
45

46
4)启动Filebeat实例
47
root@Elk02 ~# rm -rf /var/lib/filebeat/
48
# 换输入 raw→module，且修改为新测试数据，新老日志全部重过模块管道
49
root@Elk02 ~# filebeat -e -c /etc/filebeat/config/05-modules_nginx-to-es.yaml
50

51
5)kibana查询相关的字段
52
host.name
53
log.file.path
54
source.geo.city_name
55
source.geo.country_name
56
url.path
57
user_agent.os.full
58
user_agent.device.name
59
traefik.access.user_agent.name
60
source.ip
61
http.response.status_code