使用filebeat日志收集到elasticsearch服务器上

admin

filebeat是轻量级日志收集框架，go语言开发。需要在每个日志收集的终端部署，配置日志文件路径。可以将日志收集到es，logstash，这里以收集到elasticsearch为例。配置主要分为input和output两块。解压后有filebeat.yml配置文件，主要针对该文件进行配置。
; n% P- f5 k3 N- F
% G& F) q. E) d' \- type: log
$ D! f3 C& R- g; `. s#日志文件位置
8 J' V3 s6 M9 D% k  paths:
; y, z7 W! d, E4 s    - /data/logs/*/*.log
! [$ u0 w! D5 B7 Q; Z! G7 u; poutput.elasticsearch:
4 M% w3 I/ G8 b  #es连接信息
- ?0 I4 I: ^1 w9 w, b4 @  z  hosts: ["localhost:9200"]
+ ^) i4 j& r* H- j; K) c2 H/ Q- ]" E  protocol: "http"
  username: "elastic"
  password: "888888"
会自动创建一个 "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}-%{index_num}"



% J0 g* t! O3 ], d* y, o- T例子：

vim  /etc/filebeat/filebeat.yml
, @, S: e4 |1 c# R8 P7 k# @: s. r
filebeat.inputs:
- type: log
! x' z0 [1 w; w1 P0 {5 ^3 A5 ]   enabled: true
) {- h0 }2 N4 H% Q* `0 D* p# v   paths:
    - /var/log/messages
   tags: ["messages"]
   fields_under_root: true

) j7 S6 y8 D# w. j0 i$ Z - type: log
   enabled: true
4 h' m# @) x  Z6 o7 i- `* y   paths:
    - /var/log/nova/nova-compute.log
0 }9 {. u7 D, y( X) X   tags: ["nova-compute"]
   fields_under_root: true

- type: log
* \! m( C1 g2 b3 |; X; z. ]   enabled: true
# B0 S# j: l( M% Z* e* S/ V7 K   paths:
    - /var/log/nova/nova-manage.log
   tags: ["nova-manage"]
   fields_under_root: true

, J' D) A3 \' K' Z  e - type: log
8 x7 ~* H/ H  P- N3 i) W   enabled: true
! A  C) v$ k( X3 k3 }5 ?   paths:
    - /var/log/nova/scheduler.log
   tags: ["scheduler"]
   fields_under_root: true

/ t1 F' I. y; K, X% o8 w4 N  | - type: log
   enabled: true
   paths:
    - /var/log/nova/conductor.log
   tags: ["conductor"]
   fields_under_root: true

+ ~( e5 J( Y1 p - type: log
' k# }* q# N" X; V$ i   enabled: true
   paths:
4 E7 s/ K; }4 J1 O" D7 u9 ^  m: l    - /var/log/nova/cert.log
. N- R9 p1 ]1 W; o. F# x9 c6 R: J) G   tags: ["cert"]
   fields_under_root: true

- type: log
   enabled: true
   paths:
. p# }( d0 u( G/ ?) ?$ [    - /var/log/nova/consoleauth.log
( ?' E4 e  r. l* D   tags: ["consoleauth"]
   fields_under_root: true

2 ~: u; N) J  b - type: log
   enabled: true
6 ^  k5 B) ]& a   paths:
# r2 J) @9 s. ^6 W6 w    - /var/log/nova/nova-novncproxy.log
   tags: ["nova-novncproxy"]
   fields_under_root: true

- type: log
   enabled: true
% w  ?/ y1 D4 m   paths:
    - /var/log/rabbitmq/rabbit*.log
   tags: ["rabbit"]
5 `% f( ^( W! {9 _) z$ F   fields_under_root: true
- D# b, |& f3 }. P) n
* ~2 J' \" T) n8 z2 k9 Q - type: log
% h/ o: I0 z( j; ?, f   enabled: true
9 w9 [* i3 m# j# T! U   paths:
7 ?3 E2 N& W* @: x3 G# f    - /var/log/glance/*.log
7 u& ~8 M2 J7 }( q, T8 R# v   tags: ["glance"]
7 t5 F8 Q6 J. J% P& q. s' G& _! W   fields_under_root: true

- type: log
+ s* h. I( V5 s" J5 B) ~( d. G   enabled: true
8 W1 m6 @$ ]( u2 I1 [' O- v   paths:
- R- n( T! D' W    - /var/log/neutron/openvswitch-agent.log
   tags: ["openvswitch-agent"]
   fields_under_root: true

; B, x% ^8 Z, e5 q- f - type: log
   enabled: true
   paths:
8 k* K1 G. ~/ K% J    - /var/log/kuryr/kuryr-controller.log
$ y: d7 p. B6 D: u   tags: ["kuryr-controller"]
   fields_under_root: true
9 F2 @$ s8 \8 u
- type: log
' _( \' Y& Y7 V/ a3 Q   enabled: true
   paths:
, A+ w. F+ P2 }4 k9 {, s    - /var/log/keystone/keystone.log
& \: P3 W. v( d+ Y- H- n   tags: ["keystone"]
3 F' C0 Q& ]7 o   fields_under_root: true
$ V4 L# b. n" h! @$ m) z7 z3 U) Y4 y& E! i
- K3 e9 N) z1 w/ W/ @output.elasticsearch:
- Q- I' l% Y5 t7 p) i' Q+ N; ^  hosts: ["172.24.110.12:9200", "172.24.110.12:9200"]
  username: elastic
  password: xxxxxxx
  indices:
3 H% r$ b: i/ q' `4 c3 }6 ]    - index: "compute_messages-error-%{[agent.version]}-%{+yyyy.MM.dd}"
; E+ {" L6 w+ k4 ^      when:
8 A% v, ]3 X  J% p0 G) x        or:
          - contains:
* |( a+ D7 [6 r) y& A* g              tags: "messages"
+ f+ C0 `  J2 [" x: ~- m5 f& o              message: "err"
0 Q- U4 V2 h* c& o$ K, H          - contains:
3 ~1 k% I- @4 A9 i, p' l8 M  d/ a              tags: "messages"
              message: "ERR"
          - contains:
. s+ R; [& F* J* W5 |/ p6 m: F              tags: "messages"
# I* I( M6 _- f; P7 s; n& \              message: "fail"
) r6 _! n) P9 ]9 r" W    - index: "compute_messages-%{[agent.version]}-%{+yyyy.MM.dd}"
1 R. W, v) s0 _4 o      when.contains:
        tags: "messages"
/ ?, y3 y9 n, r9 }% `' Q9 X* F    - index: "compute_nova-compute-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
! o" A- z1 g; {% B) T          - contains:
2 {& B2 Q, T) ?3 H1 f              tags: "nova-compute"
              message: "err"
: ?+ o- a* S/ T9 z. H          - contains:
              tags: "nova-compute"
/ g' ^4 h3 w) i, }              message: "ERR"
( ^; }, N3 t. ^0 v& ?; g( S9 Q: y          - contains:
              tags: "nova-compute"
              message: "fail"
8 ^7 V, C) F) G' \) s# G    - index: "compute_nova-compute-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "nova-compute"
3 Y* O! R( Z" w' P% P) ^
& p' a) ]; }1 J7 o8 X4 N  m    - index: "controller_nova-manage-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
9 s9 B9 _( W: Q        or:
          - contains:
              tags: "nova-manage"
9 E) D: |0 v3 l# c. R              message: "err"
          - contains:
; o* C7 Z) d3 b8 M2 k2 `/ T              tags: "nova-manage"
4 k% j& o* @6 O1 X3 N              message: "ERR"
7 I- p% A' A2 o8 k' Q8 f* q8 B          - contains:
              tags: "nova-manage"
              message: "fail"
    - index: "controller_nova-manage-%{[agent.version]}-%{+yyyy.MM.dd}"
' u) x6 O0 I# C' I+ P      when.contains:
        tags: "nova-manage"

    - index: "controller_scheduler-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
) `5 T7 {( |9 n; P4 F7 P$ X        or:
          - contains:
: t" i# J5 n: }              tags: "scheduler"
4 C, w0 u8 r* |: _' q, N              message: "err"
0 t$ N# @& Y3 T& b/ l  z          - contains:
  p. P. n% `4 p' X$ h              tags: "scheduler"
              message: "ERR"
          - contains:
              tags: "scheduler"
/ }- f, a, w3 Z' B, o  B# Y              message: "fail"
# h. s+ N5 H" X    - index: "controller_scheduler-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
8 v, Z$ }! S1 ]$ y        tags: "scheduler"

    - index: "controller_conductor-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
( e3 [. c: P) X$ o% e9 t          - contains:
              tags: "conductor"
              message: "err"
          - contains:
              tags: "conductor"
              message: "ERR"
          - contains:
              tags: "conductor"
              message: "fail"
! X* p& B7 w$ e9 a0 P    - index: "controller_conductor-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "conductor"

! b( y  n! F, q& N) Y    - index: "controller_cert-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
; u$ {. T6 a6 }) s# H' y% R! c" ~& T% b        or:
          - contains:
              tags: "cert"
+ o# K! H( A% j$ d9 e) Q, f# e/ o              message: "err"
. r, ?4 {# W- }          - contains:
              tags: "cert"
              message: "ERR"
          - contains:
0 N# U' s2 |4 T! r  k* N/ C' e              tags: "cert"
, W1 ?5 ^1 `" f6 S              message: "fail"
& o: x' m. j( |) u" I. m    - index: "controller_cert-%{[agent.version]}-%{+yyyy.MM.dd}"
9 |! n, ]6 h, D( C1 b5 ?4 N      when.contains:
        tags: "cert"

    - index: "controller_consoleauth-error-%{[agent.version]}-%{+yyyy.MM.dd}"
, i: c5 F: p0 |; v      when:
6 ]; }  C$ x" W4 V* z        or:
          - contains:
              tags: "consoleauth"
              message: "err"
          - contains:
( u6 {- d" q2 S5 t9 f" `" Q* v              tags: "consoleauth"
/ m, r# N, ~& }1 {. [+ K* a+ r              message: "ERR"
+ G' k( g. q" k  B5 s          - contains:
              tags: "consoleauth"
+ [9 d4 \0 {0 J5 Z              message: "fail"
& \7 T% G8 d' i' B    - index: "controller_consoleauth-%{[agent.version]}-%{+yyyy.MM.dd}"
2 j' k+ _* e: `' U) h; o      when.contains:
        tags: "consoleauth"
9 C1 K' c# u  ^5 K, E$ r
) j- o1 t# d& S  y( F, F% i, s    - index: "controller_nova-novncproxy-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
          - contains:
/ z5 B0 a) q7 K3 w+ a              tags: "nova-novncproxy"
              message: "err"
( g( c& q" P' W" D3 v; ~          - contains:
0 _- e! {9 h4 p/ D5 E& {              tags: "nova-novncproxy"
# v. y7 P6 [1 N" d  P8 R              message: "ERR"
( e) b$ s; U, ^$ N( a7 N7 m          - contains:
              tags: "nova-novncproxy"
              message: "fail"
4 K" j* ~% E5 i% i8 U4 R    - index: "controller_nova-novncproxy-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
+ P  g: h5 z7 W- z0 P. D: U        tags: "nova-novncproxy"
) p: ~6 E/ ?: B
    - index: "controller_rabbit-error-%{[agent.version]}-%{+yyyy.MM.dd}"
, l5 k, D  s# Z0 a! t! C6 Q6 |- U: b      when:
# ^; t& m0 v. y$ v        or:
6 Y; ^* r3 Y% j. i6 x/ Q          - contains:
3 `* f" e1 X  @2 o" w8 M2 K: p              tags: "rabbit"
% n* q# W2 O9 ~& n* B3 [  _: x1 c              message: "err"
          - contains:
; U/ Q8 Z. @$ p! l( y& ]4 K% S8 g              tags: "rabbit"
) E$ r/ t" f) X              message: "ERR"
          - contains:
! G+ B2 x. {/ Y0 _              tags: "rabbit"
              message: "fail"
3 |! N, S0 U" K, m( n    - index: "controller_rabbit-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
+ P5 I* q* U2 p) _9 o        tags: "rabbit"
% Q. y4 ~# o3 y" O" v
    - index: "controller_glance-error-%{[agent.version]}-%{+yyyy.MM.dd}"
! Y. s) Q; _( r) r      when:
        or:
% z1 Y/ d9 m- f2 a( P% |          - contains:
8 Q1 m4 d1 m: }7 g) r              tags: "glance"
              message: "err"
          - contains:
- j, i* M8 y; d, I3 C              tags: "glance"
- B, _. C' q7 V+ I$ U1 P1 h              message: "ERR"
          - contains:
+ F9 P1 [9 x: U  W& [/ c              tags: "glance"
' l' p+ e& Z8 @7 \9 n              message: "fail"
( e- W& Q$ D/ B" _. p3 c6 ^    - index: "controller_glance-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
) ?3 v( K  @6 M        tags: "glance"

4 n$ y2 B) }7 S    - index: "controller_openvswitch-agent-error-%{[agent.version]}-%{+yyyy.MM.dd}"
- {7 n' [2 I4 w; t4 E  l- L      when:
        or:
) X0 W: D. R* G7 X          - contains:
( X4 ]; q5 G1 i& Z& A/ I& n              tags: "openvswitch-agent"
              message: "err"
          - contains:
) ]  J0 ~* u4 r0 E: S. ~              tags: "openvswitch-agent"
- D7 N- l, f  T2 l9 E              message: "ERR"
0 X5 S  [2 ^2 X1 G3 o# D          - contains:
              tags: "openvswitch-agent"
7 ~, J) t$ [  S, M% }; ]1 J              message: "fail"
1 f3 e% }; y" i# v+ D; N8 K0 y2 y    - index: "controller_openvswitch-agent-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
0 n7 e5 S& t3 [: V6 O        tags: "openvswitch-agent"

    - index: "controller_kuryr-controller-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
          - contains:
4 K0 f( H! {3 v              tags: "kuryr-controller"
( ]6 _, l8 {3 p0 t. R  C1 ?9 P              message: "err"
  D* T3 s% p3 E6 n# V- {. |          - contains:
              tags: "kuryr-controller"
              message: "ERR"
          - contains:
              tags: "kuryr-controller"
. f# A, U$ K# Z( e1 S              message: "fail"
    - index: "controller_kuryr-controller-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
: T9 Z2 f; t$ n" Z$ V4 Y        tags: "kuryr-controller"

" T% h+ W# q5 `% @. }* f    - index: "controller_keystone-error-%{[agent.version]}-%{+yyyy.MM.dd}"
+ k6 f. Y9 y* W7 u      when:
& u$ t$ t: k& s- z) f        or:
          - contains:
              tags: "keystone"
              message: "err"
          - contains:
* i% @; U8 {, o+ ?0 {              tags: "keystone"
              message: "ERR"
# k% C; A0 W4 n+ w- ]9 L          - contains:
              tags: "keystone"
              message: "fail"
" S; k! k& @8 G# A0 c' p    - index: "controller_keystone-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "keystone"
3 R9 {6 I7 \0 e
setup.ilm.enabled: false
setup.template.name: system
setup.template.pattern: system-*

$ k' Q* O' c3 d% o- B
7 @9 ^* Q3 z% Z' c, \+ n
  Q  B! C. }5 Y- G& y$ J2 Y' s
例：filebeat-7.12.1-2023.05.16-000001索引文件
+ P2 ^! L; s+ S" P  v7 L7 \
索引创建规则
* i. {( R2 s) C+ u
9 L1 N) o3 h1 j. I默认使用es的索引声明周期策略

/ h* H1 N, A4 H  u% mindex lifecycle management (ILM) 生成索引

) ~5 a# h  Y$ A3 S! G6 ^: C; I  M配置ILM

7 X1 m  t3 N- Q4 d4 u#auto false true
% u& m9 g" W; Y' Y- @setup.ilm.enabled: auto
#索引别名
setup.ilm.rollover_alias: "filebeat"
+ l& n& G, ^, k- a. l#索引增加策略
, ~; ^1 s  N# W  t9 B, Jsetup.ilm.pattern: "{now/d}-000001"
setup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引

) y/ u" V* ~  A$ h* ]setup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。

setup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。

: w' Y$ R  S, Q* M5 U" P自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。
2 y: \, \0 n) m7 l
. O3 \7 Y! ]# q7 n4 Q/ D更多配置参考：https://www.elastic.co/guide/en/beats/filebeat/7.17/ilm.html

' m5 I, K, f$ C% q1 L% l0 F# x自定义索引文件
- O3 Z, g' @/ I/ C( |: G) F+ s
output.elasticsearch可以指定index，使用自定义索引第一步就是要关闭ILM,

setup.ilm.enabled: false
  k; I' I3 u' F# Y0 ?8 s8 K下一步要配置setup.template.name和setup.template.pattern
- V. l4 r7 x3 y4 ?- b, K
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
/ ]' U: G2 A" N  x8 asetup.template.overwrite: false
在output.elasticsearch指定index

: J" K4 i. V; M2 _7 i4 b" Vindex: "spring-%{[agent.version]}-%{+yyyy.MM.dd}"
运行就会自动生成索引spring-7.12.1-2023.05.16。index定义可以使用上下文定义变量。可以在input里自定义field
! o* G. G/ {& q1 U
" U# J3 d$ ^* v. f3 ?& ?+ dfields:
+ S; }/ H& m' o6 ~/ A8 p    level: system
. Q( u7 x9 X3 m$ H    region: A1
自定义的fields会一并push到索引中，index中使用自定义的fields
9 J# C- u0 `0 w
* W( b4 I  C" u1 \/ O( dindex: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
# V, J, z5 F4 J& G0 k7 ^! B会生成索引：spring-a1-7.12.1-2023.05.16。这里A1自动转成小写了。

0 `& M0 D. U* j3 V7 P5 d! J日志多行合并
/ m0 x, ]9 H- u. N6 @+ z1 J& `- W
9 u) B/ g. [4 S+ a& k/ F; Q默认情况下收集日志一行一条记录，有些情况下比如格式化输出，异常栈。一条完整的日志会包含多行数据。这时候就需要配置多行匹配。配置项在filebeat.inputs里

( `) N4 b* X' x% i* Rmultiline.pattern: '^\['
multiline.negate: true
+ _6 H# g; F' f0 }( Amultiline.match: after
multiline.pattern指定日志匹配正则，这里'^['就是匹配以 [ 开头的行。这个地方的具体格式就要合实际输出的日志格式相匹配了。
- A% r7 q+ u4 }4 }& O
$ }8 y$ ?0 ?) |, V* znegate和match两个参数结合使用，没太看懂，理解其来感觉有点绕，自己看官方演示例子吧https://www.elastic.co/guide/en/ ... iline-examples.html，有个表格图例。大体意思就是遇到不匹配的是向上合并还是向下合并，归属于那一条。这里配置true和after就是不匹配的格式行归属到上一个匹配的结果行。

0 ~2 D7 l2 `, K/ ~! G% J根据条件写入不同索引
4 l5 x6 ?1 b8 w/ j: S
output.elasticsearch:
  hosts: ["http://localhost:9200"]
* @0 @" [5 i; S7 l; L% N' O5 H! o  indices:
    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
8 v7 t8 F6 }1 l+ O; u        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
. }9 _1 d; S, x: B3 V      when.contains:
        message: "ERR"

# X$ A  F+ n9 \9 v4 [4 u1 a2 c- }+ _. t判断message内容，是否包含某些内容。不做演示。
' C& _; `. V' o
0 P3 S# W- F; O* Q* t" d: T9 N收集到的日志可在kibana 日志功能界面化查看检索。需要配置日志索引匹配模式，例如上面的我们就需要新增匹配日志模式spring-*。

最后filebeat.yml有效配置大概这样

filebeat.inputs:
- type: log
  enabled: true
8 D* }# X1 H9 g; r$ h- b4 K  paths:
    - /data/logs/*/*.log

9 P0 p# ]/ T- X) R  fields:
    level: system
    region: A1
. ^4 b& }7 ^. _7 Q
$ A' _, ?! P+ F& r: B- u  multiline.pattern: '^#\['
  multiline.negate: true
  multiline.match: after
! r+ c! \$ _% a  s( ~7 T8 b: F
output.elasticsearch:
  hosts: ["localhost:9200"]
  protocol: "http"
  username: "elastic"
  password: "888888"
* i$ ~% }# y9 c3 W  index: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
1 w4 |3 y# K. [2 X2 [% W  o
setup.ilm.enabled: false
5 i) A% m1 r. A" fsetup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
7 Y; R- p4 W2 @6 s; Z7 c2 C0 bsetup.template.overwrite: false


; F2 D0 s# Q+ U) L

admin

/app/logs/info.log日志文件为JSON格式
自定义索引生命周期名为：pn_springboot,可提前建好
$ B) }5 @3 U/ I% ^) [' ~9 {9 ^% y& c7 _自定义索引名为：idx_springboot
自写义索引模板名为：tn_springboot

admin

filebeat配置会把所有的索引都放到同一个文件中，通过摸索发现可以自定义索引的名字、模板、生命周期

（重点注意）该配置文件只适应于ES版本是8，不适应于其他版本
% @; {; z, y. J/ L( e0 ]$ P- }1 {
3 Q* D8 p5 Q1 ~- R3 L/app/logs/info.log日志文件为JSON格式
; T- @* H' r+ i  i7 Y自定义索引生命周期名为：pn_springboot,可提前建好
自定义索引名为：idx_springboot
自写义索引模板名为：tn_springboot
2 O- I. i% u& b9 {( F% S
/ ^, m- i" R" I5 x; v4 q8 ~8 a( pES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，
不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了
* c9 h1 S# s& ]9 E! C& X
filebeat.inputs:
  - type: filestream
    id: my-filestream-id
. m! @' O% q  [2 S5 I    enabled: true
    paths:
1 N" y: L- R# l% z9 c/ X6 r7 B      - /app/logs/info.log
    parsers:
- W7 Z+ O& s2 P( W) x# {      - ndjson:
          keys_under_root: true
* M- Q- H7 N0 J6 d' l          overwrite_keys: true

setup.template.name: "tn_springboot"
0 y8 k/ T& d# B( u5 ~5 Bsetup.template.pattern: "idx_springboot"
1 u7 `. c6 d& r; u$ Q9 lsetup.template.overwrite: true
1 K, }! g& L$ J% S$ \4 v! t' tsetup.template.settings:
  o  _& N7 {) w2 Q& o  index.lifecycle.name: "pn_springboot"
  index.number_of_replicas: 0
" I. @3 m) I( p" x4 `
output.elasticsearch:
  B4 v; F0 N7 H1 W- l0 f, [' e  hosts: ["http://172.16.211.21:9200"]
  username: "elastic"
5 A% S) W# C; T/ d* Z& Y  password: "elastic"
  index: "idx_springboot"
4 I: d8 T( t, \( D" p0 A
2 z0 {+ r0 B6 L1 Q7 ~0 W

admin

例：filebeat-7.12.1-2023.05.16-000001索引文件

索引创建规则

, i, i1 T/ ?& D2 a默认使用es的索引声明周期策略
( [$ t0 P* u0 ]+ a5 @. U& c
index lifecycle management (ILM) 生成索引
! \# D' ?' V- o- A
3 M6 \5 X( |* t1 g配置ILM

8 b' o! q  a: g6 O6 w. p#auto false true
! J! _8 ~# S, t% z" c" Y% Bsetup.ilm.enabled: auto
#索引别名
) ~' b, r' F0 @8 X* Y: [2 V3 Jsetup.ilm.rollover_alias: "filebeat"
#索引增加策略
" z  j! T+ U7 `( g/ S2 y1 Ssetup.ilm.pattern: "{now/d}-000001"
5 `+ Y5 A; y2 w: i& u  L* }7 Xsetup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引

setup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。
$ ~4 m# G& N/ t! C& ^. n, b
; W- K7 q  n3 r  [0 ~setup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。

, p, F2 `" y. g4 N( H自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。