使用filebeat日志收集到elasticsearch服务器上

admin

filebeat是轻量级日志收集框架，go语言开发。需要在每个日志收集的终端部署，配置日志文件路径。可以将日志收集到es，logstash，这里以收集到elasticsearch为例。配置主要分为input和output两块。解压后有filebeat.yml配置文件，主要针对该文件进行配置。
- \4 ~7 `- T- h2 O2 ^- R1 U. L. S
- type: log
#日志文件位置
  paths:
5 T) F) E) P2 z2 G/ s. F    - /data/logs/*/*.log
output.elasticsearch:
  #es连接信息
  hosts: ["localhost:9200"]
( v) a$ D% D7 M; F" t5 s9 D& |  protocol: "http"
  username: "elastic"
  password: "888888"
7 N% l! C# p' M2 {. }  }会自动创建一个 "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}-%{index_num}"
. D2 f; J) u, W% S& S% }
2 p( Y% F" N5 u8 @2 h, r  @

0 j5 ^, F' P9 u5 P8 f例子：

vim  /etc/filebeat/filebeat.yml
" Z* ]" b9 Q* w
/ o5 d+ v0 X& g6 g% o  rfilebeat.inputs:
0 m/ ~# M. j4 j: U - type: log
3 a" O; a7 P3 s/ V; M# b1 j   enabled: true
" L" e+ y0 Z/ d4 u( X' v0 v   paths:
    - /var/log/messages
   tags: ["messages"]
2 E( Y) ?, o% i. w   fields_under_root: true

- type: log
# |( C2 x1 U4 S. f. Z   enabled: true
0 }, i/ g% ^; I% a   paths:
, O8 U2 M0 ~; l8 \: A    - /var/log/nova/nova-compute.log
   tags: ["nova-compute"]
   fields_under_root: true

- K1 a! n, F% L3 t- Z4 n - type: log
   enabled: true
   paths:
6 i; Q2 |% x: ~& I1 {5 C    - /var/log/nova/nova-manage.log
   tags: ["nova-manage"]
1 U! M" [/ |* D2 u   fields_under_root: true

7 b8 M# |5 o& [0 z. C+ B - type: log
   enabled: true
5 A# }1 r, \8 _; h; s   paths:
5 j" s& Y: t$ p- q% ?' `$ U/ Q    - /var/log/nova/scheduler.log
( j: R& O+ a* N* B' d4 L   tags: ["scheduler"]
" {0 N; X; e8 \! p& `   fields_under_root: true

6 j5 \# o/ O" Y - type: log
3 X8 S8 P8 m3 |/ T   enabled: true
! k- x# ~% Z. ~   paths:
& q! @$ v0 _) q, w5 @    - /var/log/nova/conductor.log
: D& Y& Z* ]; W5 }  |   tags: ["conductor"]
   fields_under_root: true

+ [5 @; _/ N. R9 d1 n# W - type: log
   enabled: true
   paths:
) L2 f9 _0 g" T    - /var/log/nova/cert.log
   tags: ["cert"]
   fields_under_root: true
; w3 v& }, _( R. s9 r( c2 N: i8 S
- type: log
   enabled: true
8 K3 Z. x/ X5 X: O   paths:
8 `1 I5 n' X9 e# |    - /var/log/nova/consoleauth.log
   tags: ["consoleauth"]
   fields_under_root: true
8 C, p. d6 O3 n+ O% C
+ E% f- V2 p9 d' z4 ?7 O0 N' E. | - type: log
; k) W" R% r! ?3 C" S" V0 x   enabled: true
* Q+ j% G" r0 Y3 P   paths:
    - /var/log/nova/nova-novncproxy.log
   tags: ["nova-novncproxy"]
   fields_under_root: true
" M1 [/ C) H. T4 w, _+ i
- type: log
   enabled: true
   paths:
7 j* e- e; [5 Y8 C" F    - /var/log/rabbitmq/rabbit*.log
   tags: ["rabbit"]
   fields_under_root: true

2 T0 Z; C; [2 p6 F' R# R4 s) n - type: log
( P- ?! n9 G( v3 t   enabled: true
% l. U* D6 O  S! s+ v7 {   paths:
    - /var/log/glance/*.log
3 Z$ x) n5 z: B6 P4 D) E   tags: ["glance"]
- _& `# b2 a0 t. e   fields_under_root: true
* ~, V- A# W1 K
- type: log
6 k, _( q7 \  I" r& g4 e   enabled: true
( r; x6 j$ G: c. z   paths:
2 {6 w9 L* `( J" C* u4 L    - /var/log/neutron/openvswitch-agent.log
   tags: ["openvswitch-agent"]
   fields_under_root: true

- type: log
   enabled: true
. t. f0 y/ m8 `. ]   paths:
    - /var/log/kuryr/kuryr-controller.log
/ y; C5 G+ Q9 k8 \   tags: ["kuryr-controller"]
2 Q+ y0 m; z, b: l: K- e$ e. `   fields_under_root: true

- type: log
   enabled: true
, i/ g( R! C% m4 p$ }9 ~6 \   paths:
% E" j1 B' q2 O8 m    - /var/log/keystone/keystone.log
   tags: ["keystone"]
, P+ E3 R/ _- w. i: u   fields_under_root: true
- ]4 Y$ \) S7 B3 e
& E1 D) O5 }  ?* ?7 E2 voutput.elasticsearch:
$ _7 u& ?4 N9 l- t$ {; ~3 p  hosts: ["172.24.110.12:9200", "172.24.110.12:9200"]
5 C- E' T) r  K8 L) |$ |  username: elastic
  password: xxxxxxx
- I9 n( r- p- m* \0 g  indices:
    - index: "compute_messages-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
; L% j+ ?' K# b        or:
          - contains:
3 S# V( e. e, W: I8 _2 R$ ^6 z              tags: "messages"
              message: "err"
          - contains:
) ?- f0 L/ i6 y5 A              tags: "messages"
, R2 a0 k, V; ~8 a8 W              message: "ERR"
          - contains:
: B3 l# S! `) X' e3 P4 O2 M              tags: "messages"
              message: "fail"
9 t+ c. B8 O; h    - index: "compute_messages-%{[agent.version]}-%{+yyyy.MM.dd}"
! T* D$ N+ i3 d, H, I      when.contains:
4 U) w: D; m  x% ^        tags: "messages"
) e1 G2 B/ V7 f% Y' x6 Y# ]# `& s    - index: "compute_nova-compute-error-%{[agent.version]}-%{+yyyy.MM.dd}"
4 G3 V4 [$ |$ y! M1 Q# D; L      when:
2 r0 i. y/ e0 ^0 F6 g2 ]        or:
. N! f. c3 E8 a6 n4 b$ l2 X          - contains:
, V: m% y- M) Z' W* i              tags: "nova-compute"
              message: "err"
  p3 o9 T2 \+ j1 p6 \% {# W          - contains:
- f7 o! {8 E1 F              tags: "nova-compute"
. T3 F0 z0 j% c: t              message: "ERR"
8 J0 K# u% k) \& l          - contains:
              tags: "nova-compute"
- N: R6 S% o+ a; `4 k- k              message: "fail"
1 _# X2 T( F2 L; R# E    - index: "compute_nova-compute-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "nova-compute"

    - index: "controller_nova-manage-error-%{[agent.version]}-%{+yyyy.MM.dd}"
: q2 {4 {, S  q9 v4 w4 E/ n1 ~      when:
        or:
* T+ z; ?: T9 p1 U! x; \, _          - contains:
              tags: "nova-manage"
              message: "err"
) J3 V! R  k8 A          - contains:
6 S# [; z9 }7 v9 E% F& S# O2 Z, Q1 u              tags: "nova-manage"
              message: "ERR"
          - contains:
              tags: "nova-manage"
              message: "fail"
    - index: "controller_nova-manage-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "nova-manage"
+ q( V+ ]# Z+ O0 T. s6 G  T
! m: B3 a4 b! e5 r; P    - index: "controller_scheduler-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
8 c4 D- f0 j  b$ j' K; @        or:
+ G  O. z( N% S, r2 w, J- R- t; ]8 J          - contains:
              tags: "scheduler"
  l3 |4 f4 g3 W6 G, ]7 s$ o              message: "err"
          - contains:
1 q- ?3 C1 l! @5 B1 x              tags: "scheduler"
. q: b6 n; i6 n, V* x% F4 p              message: "ERR"
          - contains:
              tags: "scheduler"
              message: "fail"
  l) O, ^0 P3 H# I- ^! a    - index: "controller_scheduler-%{[agent.version]}-%{+yyyy.MM.dd}"
5 y" ~' e; l  z# ~3 m* u9 r      when.contains:
        tags: "scheduler"

( X; M4 a/ Q  ~9 b4 P    - index: "controller_conductor-error-%{[agent.version]}-%{+yyyy.MM.dd}"
! F9 D8 N) x' k& J; L& e      when:
" p7 {) L" [* Z6 q, q5 x6 R/ T        or:
          - contains:
5 m( F0 u8 P/ k9 q- W- u* N$ z              tags: "conductor"
; f* _# e' i7 b              message: "err"
  w' a8 l5 ]) |& x4 \' }1 z( \+ K          - contains:
+ Q" J2 U' c# ]. e* M              tags: "conductor"
              message: "ERR"
! q& d% ?9 g( b4 V1 j2 c  |          - contains:
* q) m7 h8 o% a8 ?              tags: "conductor"
              message: "fail"
* s8 a* r* `1 k4 i1 h    - index: "controller_conductor-%{[agent.version]}-%{+yyyy.MM.dd}"
+ v! @  n$ m0 `      when.contains:
; A" @7 m1 L) ]4 B        tags: "conductor"

, ]; y1 c) i2 r- y7 [    - index: "controller_cert-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
4 D: P) r6 ^$ ?. A5 D, B$ ^        or:
) s, j2 X9 v. Q8 D6 F          - contains:
9 i! s. @* M! k9 G/ n- g8 E# E              tags: "cert"
              message: "err"
          - contains:
% T/ d$ s4 R; s' L              tags: "cert"
4 V, ]/ }' f/ d              message: "ERR"
3 t4 E( A% [* E; D# T; U) s1 |          - contains:
              tags: "cert"
              message: "fail"
9 P' X' |& u5 E. G9 t9 }  ^    - index: "controller_cert-%{[agent.version]}-%{+yyyy.MM.dd}"
: E) j% |1 T$ q3 f* P- R7 A$ n      when.contains:
9 c$ [9 b! x9 V" C4 j& Y        tags: "cert"
/ V2 l  c) N4 \- a1 h% w( Y3 o- [
    - index: "controller_consoleauth-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
# \- a( B) s" T- [% _2 `- I        or:
          - contains:
& o2 p. h/ U2 H1 i% q- b6 m              tags: "consoleauth"
              message: "err"
+ h& B& K9 l. G, p9 s          - contains:
              tags: "consoleauth"
) z3 ?) D$ M5 z              message: "ERR"
          - contains:
              tags: "consoleauth"
/ T! W( R7 g/ o! E2 \; K              message: "fail"
    - index: "controller_consoleauth-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "consoleauth"
2 N1 u  W" F" d' I& q( H
    - index: "controller_nova-novncproxy-error-%{[agent.version]}-%{+yyyy.MM.dd}"
: c0 y1 |5 v6 P: h8 ~, D      when:
, I9 P# G* k) B4 f, ]1 |        or:
          - contains:
0 W2 M& ~+ n- b9 v8 S6 G4 N              tags: "nova-novncproxy"
2 H# T" g. P. I' s              message: "err"
          - contains:
              tags: "nova-novncproxy"
3 q/ Z% I. K$ a$ o7 k. ?              message: "ERR"
' O0 ~4 }+ m+ Q+ U          - contains:
              tags: "nova-novncproxy"
$ D% w/ X6 n" W0 g& K              message: "fail"
    - index: "controller_nova-novncproxy-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "nova-novncproxy"

: o1 Y3 k3 Q; K! [1 l2 ?5 h    - index: "controller_rabbit-error-%{[agent.version]}-%{+yyyy.MM.dd}"
9 Q  ~; u1 b# B* t6 L& W- ]' _! Y      when:
2 K6 o; h2 {4 C0 V+ @& X3 O        or:
  ?8 P3 ~- v8 l/ _          - contains:
8 w6 O% j" K5 E9 |7 _+ Z5 W$ G              tags: "rabbit"
              message: "err"
          - contains:
7 m) n8 T; I7 p' X& c              tags: "rabbit"
              message: "ERR"
; Q7 R) P, |1 h- x# \, j          - contains:
              tags: "rabbit"
              message: "fail"
3 U3 l, @! s  g  r/ u0 \    - index: "controller_rabbit-%{[agent.version]}-%{+yyyy.MM.dd}"
" Q" X$ D5 H- L; k$ ^      when.contains:
        tags: "rabbit"
5 a$ _6 C. B4 v) Y( X7 H5 o' E
    - index: "controller_glance-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
          - contains:
! q6 g& m5 [+ Y3 S              tags: "glance"
              message: "err"
0 q7 F$ ]3 z1 v          - contains:
3 S6 x0 f! u( E4 V; k" K4 W) `              tags: "glance"
2 D+ M8 A" R1 i- R! n- a              message: "ERR"
% s: W$ I& |# l8 P' v) t! g          - contains:
+ @& F. ^" s5 H- Y              tags: "glance"
# j  ]+ y: ~0 ]1 ^/ G! W  @- j              message: "fail"
    - index: "controller_glance-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
" X" i: |* @) P2 U% H! a/ t        tags: "glance"

+ u& P4 H, I4 |0 x- P4 Q    - index: "controller_openvswitch-agent-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
3 v# e/ R- Z% i( P& j  B2 V4 A1 {          - contains:
# z( B2 f; l2 M- _              tags: "openvswitch-agent"
0 v$ u! H! P- `5 ]0 D              message: "err"
          - contains:
              tags: "openvswitch-agent"
              message: "ERR"
          - contains:
              tags: "openvswitch-agent"
" V8 Z4 X9 @# ?              message: "fail"
  i3 D' @& V% c. ^$ Y( @    - index: "controller_openvswitch-agent-%{[agent.version]}-%{+yyyy.MM.dd}"
9 Q( ^, l: W' L+ Z0 R      when.contains:
        tags: "openvswitch-agent"
4 J" N0 m) S" P. }+ Z
    - index: "controller_kuryr-controller-error-%{[agent.version]}-%{+yyyy.MM.dd}"
% \4 E$ k! x) a+ G$ ]5 m6 U/ Z      when:
        or:
2 Q3 ?3 c. A, q/ K          - contains:
              tags: "kuryr-controller"
3 M- E8 e* \4 b: I7 `2 \; h+ v+ I              message: "err"
          - contains:
              tags: "kuryr-controller"
5 q' b' _# a! j+ R8 @1 p  n              message: "ERR"
  S& q2 ~+ X& v/ B8 ^          - contains:
              tags: "kuryr-controller"
5 @- w  T( |  o              message: "fail"
! J% G; O4 d* x2 H% k    - index: "controller_kuryr-controller-%{[agent.version]}-%{+yyyy.MM.dd}"
7 y$ V4 o9 v1 G4 \. _9 n! u: r( X      when.contains:
        tags: "kuryr-controller"

    - index: "controller_keystone-error-%{[agent.version]}-%{+yyyy.MM.dd}"
% L- z4 n4 v0 @) s2 n% E      when:
% x. w$ a, B$ X( k# @$ `0 e+ N        or:
' V  r1 N$ f4 }1 z          - contains:
1 j6 J4 O& x1 y, N% {; x2 g1 [0 b              tags: "keystone"
& u  a) T" v6 M1 e; M4 N7 f              message: "err"
0 v& J. R3 m; D' K# U          - contains:
              tags: "keystone"
; m, G6 Q" D# t  |3 s              message: "ERR"
' M! _/ G% c4 W) i          - contains:
2 K, h: c1 M, E8 ?6 x4 I2 ~  g; `              tags: "keystone"
              message: "fail"
( q- {! ]7 P" k* h) [4 l    - index: "controller_keystone-%{[agent.version]}-%{+yyyy.MM.dd}"
7 R% T8 A9 R; j! a5 P* X( q      when.contains:
        tags: "keystone"
' k: n  U$ B" B+ o2 W
setup.ilm.enabled: false
  A% e9 g/ l4 d5 L  Bsetup.template.name: system
setup.template.pattern: system-*


9 q2 ]' d! k8 V( I3 i( w

例：filebeat-7.12.1-2023.05.16-000001索引文件

索引创建规则

4 u8 R" J+ j0 u6 l默认使用es的索引声明周期策略
6 x, B7 Q  r6 ~  m
0 \& t, F. @# {7 E* W! M+ pindex lifecycle management (ILM) 生成索引

配置ILM
, Z+ t0 b1 U# q5 A: ?
#auto false true
2 P( u) T! }. ^7 [% q( a+ Asetup.ilm.enabled: auto
& ], y% x  f0 }0 B  _) a* c8 U#索引别名
; U' I0 u0 q0 t2 Q. esetup.ilm.rollover_alias: "filebeat"
#索引增加策略
/ n+ c9 f5 T* N: `% Isetup.ilm.pattern: "{now/d}-000001"
setup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引
$ D# W5 m, ?. O9 {7 Z
setup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。
; @7 d2 E7 a& {. |* X
5 z) r' l4 _( }: l1 ksetup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。
- ~, K' ?/ [7 U
- g" p1 E+ l4 O* A自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。
5 f+ E1 d7 X* p  o1 p
3 o5 O8 e/ H6 }- O: _更多配置参考：https://www.elastic.co/guide/en/beats/filebeat/7.17/ilm.html

, ^0 v$ S% v8 |9 |自定义索引文件

+ b# p/ j& A' V4 ]output.elasticsearch可以指定index，使用自定义索引第一步就是要关闭ILM,
) ?3 Q2 w# F& y4 }( h
2 L2 h; x1 {5 Msetup.ilm.enabled: false
1 e6 p  e6 K, l) @+ F9 X9 _6 Z: L' L下一步要配置setup.template.name和setup.template.pattern
9 K2 Q) V5 h) ]) z
setup.template.name: "filebeat"
setup.template.pattern: "filebeat-*"
0 m) [: t3 C1 F" s3 j: I" Usetup.template.overwrite: false
" u6 \3 v: E6 c$ s1 q在output.elasticsearch指定index
% X4 m5 b9 n- j" t2 l; M& h2 x; ]
* e6 K9 {. ^) \index: "spring-%{[agent.version]}-%{+yyyy.MM.dd}"
运行就会自动生成索引spring-7.12.1-2023.05.16。index定义可以使用上下文定义变量。可以在input里自定义field

fields:
3 A, D! q. P* m) }) C, }7 V/ Y8 P    level: system
    region: A1
自定义的fields会一并push到索引中，index中使用自定义的fields
. r6 m' m/ e4 W+ p  Z, b& Z
. A* t8 L! e# ^index: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
会生成索引：spring-a1-7.12.1-2023.05.16。这里A1自动转成小写了。

日志多行合并
" a6 _/ b) l4 K5 `6 Y
: L4 [5 b# J$ _. u- [6 h默认情况下收集日志一行一条记录，有些情况下比如格式化输出，异常栈。一条完整的日志会包含多行数据。这时候就需要配置多行匹配。配置项在filebeat.inputs里

4 M1 _- G" x) u$ d- xmultiline.pattern: '^\['
multiline.negate: true
multiline.match: after
/ q2 ^7 V. Z. N3 Z4 t6 |2 [$ Amultiline.pattern指定日志匹配正则，这里'^['就是匹配以 [ 开头的行。这个地方的具体格式就要合实际输出的日志格式相匹配了。
4 o& B: b$ e- G  n8 {- C7 J
8 ^6 x: i% q- S# {; enegate和match两个参数结合使用，没太看懂，理解其来感觉有点绕，自己看官方演示例子吧https://www.elastic.co/guide/en/ ... iline-examples.html，有个表格图例。大体意思就是遇到不匹配的是向上合并还是向下合并，归属于那一条。这里配置true和after就是不匹配的格式行归属到上一个匹配的结果行。

根据条件写入不同索引

output.elasticsearch:
  hosts: ["http://localhost:9200"]
% `0 |( K* L) b: y4 M  indices:
* q, K& g8 D( L0 l9 Q2 G9 s) @    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
3 E6 Q; e# q2 b& b$ T. n        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
* Q3 ?3 U$ a' r0 ^' w3 m# @  H      when.contains:
5 F0 S2 }, ~/ y0 k        message: "ERR"

+ [; @" m3 Y7 k1 G' N3 t判断message内容，是否包含某些内容。不做演示。
# M0 e. D! [4 E8 `* _3 V
/ K) i( o& l* O3 Q( X收集到的日志可在kibana 日志功能界面化查看检索。需要配置日志索引匹配模式，例如上面的我们就需要新增匹配日志模式spring-*。

% W0 ]& `6 Q+ O# c6 C) O最后filebeat.yml有效配置大概这样

filebeat.inputs:
1 |2 g! r& ]. r2 a" u0 L$ {- type: log
  enabled: true
' `1 u+ l) c/ g  paths:
$ x9 L' ]6 A9 Z# y' p" y    - /data/logs/*/*.log

8 i1 v$ s5 g7 f: g  fields:
    level: system
    region: A1

  multiline.pattern: '^#\['
+ v; h! c: R( Y5 o  x  ]1 l  multiline.negate: true
3 `. n' ?( {$ A9 a+ F5 h1 }  multiline.match: after

. l4 u6 ]! C7 S' {) L/ r5 {0 `' Zoutput.elasticsearch:
  hosts: ["localhost:9200"]
  protocol: "http"
  username: "elastic"
: G& q) f6 Z4 E' K2 K* f6 Y  password: "888888"
+ E5 a8 k/ A1 \3 X* j  index: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
% z7 j; F$ Z2 k5 f0 b
6 Z/ m, P0 @. ?1 c" Z9 Xsetup.ilm.enabled: false
setup.template.name: "filebeat"
1 b6 o$ E* \; g& k& S) X1 @setup.template.pattern: "filebeat-*"
setup.template.overwrite: false
8 m: [+ D! _4 y: X& ?' a- Q- d- l
2 Q% x" O( b0 `

admin

/app/logs/info.log日志文件为JSON格式
0 w* ^3 [1 U( b1 V/ o自定义索引生命周期名为：pn_springboot,可提前建好
; w- ^$ q' B$ I7 C4 I& I* a* \自定义索引名为：idx_springboot
自写义索引模板名为：tn_springboot

admin

filebeat配置会把所有的索引都放到同一个文件中，通过摸索发现可以自定义索引的名字、模板、生命周期
* @' L7 b# C: |  S
（重点注意）该配置文件只适应于ES版本是8，不适应于其他版本
) o! j5 u1 `+ f5 X. T
: \7 j) f: R) G- P4 E/app/logs/info.log日志文件为JSON格式
6 x  o; O$ b' |2 O0 |3 o自定义索引生命周期名为：pn_springboot,可提前建好
* R" M: C; b; a3 A* r( p( D自定义索引名为：idx_springboot
自写义索引模板名为：tn_springboot
2 E- Y/ t( j% Z3 b
ES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，
不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了
: a8 E  Z. R" z& c
filebeat.inputs:
  - type: filestream
    id: my-filestream-id
: }9 B( \$ _& p* C, ^1 Z7 G    enabled: true
/ b- S: N" a. K, ?2 J+ M    paths:
      - /app/logs/info.log
    parsers:
, r/ I3 D% c0 v" i      - ndjson:
* d9 @/ c# G: q9 T          keys_under_root: true
$ a+ U$ i) m! l' m          overwrite_keys: true
# j% K. Q. A# G# {' I
2 S# I. L8 V+ S0 ]- y5 O2 n# @7 j3 tsetup.template.name: "tn_springboot"
: V  H2 R5 e" Y( O/ Xsetup.template.pattern: "idx_springboot"
setup.template.overwrite: true
setup.template.settings:
# J6 E( O# L' N  index.lifecycle.name: "pn_springboot"
  index.number_of_replicas: 0

output.elasticsearch:
" l  B2 n( q0 m( o, B4 q  hosts: ["http://172.16.211.21:9200"]
  username: "elastic"
8 h+ Z+ \% f% k! S# k- H( Z  password: "elastic"
6 [' t# [5 [! }; v  index: "idx_springboot"

admin

例：filebeat-7.12.1-2023.05.16-000001索引文件
! r) H( w& R+ S& g" e# J" e+ n
: q# d) V2 a6 m3 M+ j索引创建规则

+ y: ]7 ^, V  V  `) Q默认使用es的索引声明周期策略
/ k& g* {  w* j: l* t9 C
index lifecycle management (ILM) 生成索引
* l8 e% w# n9 _5 m- H" ?3 Z
% U: m# X: [) u! ~0 i3 A配置ILM

#auto false true
setup.ilm.enabled: auto
#索引别名
setup.ilm.rollover_alias: "filebeat"
8 z/ F. U' Z# q- N. i  K7 L! O) V#索引增加策略
setup.ilm.pattern: "{now/d}-000001"
setup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引

+ {0 P# Z+ y3 m9 |4 Ksetup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。

# v0 U0 b  ?: B- G) {. M6 dsetup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。

; K2 |6 k. s6 T6 P自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。