使用filebeat日志收集到elasticsearch服务器上

admin

filebeat是轻量级日志收集框架，go语言开发。需要在每个日志收集的终端部署，配置日志文件路径。可以将日志收集到es，logstash，这里以收集到elasticsearch为例。配置主要分为input和output两块。解压后有filebeat.yml配置文件，主要针对该文件进行配置。

) I' m* S% ^$ d) N! f- type: log
#日志文件位置
# @4 ~6 Z9 C* q2 S/ O* A" I  paths:
+ C( e; |0 @% [# D3 B    - /data/logs/*/*.log
output.elasticsearch:
# o8 T0 z! k  E- ~5 {& B  #es连接信息
( A0 D8 Q$ m- n  hosts: ["localhost:9200"]
' O# |: u. v3 U  protocol: "http"
  username: "elastic"
% ]* j9 f+ G, c  F/ P# _) A. h& O  password: "888888"
会自动创建一个 "filebeat-%{[agent.version]}-%{+yyyy.MM.dd}-%{index_num}"

0 s6 V2 Q$ n# E" N  ]
8 w0 `5 p  X9 {* w; ~& A. I5 P, P
3 d$ k7 S( x. j例子：
, s3 ?" y9 c" ]; G6 k' w! v
vim  /etc/filebeat/filebeat.yml

4 C0 {9 @- u9 w! D5 pfilebeat.inputs:
- type: log
  p2 |+ W- q6 n; D  L, L4 v   enabled: true
   paths:
! z5 l: W' r( [* ~2 K4 D; Z& i! c    - /var/log/messages
) o0 e, c0 O3 M- q6 B2 Z   tags: ["messages"]
/ R5 S$ Z/ `5 u* J3 Q   fields_under_root: true

- type: log
   enabled: true
/ E( r& ?" W, Y- G   paths:
    - /var/log/nova/nova-compute.log
1 J5 q, S0 w/ r% P   tags: ["nova-compute"]
$ K, N  Z$ G# i" t& L   fields_under_root: true
- e: v0 {: o/ S  [; i3 g
- type: log
4 _# _8 H: Z' `- \   enabled: true
   paths:
    - /var/log/nova/nova-manage.log
   tags: ["nova-manage"]
   fields_under_root: true

- type: log
9 W$ a' ?5 ~. v1 R% |# w* e1 @   enabled: true
' k* B/ l- N, @3 `   paths:
* K3 z" `: q9 `& n3 t# }    - /var/log/nova/scheduler.log
" K* t& N( r" a0 @2 Z* b2 j/ i6 x   tags: ["scheduler"]
   fields_under_root: true

1 ?8 p. ]# @; E: G2 f1 t& W - type: log
   enabled: true
   paths:
+ L5 l& O% W/ a& ^: Z3 K    - /var/log/nova/conductor.log
   tags: ["conductor"]
   fields_under_root: true
( `4 ~, p) w0 G. ^- R7 |" `
/ o4 @0 r6 B4 _% w) F - type: log
   enabled: true
   paths:
, [% R' T. P0 |; U6 X0 |5 F3 l    - /var/log/nova/cert.log
+ B3 a& l& u$ o# V4 W& Z   tags: ["cert"]
   fields_under_root: true
: C" Q3 x2 w1 W) F5 D2 Q" b* o/ ^2 u' [
- type: log
   enabled: true
* m8 r, r3 h! w. a0 G+ ]- R* F   paths:
& M  e0 |5 ]0 U/ j    - /var/log/nova/consoleauth.log
1 o8 [# |( J! o3 y   tags: ["consoleauth"]
7 ^. O7 O: a3 b: h   fields_under_root: true

- type: log
) b% |3 [7 }! o, R   enabled: true
   paths:
    - /var/log/nova/nova-novncproxy.log
! K7 a! {+ k$ y% h/ b. ^+ P   tags: ["nova-novncproxy"]
   fields_under_root: true

- R/ v" l- j" `8 e - type: log
   enabled: true
   paths:
    - /var/log/rabbitmq/rabbit*.log
   tags: ["rabbit"]
; @: j, }1 x- w; A   fields_under_root: true
5 q5 z9 t. L9 x6 n
. `  v% d* v2 S/ U% o - type: log
( R5 U7 G# P" Z. g1 J3 X& y4 S   enabled: true
' y' }- G2 V8 L# S% l. H   paths:
& f5 z0 K/ K  F% h# j$ j( [* k    - /var/log/glance/*.log
   tags: ["glance"]
! {5 F" H+ D6 U' s$ o   fields_under_root: true

7 }$ I. \: x$ u& r/ Z - type: log
   enabled: true
4 R/ u! m$ R' Z& e) [   paths:
8 l/ w, F2 z- S; W& @    - /var/log/neutron/openvswitch-agent.log
. N  ]/ m4 \6 T2 Z. t- J   tags: ["openvswitch-agent"]
   fields_under_root: true

0 I! o2 I2 T8 b# N9 I4 S - type: log
7 b: Q  d) }- D& p, y   enabled: true
$ ~- B0 G1 |' d- f# m/ ^   paths:
    - /var/log/kuryr/kuryr-controller.log
   tags: ["kuryr-controller"]
! x1 J! B9 r' Z& \: D( W   fields_under_root: true
% W4 c  z' \$ R
- type: log
, O. }9 W! G2 ^3 a; E   enabled: true
' `0 s" G6 [7 A3 p% U& l2 G' _; ^   paths:
6 a8 N0 x  G8 D% c2 ?4 d    - /var/log/keystone/keystone.log
   tags: ["keystone"]
   fields_under_root: true

output.elasticsearch:
  hosts: ["172.24.110.12:9200", "172.24.110.12:9200"]
  username: elastic
' X4 |$ l' x- z8 w* M. N4 z, o  password: xxxxxxx
7 c5 ?4 o- y# u5 n  indices:
    - index: "compute_messages-error-%{[agent.version]}-%{+yyyy.MM.dd}"
. e- @! X! X# y& {2 q      when:
9 [, G7 l, G. _$ |        or:
          - contains:
+ p( H1 H2 _( K. g: Z$ U              tags: "messages"
              message: "err"
          - contains:
              tags: "messages"
% E( ^. Y/ n, Q/ J              message: "ERR"
          - contains:
              tags: "messages"
              message: "fail"
( U( ^3 ^* V. `% U    - index: "compute_messages-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
* K0 Y3 O; ~6 r2 }/ d        tags: "messages"
5 W+ T" @( F; \" t1 i    - index: "compute_nova-compute-error-%{[agent.version]}-%{+yyyy.MM.dd}"
% L6 @+ ~( m8 A/ S, |      when:
3 O8 ^% j1 L) o  A7 i* w9 f" v        or:
          - contains:
' f8 X8 T: j  Z# W; F              tags: "nova-compute"
# T! k: E) i3 q2 J1 Y/ z% W              message: "err"
          - contains:
              tags: "nova-compute"
/ w! K' @; g% @5 w              message: "ERR"
          - contains:
, h9 j& z: _" @# N              tags: "nova-compute"
  `9 Z/ T. A0 D8 n- K8 P' ]              message: "fail"
9 h* O  h% d8 E; E    - index: "compute_nova-compute-%{[agent.version]}-%{+yyyy.MM.dd}"
9 _- |7 }; ^) A% H" X      when.contains:
. G/ {$ p1 O; V  s9 @        tags: "nova-compute"
/ K3 B" ~  k  y- g; {; V
    - index: "controller_nova-manage-error-%{[agent.version]}-%{+yyyy.MM.dd}"
/ w9 A% t! G" R6 ^& p2 ?      when:
" @5 K6 ~  o' v) u2 H! }; X        or:
1 o% b0 C  B# v  R0 E7 h, b4 J          - contains:
+ y# E- o( q( g% ^              tags: "nova-manage"
! k3 A/ Z  B6 \- o8 ?  o1 l              message: "err"
          - contains:
6 i5 h* e) \5 V  Y              tags: "nova-manage"
( o9 I& Q1 }* n6 _9 }              message: "ERR"
, W+ o4 V, B0 q1 w2 V' \8 G( j          - contains:
              tags: "nova-manage"
              message: "fail"
    - index: "controller_nova-manage-%{[agent.version]}-%{+yyyy.MM.dd}"
  E  ], H5 V  [# z      when.contains:
        tags: "nova-manage"

9 \. J8 A; Y; K& t  P- O% ]$ c    - index: "controller_scheduler-error-%{[agent.version]}-%{+yyyy.MM.dd}"
& S" `  P, {5 a      when:
; Q! H4 J! ?9 h5 D1 q        or:
          - contains:
              tags: "scheduler"
) f4 j) l* c4 T  v              message: "err"
) y% m/ M/ v+ A+ e4 ^  r          - contains:
5 Q1 Q! G8 J9 R, u              tags: "scheduler"
" h. s2 K1 {% r6 _) \+ V7 J              message: "ERR"
" e0 }/ b( ]+ _- h0 _          - contains:
              tags: "scheduler"
" p$ g, d$ _2 ^  k" q              message: "fail"
& u3 @! Z: U/ U4 O4 F/ P9 I    - index: "controller_scheduler-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "scheduler"
7 V8 w# Z0 x0 X+ ]
    - index: "controller_conductor-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
. l; [& W' @: r( ]! n# Q          - contains:
: `, C3 r1 u1 ~              tags: "conductor"
# p% Q; u! e( b% l0 e8 ~1 |) U              message: "err"
          - contains:
              tags: "conductor"
              message: "ERR"
$ z5 |7 y: n6 N4 t6 P6 ]          - contains:
              tags: "conductor"
3 h; J6 E% ?7 ]( O0 T              message: "fail"
    - index: "controller_conductor-%{[agent.version]}-%{+yyyy.MM.dd}"
: E1 m2 e( U7 e, i      when.contains:
        tags: "conductor"

% n& q* L2 I) ~8 ]  N    - index: "controller_cert-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
( ^( V; Q% P& M) z/ a: W          - contains:
              tags: "cert"
              message: "err"
" y6 {9 L! ^& N5 J' t          - contains:
              tags: "cert"
" p2 i: V  k. m) d, W; |% p! E2 U              message: "ERR"
          - contains:
              tags: "cert"
+ X) V' Z/ j: c              message: "fail"
5 c" l9 R7 n& _    - index: "controller_cert-%{[agent.version]}-%{+yyyy.MM.dd}"
0 ]. F9 s) F. O; T# \% ^      when.contains:
        tags: "cert"
! E! I" C( u8 R2 H1 T
7 G) M2 _# K4 m: N9 |% X    - index: "controller_consoleauth-error-%{[agent.version]}-%{+yyyy.MM.dd}"
8 b  J' ?% w/ Q* g! `) Y3 w      when:
4 [3 W/ G1 i- u) _4 Z2 T' X: c        or:
! {) O. H& D0 s# q2 f: K          - contains:
7 V# O; d  R+ y              tags: "consoleauth"
7 h% G- Q. p2 Q! s& ]% f# K! B              message: "err"
          - contains:
; i  g+ I; {# U: o              tags: "consoleauth"
              message: "ERR"
          - contains:
. G/ `& {0 I- C" v              tags: "consoleauth"
. |) h  e7 [1 ?              message: "fail"
2 R$ v) S+ J/ N4 R1 t' k1 Q    - index: "controller_consoleauth-%{[agent.version]}-%{+yyyy.MM.dd}"
8 ?9 [7 h5 i8 R7 D# ]5 ?6 ^      when.contains:
  _; M; J3 z7 y) w/ M$ k" r7 [        tags: "consoleauth"

# J) I: A- v2 S) ]( p$ E9 `3 F7 a    - index: "controller_nova-novncproxy-error-%{[agent.version]}-%{+yyyy.MM.dd}"
1 a7 u) \' N+ c) }8 M7 @+ [+ y  R      when:
        or:
+ ?" J1 B% g0 A" B, T) y9 D0 J+ Z( W          - contains:
              tags: "nova-novncproxy"
              message: "err"
+ p. K) D& _3 Z  A( v% ], r# m5 D          - contains:
              tags: "nova-novncproxy"
9 C$ E1 }3 r1 X0 p" L/ k, k              message: "ERR"
          - contains:
4 o% |! m) X+ a% A              tags: "nova-novncproxy"
              message: "fail"
    - index: "controller_nova-novncproxy-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        tags: "nova-novncproxy"

    - index: "controller_rabbit-error-%{[agent.version]}-%{+yyyy.MM.dd}"
0 w  l, S# Y# p      when:
1 E0 @4 |0 @- e0 s; K8 x        or:
          - contains:
! }% L; e+ Y) o/ K3 X              tags: "rabbit"
+ B! \; M4 `6 _9 m              message: "err"
& {3 F- b  U& B4 q& I0 o          - contains:
/ k4 E( y8 M0 e4 _; b              tags: "rabbit"
( v! B3 v/ |, k: g              message: "ERR"
. x+ `: }' j" [$ z& b          - contains:
3 @& ^% l& k1 Y( N3 n" K4 W0 i              tags: "rabbit"
              message: "fail"
% L0 \. i' d/ `, @+ @    - index: "controller_rabbit-%{[agent.version]}-%{+yyyy.MM.dd}"
$ R# B# i+ N' C$ s1 o8 L  b      when.contains:
        tags: "rabbit"

, W& R, z4 ]2 A    - index: "controller_glance-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
! \8 M% u: i4 U% f          - contains:
              tags: "glance"
7 E0 [# p& g2 f/ h              message: "err"
$ O6 r8 n; z! ^! z          - contains:
/ u0 O8 E" f) Q8 q  L4 R2 e6 T              tags: "glance"
% P% T* }# T7 B4 O; |- y" S/ W              message: "ERR"
+ h' ~& K  X& h6 h9 K3 R          - contains:
              tags: "glance"
7 s  _* v/ X) B' g* F              message: "fail"
# f" z9 h* N% Y8 }7 c7 _& P7 x    - index: "controller_glance-%{[agent.version]}-%{+yyyy.MM.dd}"
. S& g) W$ F$ Z3 v" Q' W/ J      when.contains:
7 M4 O8 ]9 X* v        tags: "glance"
& I  `! o5 t3 s, R8 |4 ?1 a
" V' @, P/ E+ @- u1 N; S    - index: "controller_openvswitch-agent-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
* s. v9 K. a+ j4 w! `5 s8 j          - contains:
) Y" N7 h7 X( C& H& G% f% l              tags: "openvswitch-agent"
3 k( I: Z. Y9 z- T/ u              message: "err"
          - contains:
. V% N" y) ^4 W( K" l7 p- ~              tags: "openvswitch-agent"
2 f$ d2 e# p" X7 J              message: "ERR"
          - contains:
8 c; W8 g. V; Q( `              tags: "openvswitch-agent"
              message: "fail"
    - index: "controller_openvswitch-agent-%{[agent.version]}-%{+yyyy.MM.dd}"
8 L3 ]: G" a' P* Y) ?' N      when.contains:
% {& v. w  K- x9 W% I) P        tags: "openvswitch-agent"
0 O7 c: I  N, a  `
    - index: "controller_kuryr-controller-error-%{[agent.version]}-%{+yyyy.MM.dd}"
# i! T" B' l$ G: L      when:
        or:
; M6 z! I- S+ ]0 F: o          - contains:
              tags: "kuryr-controller"
4 ]: f+ N+ M3 a              message: "err"
% \/ D$ L$ F/ R8 j# D* _% M8 Y* n          - contains:
              tags: "kuryr-controller"
  }9 Y! D4 [3 q0 N              message: "ERR"
          - contains:
) \" x4 n0 o' r) q              tags: "kuryr-controller"
              message: "fail"
    - index: "controller_kuryr-controller-%{[agent.version]}-%{+yyyy.MM.dd}"
& M! ?+ W* M; Q# a% B3 B9 U      when.contains:
        tags: "kuryr-controller"
0 ]0 T; K' s  V: f
9 l9 X* L4 p% F; j+ l    - index: "controller_keystone-error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when:
        or:
          - contains:
              tags: "keystone"
* G( [% Z/ k* X/ F" F              message: "err"
, _2 x% X6 @3 u4 H          - contains:
9 H5 T3 N$ ?1 w( N" s7 G* d! U% U              tags: "keystone"
7 g2 `/ Q# M% `" b              message: "ERR"
          - contains:
              tags: "keystone"
" ]! S+ O3 k8 v- n# z3 t+ r              message: "fail"
1 ?  W! Q9 \3 p: l2 o0 E, S    - index: "controller_keystone-%{[agent.version]}-%{+yyyy.MM.dd}"
; j; h' Y0 ^. [) X      when.contains:
        tags: "keystone"

; G! M$ o; Q6 E0 v3 H% M7 \) dsetup.ilm.enabled: false
setup.template.name: system
setup.template.pattern: system-*
2 O4 F, H5 S) x! ]% T

1 C$ S* y& L8 I4 A

% |6 z- D4 A( G& y+ f例：filebeat-7.12.1-2023.05.16-000001索引文件
$ [: u, V9 K7 ^3 c* G7 U9 p
7 l+ o. f$ S4 z& n索引创建规则
. a- [. F/ g9 \
$ E; F6 k: I, M默认使用es的索引声明周期策略
0 C* Y0 f- W! {! b7 A
index lifecycle management (ILM) 生成索引
: Q2 K6 R: V, }6 r
配置ILM
/ U3 I* O* M' w- \7 [. H
, l( W; ?, Z9 {% h4 h5 M#auto false true
" r3 K7 A! Z- hsetup.ilm.enabled: auto
4 B  \) P* Q- ?1 G- t#索引别名
" [, l+ t. B8 j& b% D  t2 z0 Psetup.ilm.rollover_alias: "filebeat"
#索引增加策略
" @) V* h$ H: v+ @$ e8 G+ dsetup.ilm.pattern: "{now/d}-000001"
; ?0 Y' s# k3 d0 \7 jsetup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引

- _" [; O) F( x- @, _7 Ysetup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。

setup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。

/ K; e2 d- b' y0 v自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。

( X( C; A3 b  z7 k更多配置参考：https://www.elastic.co/guide/en/beats/filebeat/7.17/ilm.html

自定义索引文件
9 k3 d+ C' y7 [( i% h
4 g, J' [6 p5 {# Q' I$ @output.elasticsearch可以指定index，使用自定义索引第一步就是要关闭ILM,
! `0 Q2 Q1 b$ n" l) V
setup.ilm.enabled: false
7 ]. f1 c6 y0 h" S1 z下一步要配置setup.template.name和setup.template.pattern

4 J+ p! y2 f7 @  l7 D$ Rsetup.template.name: "filebeat"
7 P/ p3 N/ g! k) L7 tsetup.template.pattern: "filebeat-*"
setup.template.overwrite: false
9 }; m& x. G; R9 p* u' y8 t在output.elasticsearch指定index

index: "spring-%{[agent.version]}-%{+yyyy.MM.dd}"
运行就会自动生成索引spring-7.12.1-2023.05.16。index定义可以使用上下文定义变量。可以在input里自定义field

fields:
: x3 `+ T/ p4 V. i& K" N    level: system
    region: A1
自定义的fields会一并push到索引中，index中使用自定义的fields
6 D( ^; ]7 h! E/ Q
; q7 X+ ^$ @+ b2 t3 y3 bindex: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
会生成索引：spring-a1-7.12.1-2023.05.16。这里A1自动转成小写了。

6 k. U% O; A9 F# K( L! H( T日志多行合并

默认情况下收集日志一行一条记录，有些情况下比如格式化输出，异常栈。一条完整的日志会包含多行数据。这时候就需要配置多行匹配。配置项在filebeat.inputs里
& ]# F5 `7 ^! L
multiline.pattern: '^\['
multiline.negate: true
) ]. P% x. J- D$ ^, omultiline.match: after
multiline.pattern指定日志匹配正则，这里'^['就是匹配以 [ 开头的行。这个地方的具体格式就要合实际输出的日志格式相匹配了。
* f; a8 W6 J. Y$ E- U1 n
. h5 i+ \3 j& v, wnegate和match两个参数结合使用，没太看懂，理解其来感觉有点绕，自己看官方演示例子吧https://www.elastic.co/guide/en/ ... iline-examples.html，有个表格图例。大体意思就是遇到不匹配的是向上合并还是向下合并，归属于那一条。这里配置true和after就是不匹配的格式行归属到上一个匹配的结果行。
* k4 `6 z2 M% g1 }$ R
根据条件写入不同索引

2 j) N& ?" a5 z4 q, V; ~3 @( W5 ?/ ^0 F4 Boutput.elasticsearch:
  hosts: ["http://localhost:9200"]
* e. O6 c( k2 w& i) H' z" G  indices:
7 s% Z# o' I; q4 N$ ~    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
. U$ o- K" R* }/ R# h        message: "ERR"

/ R6 ^4 U9 a. G# N8 A7 y判断message内容，是否包含某些内容。不做演示。

收集到的日志可在kibana 日志功能界面化查看检索。需要配置日志索引匹配模式，例如上面的我们就需要新增匹配日志模式spring-*。
$ a+ Z9 T5 |0 A5 ~$ Z4 ~# |1 _
最后filebeat.yml有效配置大概这样

filebeat.inputs:
  D2 d: _9 C2 |* p! F- type: log
! p5 E0 }' ]. ?# h& w5 r8 |$ D  enabled: true
7 `$ R; d# r! _4 ?/ y7 \0 q, C) H  paths:
    - /data/logs/*/*.log

+ f! m* d4 F+ V0 g) {7 w  fields:
    level: system
    region: A1

% r$ |0 u) C3 o- ?' u  multiline.pattern: '^#\['
; v: V+ Z1 J, ?6 f  multiline.negate: true
  multiline.match: after
2 t* c! s( z7 N' R( I
9 d4 Z, g' G% T' B& A9 foutput.elasticsearch:
  hosts: ["localhost:9200"]
4 U# X0 Z( Y; p- Z  protocol: "http"
  username: "elastic"
9 V* Y8 P) O3 h. p. ~  password: "888888"
  index: "spring-%{[fields.region]}-%{[agent.version]}-%{+yyyy.MM.dd}"
7 h* L  E  `# [" T+ o7 K$ K
  p9 B" J/ F/ \8 _+ G/ dsetup.ilm.enabled: false
) D7 m4 s2 ?  I- F- v  osetup.template.name: "filebeat"
: e/ A+ k3 v1 n+ z1 k- O9 _setup.template.pattern: "filebeat-*"
% b5 o. M, N$ G- ?setup.template.overwrite: false
$ n& h/ E, O% [$ s% l' A( S, @% d

8 L4 H1 u" B4 s; @7 z4 _0 X8 [

admin

/app/logs/info.log日志文件为JSON格式
+ ^, r. Z5 b  c1 s" @# }自定义索引生命周期名为：pn_springboot,可提前建好
自定义索引名为：idx_springboot
自写义索引模板名为：tn_springboot

admin

filebeat配置会把所有的索引都放到同一个文件中，通过摸索发现可以自定义索引的名字、模板、生命周期

（重点注意）该配置文件只适应于ES版本是8，不适应于其他版本
  W! G) J2 [% b. h; a
, k* C6 Q4 R8 d. M$ v: c# \8 t6 k+ x4 ]/app/logs/info.log日志文件为JSON格式
自定义索引生命周期名为：pn_springboot,可提前建好
自定义索引名为：idx_springboot
: s* g+ d9 \6 w" K自写义索引模板名为：tn_springboot

ES8版本默认生成的是数据流，不是默认的索引，这么配置生成的数据流名称就是idx_springboot，
不是默认的filebeat了，如查索引发现生成长索引名是.ds-idx_springboot-2024.07.21-000001这种格式的，但我们配置视图时，选idx_springboot就行了
5 ]% Y. |+ D+ P' f1 e
7 T7 C/ K+ t: H4 J  g8 o& _filebeat.inputs:
% s- u+ \. h- U$ |& U& R( d9 W  - type: filestream
( P. G8 k0 M7 p% M1 r9 d    id: my-filestream-id
8 m( {0 ]/ e: t! r% k' c    enabled: true
    paths:
4 V% C% q( ^  h1 j3 u3 G, }+ _      - /app/logs/info.log
    parsers:
      - ndjson:
% v) [2 J6 |2 F2 a8 U% d5 @          keys_under_root: true
          overwrite_keys: true

0 t8 Q' j: r8 P2 Z2 D( Rsetup.template.name: "tn_springboot"
setup.template.pattern: "idx_springboot"
  V& E; j. h4 y9 V; |: m  tsetup.template.overwrite: true
6 e( {( u) A1 A1 w4 A0 qsetup.template.settings:
  index.lifecycle.name: "pn_springboot"
  index.number_of_replicas: 0
1 X4 V4 p/ S$ D( \) U! N8 J
output.elasticsearch:
$ _4 n+ }) P+ G+ r' k  hosts: ["http://172.16.211.21:9200"]
  username: "elastic"
  password: "elastic"
  index: "idx_springboot"

! C7 ?7 v* [- e4 F- D" q  ^/ |
5 t- w! e' q9 e1 N4 V( N, N+ [) f- R* [7 E

admin

例：filebeat-7.12.1-2023.05.16-000001索引文件
! Q9 B& Y% L$ T# j6 C* R; [
索引创建规则

默认使用es的索引声明周期策略
7 U/ i" E  ~" F4 Y# r% O) W1 z$ P
index lifecycle management (ILM) 生成索引

5 u# H- [' }& n; A配置ILM

( x# d. |5 c) U* u: A, a! v$ k1 G#auto false true
setup.ilm.enabled: auto
. K2 b' T2 ]% D; R#索引别名
8 b+ [1 p- w0 z! u1 fsetup.ilm.rollover_alias: "filebeat"
- m+ s5 f. x6 e. j8 d3 ~8 F#索引增加策略
- U6 v8 h( K1 g! Y3 Ksetup.ilm.pattern: "{now/d}-000001"
, A1 }& c- c4 d2 f2 ysetup.ilm.enabled默认值auto，自动使用es中filebeat生命周期策略创建索引

setup.ilm.rollover_alias默认值filebeat-%{[agent.version]} ，创建索引时指定索引别名。

setup.ilm.pattern默认值%{now/d}-000001，索引rollover增加策略。
3 x9 x# \$ V- ]: M* O" z6 ?4 V5 u
/ V7 X: x. A+ q9 P$ ~自动生成的索引名就是使用alias+pattern。类似filebeat-7.12.1-2023.05.16-000001这种。