使用es监控RabbitMQ日志

admin

使用es监控RabbitMQ日志
- ]- O. k  x, k1 w( P; i
& |) s% m8 k$ W3 W; O- Q/ R! r* a" B
  Z! K7 _- V3 l5 SRabbitMQ是一个开源的消息代理服务器，能够为您的应用提供一个通用的消息发送和接收平台，并且保证消息在传输过程中的安全性。本文介绍如何通过Filebeat，将RabbitMQ的日志采集到阿里云Elasticsearch（简称ES）中，并对日志进行可视化分析与监控。

5 S' E1 H, |7 J1 a! l* y操作流程
准备工作
( ]7 k  Q' |+ y* P
) r- o; u' A5 |% R* r完成环境准备，包括创建实例、安装RabbitMQ等。
+ Z9 E+ |; h: ~( H8 g3 ^  W  I
步骤一：配置RabbitMQ

4 [* T# {+ N! Y8 `# ]- {配置RabbitMQ的日志级别和文件名。

步骤二：安装RabbitMQ示例应用

0 b4 h) N8 F5 ?! ^. @基于Spring Boot，使用RabbitMQ的JMS客户端生产日志数据到RabbitMQ中。

步骤三：创建并配置阿里云Filebeat
1 R7 @) X% k( Z5 H+ S+ ~; ~
- C, V! j: s3 b# u配置Filebeat采集器，将RabbitMQ的日志数据发送到Logstash的8100端口。

步骤四：配置阿里云Logstash管道
! x$ N" v' c  U3 }9 C9 B* `
配置Logstash管道，使用基本的Grok模式从原始消息中分离出时间戳、日志级别和消息，然后发送到阿里云ES中。
( t# w. v+ e8 l. L. v8 L& X
步骤五：通过Kibana查看日志数据
6 i) L* X8 u2 L, S) t+ p6 l7 R
通过Kibana查看经Logstash处理后的数据。
2 l% p- {) n) ?/ Z0 g2 s! t7 G' X8 b
步骤六：通过Kibana过滤日志数据
$ l5 x! i# I. z/ B" D
" d5 B7 r9 l+ b0 G在Kibana控制台的Discover页面，通过Filter过滤出RabbitMQ相关的日志。

8 \& Q+ W# c9 P  x6 E" r步骤七：配置Metricbeat采集RabbitMQ指标
8 f) t. P( X# J/ l
6 [* c4 l5 x0 q: C: ?通过Metricbeat采集RabbitMQ日志，并通过Kibana实现可视化指标监控。
* t. i2 _- x& ?8 W& L9 J
; r1 P% p3 M$ e准备工作
创建阿里云ES和Logstash实例，两者版本相同，并且在同一专有网络VPC（Virtual Private Cloud）下。

具体操作步骤请参见创建阿里云Elasticsearch实例、创建阿里云Logstash实例，本文以6.7版本为例。
2 D: M6 x) I3 _# s2 a
8 t* }; k! d' m# Y2 I2 `开启阿里云ES实例的自动创建索引功能。

0 p( k* Y, ?- j  f" E4 `' W具体操作步骤请参见快速访问与配置。

2 d, ]" ?2 r: J$ R+ T* \+ C! H创建阿里云ECS实例，要求与阿里云ES实例和Logstash实例处于同一VPC下。
. C2 O# P8 ~* E2 k
具体操作步骤请参见自定义购买实例。

3 a9 }3 P! ^! z, e; E' Q- L重要
该ECS实例用来安装Beats和RabbitMQ，由于Beats目前仅支持Alibaba Cloud Linux (Alinux）、RedHat和CentOS这三种操作系统，因此在创建时请选择其中一种操作系统。本文以CentOS为例。

在目标ECS实例上安装云助手和Docker服务。

  `; L* U1 g' S, `( t8 J具体操作步骤请参见安装云助手Agent和部署并使用Docker（CentOS 8）。
' n8 g# m% P' ^' j( o  M- n6 X, o
9 c: Y/ P0 J( Q. x. X! u在目标ECS实例上安装RabbitMQ。
6 v3 Q$ v8 O5 g, Y
( w; j/ @, q, p( C) x+ p具体操作步骤请参见Downloading and Installing RabbitMQ。
8 A7 P* z+ Z6 v9 W2 k8 h& t- d3 p5 v$ O
$ G  _* T) f* z! U* J- n0 ]步骤一：配置RabbitMQ
配置RabbitMQ的日志记录级别和文件名，步骤如下：
$ i% s' |7 F/ j0 N& r
连接安装了RabbitMQ的ECS服务器。

具体操作步骤请参见连接实例。
# u. ^# z* k' Z8 t8 d. T, m3 Z. I
说明
% H, u) D" |$ @0 D/ o: \6 T6 z' Z本文档以普通用户权限为例。

执行以下命令，打开RabbitMQ的配置文件。

5 K. m- E+ W, U  R: g8 u, F
: T$ C3 z2 Q, k4 ~sudo vim /etc/rabbitmq/rabbitmq.config
修改RabbitMQ的配置文件。
0 I2 r, S; v! O) {8 x) {

{
% W; D% I; e! G  j  lager, [
  %% All log messages go to the default "sink" configured with
  %% the `handlers` parameter. By default, it has a single
) C1 q( s, d2 }+ P0 V- \0 U  %% lager_file_backend handler writing messages to "$nodename.log"
0 E7 g& O) G( o* [# E+ O  %% (ie. the value of $RABBIT_LOGS).
   {handlers, [
4 S6 N) j& V. \0 t, i     {lager_file_backend, [{file, "rabbit.log"},
                           {level, info},
                           {date, ""},
                           {size, 0}]}
  ]},
{extra_sinks, [
6 f: a; X9 k  D) _
+ e5 }: X+ c( u# E9 b     {rabbit_channel_lager_event, [{handlers, [
                                     {lager_forwarder_backend,
6 C* h4 ?* x1 D& k8 v/ |                                      [lager_event, info]}]}]},
     {rabbit_conection_lager_event, [{handlers, [
                                       {lager_forwarder_backend,
                                        [lager_event, error]}]}]}
! `' K; i/ c, O. k% c2 `6 s" s  b! Q- }, s
! u. ?6 I- S& G: m# P+ U8 s  ]}
  l: h7 v: W- a修改后，RabbitMQ的日志文件名变为rabbit.log。

说明
& j* g* L2 ?$ T4 M日志级别（level）默认为info，您也可以将其设置为error，即记录出错日志。本文以info日志为例。
; H) e; m3 D: ]  Y& ~. p& x2 g& o; z
9 j2 _$ n' _, i5 v6 E5 m0 I修改配置文件后，需要启动RabbitMQ才能生效。
% p& i1 d2 i. e  X- X& E2 t  j
启动RabbitMQ服务。
% V$ k9 V4 g, D* y& V: U; i
进入RabbitMQ安装目录的bin文件夹下，启动服务。
5 I5 m4 Q4 J" e
, [- Y0 G; n, [% R# B  a. r
/ q+ w7 H8 k8 T6 Q: Tsudo cd /usr/lib/rabbitmq/bin
  z; V9 P4 \$ W4 `sudo rabbitmq-server start
启动成功后，可在/var/log/rabbitmq下看到rabbit.log文件。

步骤二：安装RabbitMQ示例应用
本节基于Spring Boot，使用RabbitMQ的JMS客户端进行演示。具体操作步骤如下：
/ _5 l, |" j, Y+ J  G6 n
" d) M7 T# P' W" O2 V2 f重要
7 }# o" i: ~8 e' S% U由于示例需要编译应用，因此您必须先安装Java 8。

在ECS中，执行以下命令克隆示例。


sudo git clone https://github.com/rabbitmq/rabb ... ng-boot-trader-demo
进入该应用所在根目录。
1 T- j' Q" _. w

cd rabbitmq-jms-client-spring-boot-trader-demo
执行以下命令打包并运行应用。

  q0 n% O" P1 X5 E2 w
sudo mvn clean package
sudo java -jar target/rabbit-jms-boot-demo-1.2.0-SNAPSHOT.jar
) d. w, D: v) M: h0 [0 o运行成功后，返回结果如下。

$ L( B0 [0 i- }$ E5 n* X9 ^
" L" [( u2 h! C1 }( e: y.   ____          _            __ _ _
, L( F8 v$ l3 E, [ /\\ / ___'_ __ _ _(_)_ __  __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/  ___)| |_)| | | | | || (_| |  ) ) ) )
7 B$ L# L: \# W( i7 H# i; D5 J  '  |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot ::        (v1.5.8.RELEASE)
9 O* @" S" o: I% Q. u: D1 R2020-05-11 10:16:46.089  INFO 28119 --- [main] com.rabbitmq.jms.sample.StockQuoter      : Starting StockQuoterxxxxxx
% y5 v/ F7 O9 P  J2 e2020-05-11 10:16:46.092  INFO 28119 --- [main] com.rabbitmq.jms.sample.StockQuoter      : No active profile set,xxxxxx
/ d1 @+ Y3 D% n, x, G5 M2020-05-11 10:16:46.216  INFO 28119 --- [main] s.c.a.AnnotationConfigApplicationContext : Refreshing org.springframework.xxxxxx
2020-05-11 10:16:47.224  INFO 28119 --- [main] com.rabbitmq.jms.sample.StockConsumer    : connectionFactory => RMQConnectionFactoryxxxxxx
3 D7 [) h: p0 c- K$ n! B2020-05-11 10:16:48.054  INFO 28119 --- [main] o.s.j.e.a.AnnotationMBeanExporter        : Registering beans for JMX exposurexxxxxx
2020-05-11 10:16:48.062  INFO 28119 --- [main] o.s.c.support.DefaultLifecycleProcessor  : Starting beans in phase 0xxxxxx
......
进入log目录下查看RabbitMQ日志。


! b( I  E9 p6 }. k6 Q; n# d8 ?, R. osudo cd /var/log/rabbitmq
sudo ls
返回结果中的rabbit.log即为步骤一：配置RabbitMQ中配置的文件名。
' ~8 l. ^" l, b, s- C; ]+ y
步骤三：创建并配置阿里云Filebeat
! L/ z$ J2 E2 P配置Filebeat采集器，将RabbitMQ的日志信息发送到阿里云Logstash的8100端口。
' h$ ?- s4 n7 o  p: f
登录阿里云Elasticsearch控制台。
7 G( E3 V% S) m4 q在左侧导航栏，单击Beats数据采集中心。
/ |; O4 Q. d5 Y' Z' X- ^
在创建采集器区域，选择Filebeat > ECS日志。
; f6 e  i) I  R+ R) C4 i) p
% x, g* ^" w1 r" z3 P5 \配置采集器。

3 ?, a, b; F! b  _: x/ P) Y更多信息，请参见采集ECS服务日志和采集器YML配置。本文使用的配置如下。filebeat配置

说明
采集器Output需要指定目标阿里云Logstash的实例ID，在YML配置中不需要重新指定Output。
! h( B3 N8 b! V& z& Z
) Z% w  K# a2 C3 V# i$ ?Filebeat文件目录需要填写RabbitMQ日志所在的目录，同时需要在YML配置中开启log数据采集，并配置log路径。

1 h- o! a# ]* ~" _+ d本文使用的filebeat.yml中的filebeat.inputs配置如下。
7 _# I7 }' y0 w; d3 s

filebeat.inputs:
" a# p# g$ ^6 e5 p/ d7 `# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
! a0 |8 N- E( C1 t8 J, {7 Q) A# Below are the input specific configurations.

- type: log

  # Change to true to enable this input configuration.
4 Q: }" w+ ^7 `! g; K  enabled: true
  fields:
    log_type: rabbitmq-server
  # Paths that should be crawled and fetched. Glob based paths.
  paths:
1 g; X! H/ Q4 ~/ i7 X% d; `    - /var/log/rabbitmq/*log
7 S0 v- t6 X  m! [( l8 N" y" e% D  fields_under_root: true
  encoding: utf-8
  ignore_older: 3h
安装并启动采集器。
6 x0 q) S' {# q$ t
具体操作，请参见采集ECS服务日志。安装时所选的ECS实例要与阿里云Logstash在同一VPC下。选择采集器安装的实例
2 B( ?. c$ H2 {
查看采集器安装情况。

采集器状态变为已生效1/1，且查看采集器安装情况后显示为心跳正常，说明采集器安装成功。查看采集器安装状态

8 e5 c5 U2 }! u: M步骤四：配置阿里云Logstash管道
2 R& P% s" L  G8 r- x) d) ]配置阿里云Logstash管道，使用基本的Grok模式从原始消息中分离出时间戳、日志级别和消息，然后发送到阿里云ES实例的指定索引中。
( @) R: j8 R0 F9 Q* q$ _  X
进入阿里云Elasticsearch控制台的Logstash页面。
" n/ a$ ?/ S& L进入目标实例。
在顶部菜单栏处，选择地域。
9 m7 m; K4 P5 ?: K! R在Logstash实例中单击目标实例ID。
/ V' v: _. P: ]  U: d  d. d3 o+ c在左侧导航栏，单击管道管理。
( _  h5 l2 y9 ~7 ~0 z6 f0 q
单击创建管道。

; H: `( u9 q  E' d- m在创建管道任务页面，输入管道ID并配置管道。

本文使用的管道配置如下。


input {
$ b. `; n* e7 w$ G. R  P  beats {
    port => 8100
% \1 r8 I' a$ F$ U& W% q  }
1 q! Y" a& u) e( J: I9 o) S5 v}

( S& U: j* x" G1 [7 A' ?. b$ ffilter {
  grok {
0 M( o; Y( o  f' j: y* _% h    match => { "message" => ["%{TIMESTAMP_ISO8601:timestamp} \[%{LOGLEVEL:log_level}\] \<%{DATA:field_misc}\> %{GREEDYDATA:message}"] }
  }
}

  h+ F1 _# F) O' ~0 S# r& {* _output {
   elasticsearch {
* {# H9 c. Q3 T2 z! Y8 L      hosts => "es-cn-4591jumei000u****.elasticsearch.aliyuncs.com:9200"
      user => "elastic"
% Z- F& q' b  x" q1 q  q      password => "your_password"
      index => "rabbitmqlog-%{+YYYY.MM.dd}"
+ ~& r1 s' |8 L/ t, S7 R' Y  }
( A7 h+ c8 V3 x+ Z  }' B: g5 b  U}
管道配置详情请参见Logstash配置文件说明。

单击下一步，配置管道参数。

* }7 g1 E  ^9 p  e9 `* K管道参数配置

' t1 T% O6 x) g2 E
" z9 }) v  c% V参数
7 t8 q) K$ o0 ~6 z7 D& ?- D
说明

管道工作线程
. m' p, W! _* e0 l, \
并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。
5 x: a2 V9 z9 i9 I$ ^; }
管道批大小
, o+ e% {" h+ ~  |
单个工作线程在尝试执行Filter和Output前，可以从Input收集的最大事件数目。较大的管道批大小可能会带来较大的内存开销。您可以设置LS_HEAP_SIZE变量，来增大JVM堆大小，从而有效使用该值。默认值：125。
* @. _0 s* |3 b1 z) s2 D2 q9 x
管道批延迟
8 f( Y; d: Q- g$ q1 ~% S
) J5 Z+ v  G- D) w* q1 o创建管道事件批时，将过小的批分派给管道工作线程之前，要等候每个事件的时长，单位为毫秒。默认值：50ms。
( J4 R1 _0 d& }* U$ l
队列类型

用于事件缓冲的内部排队模型。可选值：

MEMORY：默认值。基于内存的传统队列。
7 n3 ?# y$ S) [( {
PERSISTED：基于磁盘的ACKed队列（持久队列）。
8 [3 S- y) q$ s- \0 _* [) h4 A) a
: ^5 P. D7 Q! ^3 t队列最大字节数
( [  Y# I# {( q6 S/ d
# w9 b, h+ G7 i% ]; e* U+ o请确保该值小于您的磁盘总容量。默认值：1024 MB。
/ e( F4 }8 q6 ~) A5 z
队列检查点写入数
0 I3 P( s7 Z; q7 A2 g
) {& T9 h' U2 o  M4 e启用持久性队列时，在强制执行检查点之前已写入事件的最大数目。设置为0，表示无限制。默认值：1024。

& W1 C$ q9 a9 ~1 y+ v  t警告
配置完成后，需要保存并部署才能生效。保存并部署操作会触发实例重启，请在不影响业务的前提下，继续执行以下步骤。

0 n. Z2 p+ r+ [$ Z0 @+ a: j, z单击保存或者保存并部署。
2 i/ i5 z5 U& l' \4 X' _
保存：将管道信息保存在Logstash里并触发实例变更，配置不会生效。保存后，系统会返回管道管理页面。可在管道列表区域，单击操作列下的立即部署，触发实例重启，使配置生效。

, U1 @' u. x8 V保存并部署：保存并且部署后，会触发实例重启，使配置生效。
; [/ P2 a6 _1 [" Z: b; A7 u, u$ o2 I
步骤五：通过Kibana查看日志数据
% ^7 b( L/ S4 S+ A, \登录目标阿里云ES的Kibana控制台。

$ |# j2 t# H+ B$ ~具体步骤请参见登录Kibana控制台。

在左侧导航栏，单击Dev Tools。
6 ~# s1 n" q% ]9 e! q* M
在Console中执行以下命令，查看Logstash处理后的RabbitMQ日志数据。


8 h9 E  A) B" e: \4 V! y9 KGET rabbitmqlog-*/_search
% v/ z  r% E" i9 ~5 G# S{
  "query": {
! t; @4 H  }% g/ ~    "match_all": {
   }}
7 X1 A* [, e! g5 r/ s}
执行成功后，返回如下结果。返回结果
& Q! m5 X/ c1 X6 I% s2 a
步骤六：通过Kibana过滤日志数据
登录目标阿里云ES实例的Kibana控制台。
0 @8 Q+ \& {& S: }4 ^; Q. z
具体步骤请参见登录Kibana控制台。
' u3 @  Z5 @8 ~/ Z) \$ v. ~
创建一个索引模式。
% r  p# \" ]4 A
在左侧导航栏，单击Management。

  V) j/ v9 O* e/ L  w* I在Kibana区域，单击Index Patterns。

单击Create index pattern。

6 ~8 Z* {* k3 F4 O) z- g6 h/ H输入Index pattern（本文使用rabbitmqlog-*），单击Next step。

8 E' I- C& B2 [( {/ zIndex pattern
% H5 q( V. ^2 V选择Time Filter field name（本文选择@timestamp），单击Create index pattern。
) m4 X2 p+ T2 ^  k. k0 C
Time Filter field name
% Y7 p+ z6 e  W0 \6 i1 z在左侧导航栏，单击Discover。

, r3 Y" d4 r7 l4 e5 Y% X, s从页面左侧的下拉列表中，选择您已创建的索引模式（rabbitmqlog-*）。
  I+ E+ o" ^$ H, f' ?
7 k( d; m4 v) w' W$ ?# l在页面右上角，选择一段时间，查看对应时间段内的RabbitMQ日志数据。

查看日志数据
; _2 t, A  z3 Q3 G9 g1 }+ ^单击Add a filter，设置过滤条件，查看符合条件的日志数据。

9 u) s  m1 ^- B, T  `, gAdd a filter
步骤七：配置Metricbeat采集RabbitMQ指标
您也可以通过Metricbeat采集RabbitMQ日志数据，并通过Kibana可视化监控RabbitMQ的各项指标。

; D& u  H% R1 J% Z+ R5 J# ~8 s登录目标阿里云ES的Kibana控制台。
4 Q  n+ r8 P6 }  r9 ~
具体步骤请参见登录Kibana控制台。

& {" z0 g, A/ r  [. V在页面左上角，单击Kibana。

在Add Data to Kibana区域，单击Add metric data。

( [7 l. `. W$ h- @Add metric data
在Metrics页签，单击RabbitMQ metrics。

$ r3 k4 V, m5 N7 rRabbitMQ metrics
! h3 M. N% U/ R! Z* M9 T单击RPM，按照页面提示在ECS中安装并配置Metricbeat。

配置Metricbeat时，需要修改/etc/metricbeat/metricbeat.yml文件，设置Kibana和ES集群的连接信息，本文使用的配置如下。


setup.kibana:

$ D" f! p0 j! e/ E  # Kibana Host
: g$ |" P. _* [0 V  # Scheme and port can be left out and will be set to the default (http and 5601)
0 J7 ^! w+ c( _0 R# r  # In case you specify and additional path, the scheme is required: http://localhost:5601/path
$ ~' `+ ~4 Y7 u/ a" {6 ?* q( Q/ g  # IPv6 addresses should always be defined as: https://[2001:db8::1]:5601
% |  k( ]3 L/ M4 a   host: "https://es-cn-4591jumei000u****.kibana.elasticsearch.aliyuncs.com:5601"
output.elasticsearch:
  # Array of hosts to connect to.
  hosts: ["es-cn-4591jumei000u****.elasticsearch.aliyuncs.com:9200"]

  # Enabled ilm (beta) to use index lifecycle management instead daily indices.
, t, V# U+ n1 C. V2 ?  #ilm.enabled: false
5 \' F' w( q( V2 b1 e
0 [' }' R% W* e! h# G; x  # Optional protocol and basic auth credentials.
2 m$ V) E5 ?, y. S+ V( t+ W  #protocol: "https"
  username: "elastic"
5 {" d- ?4 N8 G& k2 C" |  password: "your_password"
启动RabbitMQ模块及Metricbeat服务。

/ s% Z* u6 O* ~/ N( @启动RabbitMQ模块
& H% D6 w# w% \* T' i; A

sudo metricbeat modules enable rabbitmq
& S3 I, Q- V2 F0 F( b启动Metricbeat服务并设置仪表盘

' j# t: G5 [. c& d/ u3 C
sudo metricbeat setup
8 s1 h7 j) |( |  n! F+ K; Y. `sudo service metricbeat start
在RPM页签中，单击Check data。
7 A& R) O4 M  D( X1 x0 H9 h1 d6 U7 s
$ Q* }9 A* J! Q+ Y% iCheck data
/ ^) c# K) M2 M( \单击RabbitMQ metrics dashboard，查看Dashboard监控大盘。

# J) t8 c& W; l6 R4 g; [7 E