ELK日志系统浅析与部署

admin · 发表于 2018-7-12 16:25:59

一、ELK应用场景

在复杂的企业应用服务群中,记录日志方式多种多样，并且不易归档以及提供日志监控的机制。无论是开发人员还是运维人员都无法准确的定位服务、服务器上面出现的种种问题，也没有高效搜索日志内容从而快速定位问题的方式。因此需要一个集中式、独立的、搜集管理各个服务和服务器上的日志信息，集中管理，并提供良好的UI界面进行数据展示，处理分析。

得此：ELK提供一套开源的解决方案，能高效、简便的满足以上场景。

二、ELK日志系统介绍

1、ELK分别是Elasticsearch、Logstash、Kibana三个开源框架缩写。

框架	简介	作用
Elasticsearch	开源分布式搜索引擎，提供存储、分析、搜索功能。特点：分布式、基于reasful风格、支持海量高并发的准实时搜索场景、稳定、可靠、快速、使用方便等。	接收搜集的海量结构化日志数据，并提供给kibana查询分析
Logstash	开源日志搜集、分析、过滤框架，支持多种数据输入输出方式。	用于收集日志，对日志进行过滤形成结构化数据，并转发到elasticsearch中
Kibana	开源日志报表系统，对elasticsearch以及logstash有良好的web页面支持。	对elasticsearch提供的数据进行分析展示

2、ELK经典应用如下

ELK经典架构

如图

1 j6 W! H: v, i( \+ p- l) i6 r; D$ e8 E$ P0 U
Logstash部署至服务主机，对各个服务的日志进行采集、过滤、推送。6 @- C# p9 G* b4 D' ^* G# ~
% z: c8 u! G8 J# G9 w
- Y% p# }$ u$ d3 T! N: w
. S0 B0 n# B# k0 V
Elasticsearch存储Logstash传送的结构化数据，提供给Kibana。
' T+ z3 v! P; r# S. y6 |4 f% x. k
% G/ _( \9 L, z7 }9 G( G3 V7 B
. H+ k% K U+ Z- }7 ^- l* |) I
% j, L# x( k# t$ a+ a
Kibana提供用户UIweb页面进行，数据展示和分析形成图表等。
3 K, T1 a: n/ T: M1 h# @
$ }; Q" V; o/ N8 d
7 R3 Y \* ?; P; u% X4 J: h+ U

备注：logs 泛指，各种日志文件以及日志信息：windows，negix，tomcat，webserver等等。

3、ELK改进

由于Logstash消耗资源大，而服务器资源相当宝贵，所以引进另一个轻量级日志采集框架Beats，其中包含以下6种

Packetbeat	用于搜集网络流量数据
Heartbeat	用于运行时间监控
Filebeat	用于搜集文件数据
Winlogbeat	用于搜集winodws事件数据
Metricbeat	用于指标
Auditbeat	用于审计数据

改良ELK

4、进一步思考

传统web项目中，经常使用log4j以及logback（性能更高）等成熟日志插件进行日志的记录，是否提供更好的解决方案。

" g7 }- s( P1 O! h. o

ELK升级1.0

如图

日志采集新增Logback直接发送日志到Logstash的形式。如果采用此方式，web服务可减少部分生成log文件配置，提高实时性和日志推送效率

5、高并发场景

由于logstash消耗性能，所以高并发场景容易遇到流量上的瓶颈，及时使用logstash集群也是如此，所以可以添加中间件进行日志缓存处理。由于logstash数据源具有多种方式，所有中间件也可以很多选择，常见的有kafka，redis。

4 Y! }1 N. {" N8 E) u* K5 G

ELK升级2.0

如图

; E7 K! Y0 p8 Z
! R) Y* Z( Q+ h9 Z! p6 u6 V1 }
host1、中间件、host2 均为高可用服务集群为简单显示未画出
1 ]5 |4 v( c- w( \! u* J
- n* P/ t, k4 w* q! B1 U
5 _, H, s5 \3 ^. J
' Y O- C) {- B2 ologback出现的业务数据可以通过写入redis或者kafka等中间件进行缓存，再通过合理限制流量阀值输送至logstash进行过滤' ?: D6 H6 k8 b- m0 B

5 u( N [0 ^9 V7 R9 i; t2 x* S
( ]) k5 T( u6 j5 R8 a
9 h9 N! k0 k0 N2 G$ H' Z' @! L
beats 如果是filebeat其日志若无实时性要求，可以通过控制log文件更新速度限制Beats传输日志流量
! k4 T+ J: R* X1 U6 ?
, {( H- i/ E6 S/ d4 a# {
9 x" O" w8 O3 O3 U) x

三 ELK搭建（非集群）

1、下载ELK（保持版本一致）！

Elasticsearch	官网elasticsearch-6.3.0.tar	elasticsearch官方文档
Kibana	官网kibana-6.3.0下载 linux64位	kibana官方文档
Logstash	官网logstash-6.3.0.tar	logstash官方文档
Filebeat	官网filebeat-6.3.0 linux64位	beats官方文档

备注:演示为centos7 即linux版本，请按实际需求更改

通过rz命令上传至centos7虚拟机
& q, S m6 p0 k- A6 P3 P1 w

2、解压

1 @. j4 }% p* O
7 ]1 n* K! D7 _/ _3 C+ h/ S/ T9 Ttar -zxvf elasticsearch-6.3.0.tar.gz y! f y$ y. y6 Q

- C' Y8 q. L. Q
) C) s. `0 Y* U7 ~2 ]
& O3 N1 ?. {# @ star -zxvf kibana-6.3.0-linux-x86_64.tar.gz/ }, @: G: u8 X- Y" i* ] g/ f

h. L0 v1 J7 U
3 V% M. [  S7 l7 V7 t6 ^9 e, a' x) X
  K" y, g% V5 }/ s* W* y- N
tar -zxvf filebeat-6.3.0-linux-x86_64.tar.gz  & s* A- Q0 v5 B9 t& s* S: T  ^
! b: d, s! {! j7 }4 Z8 x
, t( R6 X$ C/ U! H! x4 A0 q+ R1 B. j$ c/ s; Z/ V
tar -zxvf logstash-6.3.0.tar.gz
; s- R# w; U9 W* c8 n! f2 y& x" F; i7 ~# d% _

, Y* z0 W, y8 `2 {+ f2 J

备注:tar不支持指定解压目标目录可以通过mv 命令进行迁移。本教程迁移至/home目录下

3、java环境搭建

推荐使用jdk1.8jdk环境配置

4、安装elasticsearch

修改配置文件

vi /home/elasticsearch-6.3.0/config/elasticsearch.yml

/ L y2 E9 M" b& w6 C" l

* O. R' l( l/ g8 T# ---------------------------------- Network -----------------------------------* q% L: a6 |4 d: N

) a# a3 s: C- c5 Q3 @* ]6 W
/ p6 p/ H: Q) B4 v" w

) S9 r. g9 @  {% r" H1 C! `#
  Y9 g2 Z" `1 Z5 }: C
. [1 N; I2 w$ W  L0 r; g
8 Y8 w' c- [; r4 L5 `/ ^' a2 `" e! p
# Set the bind address to a specific IP (IPv4 or IPv6):
. a: n. d: }- q
, r1 e8 l; T* w
% G6 T& t Z4 y$ c
" _% c. j0 u; F: G5 j2 i4 t# T1 E8 p' n#/ ^" l c$ r5 _$ H

* f9 Y' F: [& ?( Y
) W" I) j- Z; J1 H* R( L# I1 O& \8 ~5 U9 P' H: H
network.host: 0.0.0.0 ##服务器ip 本机
) k( h' h" C: }+ b6 W1 M; H& w* d
; w# Q3 {4 C8 t1 i6 s% r
6 k0 A8 t1 y4 t% F
. T; t8 p' K% u
#/ S1 [7 `1 b) T7 |% P

3 V1 t4 [+ u9 S1 J+ A6 [9 x
9 N. b/ l9 ~4 ~! T/ x5 e3 A& e9 G
' w( Z" e3 H& F8 I9 i% ~
# Set a custom port for HTTP:
. I( [& n/ Y p9 G5 O3 r& ?' ?' O0 L/ M5 ~1 O* B
+ _, j2 i# O1 Y
# Z' Y; u: P' K5 Y( ]9 K, o#
- M/ S4 d9 q7 {. T# f }
+ w3 c& P6 p8 }! h
1 w H1 S' v: A( v5 O2 J' N7 C5 E
- Y( f5 p# ~( k' Z" P+ u# s0 A4 y+ hhttp.port: 9200 ##服务端口
2 |1 E7 {7 Q0 ]
8 i) z2 {% J; a! o! P
' y9 Z2 ]/ k( ^* |8 T
$ T' I/ ~& ^9 ]: g# R
#6 l, e! E- }' h0 q- A" ?/ z

* A: Y) g0 Z4 Z$ Z
( V* O `$ u5 l' Y$ f9 l- q1 \! ?4 x& E
# For more information, consult the network module documentation.
! B0 z5 U; J/ H2 O( y
- \; g8 p* r0 `; a P
+ h$ m4 o+ K5 b C, L$ s8 H# `. g% x9 O& [! \
#
: L3 ]% c" ~2 l- u3 Z" J3 o U- G7 b) D
/ e, D% `2 e5 @9 t/ ?& M7 Y$ P

启动elasticsearch

/home/elasticsearch-6.3.0/bin/elasticsearch #命令窗运行/home/elasticsearch-6.3.0/bin/elasticsearch -d #后台线程运行

关闭elasticsearch

ctrl+c #命令窗关闭

3 U9 j' h4 J$ {4 y* B

/ w. u8 V* J. [$ dps -ef | grep elastic #后台线程关闭
+ f4 d7 R5 B1 ~4 ^3 v. T2 l
" Q, Z, Q# B- O) X$ z
* T" z5 F7 N' m' o. \! z% Y$ s& k
kill -9 4442 ##pid 4442为查处线程的pid
/ q. I8 B+ r. \( K3 N# U! e: I0 i3 o* L' q# ]) f0 o
% z" _; Z4 M/ b$ _, N4 H

$ a% k' s( l7 g2 r G

常见问题解决elasticsearch启动常见问题

验证elasticsearch启动

2 D% R% J* G' E0 W6 }# K9 `

5、安装kibana

修改配置文件

vi /home/kibana-6.3.0-linux-x86_64/config/kibana.yml

! }$ u$ Z/ R& G+ V. L% L0 b; x8 w

* X9 r' Q: I7 z0 kserver.port: 5601 ##服务端口
- T) q! t' x& i! s/ C, Z/ _
( T* l) R6 Q: \# v9 b
0 r% I3 X9 B! P: ~) q

0 V+ x0 U9 ?0 \7 ]" {8 m \! G. Yserver.host: "0.0.0.0" ##服务器ip 本机
+ p; ~! w7 P# K+ T1 l) Z& O" }3 F9 q6 f# a2 d) g
" W0 Z, p+ `* m6 F" j: {4 U
% h) Y/ [, |, B6 j, Q
) ]/ {2 H8 F% d+ [( F
% \& R* ?! `$ K' z* f
0 I8 E* N; K$ o0 F& n5 u
* O8 o, v9 d' ?, a/ M" Z+ s4 F; Delasticsearch.url: "http://localhost:9200" ##elasticsearch服务地址与elasticsearch对应
) z1 b0 I, z7 @( _: j) T; Q% M/ B' [0 |2 R% {
' P+ `+ [- O$ H* r" h

启动kibana

/home/kibana-6.3.0-linux-x86_64/bin/kibana #命令窗启动nohup ./kibana-6.3.0-linux-x86_64/bin/kibana & #后台线程启动

关闭kibana

ctrl+c #命令窗关闭

% U7 e( \5 o7 e, n- G
9 F( W' j7 d; Q7 A' X' m3 ], F; fps -ef | grep kibana #后台线程关闭
# X! f# B" q# T" d7 |: R0 n2 z9 l
2 K' L# q) `$ t
+ u( ` P" V) ? Rkill -9 4525 ##pid 4525 为查处线程的pid % @- i7 Z+ v# I+ r; M* s
+ g4 g. G) N4 k: L- j4 n) m
; y, U1 @4 R# _$ I6 x" F7 a

备注：常见问题多为端口占用，以及目录未授权，需要同elasticsearch 使用目录运行执行的用户去执行未配置则为root用户验证kibana启动

6、安装logstash

新建配置文件

vi /home/logstash-6.3.0/config/logback-es.conf

( l* Y) U5 N4 k' p; H

z6 v# y; J f9 W; A. qinput {
- T" U2 M' x$ t" j8 E2 i. X' y/ D# ]- B- H+ ]+ o
3 s4 @+ Q$ B8 z8 h* j

. n2 w! a) x+ { E; ~ tcp {
/ a& A4 r! L, w/ `) T( Q2 o/ O$ y% O7 V: d0 p% D
3 H3 Q* ~) o5 x) H7 T: Y

1 V* i! M. h1 U8 ]; A2 t% I- E* | port => 9601 + ?0 }. |/ W. W$ S
, [( z+ s6 G0 T# `
8 G9 N2 T ]( D
+ O0 ]3 f5 s9 p0 s" f, I: F7 h7 S codec => json_lines ) Z% J/ E& m' l' ^
4 f4 B' a, q. k( P8 ?5 j/ S" h
# D4 h* i6 X: D' s% v

8 X8 @" M( s" H* G+ J }
0 |- Z: O8 N0 l2 |: o8 D- c' O$ ?$ s; R5 _
" i6 b5 y& V* S6 q
$ ]" ^; x. i/ U5 S. k% f}
( _" Z+ p5 w a: |& Y3 b
6 \1 g9 t! r+ A. e, o/ z
' d/ N- p: u% u2 S. G

' ~) c7 a7 b7 e( @4 b6 ^output {6 t. O" @5 a9 S0 O: H

" n* V# z; R# {7 f
" O" T3 P: L2 z0 t8 X% Z7 ?+ ?6 m- B, n7 c  R/ J, r
      elasticsearch {
1 x. s) e  h' D7 s, z
# e6 l1 C% Q! t- Z+ U
  E; C1 l" P2 K' \' x% c) p! Y- U; T' H1 M' K; u4 q
            hosts => "localhost:9200"' P! g/ o: g7 W8 B

' m0 N4 H. s: E$ q" c  r$ S" V
& g3 G; Z- x6 {" Z3 C0 g- U" R

% e m- w) J+ | }; m; ~* _6 Y" {/ H$ S
: t4 ?! Z# e: ]. m
( I0 W5 L) p5 C: S; [- y. l

) l" r) T( \0 J1 M, w: \ stdout { codec => rubydebug}- q+ Z5 T# X' V. l( n2 S7 A- t4 O, c

! f0 E, }3 p& x8 s/ g) V( S8 W# a
1 D( S8 k7 R' c9 E1 e  y
: S* Z7 K1 U, k* u0 G  p}
0 Y. R0 z" T; e+ t6 m4 k% W4 s, a  W) J
. U) y8 Y$ o1 G0 s' m

备注:上述文件复制时必须去除多余空格，保持yml文件规范。

7 g& g8 Q8 [, L$ w K4 z

备注：上图与配置部分一一对应

8 y6 e* R( o2 D4 b  g: ^# \4 c" a' H
input {                               ##input 输入源配置
  w0 j# n) U1 P
1 D4 a/ f4 P' v  [( l2 Z
$ e4 A8 ~+ O; a" U2 x! r6 h+ d# @5 u0 _2 x+ `% g" z
tcp { ##使用tcp输入源官网有详细文档
( \2 |, T$ P- ]
. C' J) ]; p2 N& u/ g' P* _
) K) J; q2 B! H9 u% c+ |, b" N, \9 v" c* g; s& S) ~+ E7 I
port => 9601 ##服务器监听端口9061 接受日志默认ip localhost1 \. I" ~* n8 A* K+ n: T

/ _) a$ S$ J% ~% {6 ^3 H0 W
% k7 R1 ~( ~" s1 z' k0 r8 i
! F! I6 }' P/ s- P3 j
codec => json_lines ##使用json解析日志需要安装json解析插件
6 a# l$ [+ T. Q% T) p( P* F9 y' n
  O6 H' @! G9 G4 ^
* o$ y3 l% W( W) ~' D5 X" R% v
}
  d' [5 z5 V  h: T
. r9 @4 ~6 I/ L1 v0 x0 k: w; l  D
- p: k+ w5 V! ^ D8 m& w. {( c
7 J* d" J" Z8 l4 m, y}
& @1 `5 A) ` S6 ~+ x! T; s, D8 E5 J/ O- C3 \
+ C' R1 W( u- w% F
! Y( I% S' N8 v* }& ?filter ｛ ##数据处理5 w0 w1 O% C1 R u

" B- R0 ^7 E$ t: P
: f( u5 } I% G* o) O9 L n% g3 r9 E+ H* o; v
｝ , ?" C$ h+ R- X J

. L9 \2 x- ]- }% I7 C
+ f5 {- ~* M2 U' }$ p* a
+ A9 t  g9 v5 L
output {                            ##output 数据输出配置" ]7 A; @+ u9 {3 C8 J1 Y
% J) w. R& \. L  H  J# i$ ?$ V% z
. l" F; R5 Q5 ]. B0 n/ D3 v7 n% Y1 E- e. L6 T& P
elasticsearch { ##使用elasticsearch接收! J X5 y" F" }5 v

/ `7 K1 q# D: N. G
$ ]* ^* V, r" s) D/ n+ J6 I- K4 `
2 R# H# j! l, Q% w0 P# P
hosts => "localhost:9200" ##集群地址多个用，隔开
: r: Z' }% {& z2 D( U' I5 G5 U7 d; C E) [5 ]- c
8 `+ U! p. ~+ n, }9 L. G+ ^9 }  J
1 B; E" v! e  ^7 i5 G6 [! v
      }* D# U- P  f  G, O
! l) D+ U; E/ P+ N* O( p  w+ s
3 Z1 \8 q+ w$ r+ k& u/ q
/ ^& |: o4 g+ X" b9 k
stdout { codec => rubydebug} ##输出到命令窗口
' R( n7 |$ P9 s1 {* m3 k, c; w! P5 m9 X7 O
' y. m( Q) p. _0 \, P. e
; F) T% J5 y3 w
}
" P' F5 E6 P" Z/ M3 y. _5 k- i' `
$ A4 P: I7 f5 q2 T3 \: f4 J
/ w( U& c* c0 b- i* w

logstash官方输入源支持以及下载

安装logstash json插件

/home/logstash-6.3.0/bin/logstash-plugin install logstash-codec-json_lines

启动logstash

/home/logstash-6.3.0/bin/logstash -f /home/logstash-6.3.0/config/logback-es.conf ##命令窗形式nohup /home/logstash-6.3.0/bin/logstash -f /home/logstash-6.3.0/config/logback-es.conf & ##后台线程形式

关闭logstash

ctrl+c #命令窗关闭

8 [2 k l; `! Q7 P T7 N& z
. A) K, v. M' D" O5 N6 g
ps -ef | grep logstash #后台线程关闭: b* R$ o: d+ I/ ?8 Y& N+ J1 S
: `$ c7 e% O' d' q( v
* k; l4 L ?& y+ T6 x

1 U% w1 Y6 P% H8 `1 A+ dkill -9 4617 ##pid 4617 为查处线程的pid - s9 B9 d o) V6 v; `# f

' s( Q* `1 B; O; V9 J$ k
/ B, V# ]$ {& t0 }

7 使用logback 传输日志到logstash

建立springboot项目（为了快速使用）

2 ^4 A# ]$ {" ^' p

pom文件依赖

9 O% ?. `' A- `7 w

- U, o: L: i! A8 B$ _9 Z" G <dependency>
3 l# Y1 V, W3 H# ]9 h! _1 q6 V$ e7 L! x
( L3 L ~, C; k: l+ ]4 h! I' K& x0 r/ [" L0 b: H: B( G" C: Z% |+ H5 B
<groupId>net.logstash.logback</groupId>
$ x1 j* _' n3 O/ p1 R* ?( j2 Q5 j# @ C
$ S9 F5 f1 h3 m7 u

; G- U9 J% k: B/ ~7 F, ~ <artifactId>logstash-logback-encoder</artifactId>
7 @% ~" t, T2 _0 B% K9 V" @7 h+ O. j) n
2 p2 V- f# y( d7 D& B" M
m/ T" N9 {+ G. B. H2 x" o& |; k- D0 ?1 e% d- `
<version>4.11</version>/ L6 G6 W9 ]6 L# S7 I5 b9 \; _- h
: X/ o/ x2 n* z4 x3 \; u- M6 J5 M+ q
$ E: r$ g: @8 t9 ]( \/ X9 N% Z# x8 v. C6 y/ N0 V. I
</dependency>
( ^ W/ s. q, z5 K) D2 p5 Q
$ M8 T# ]3 b& ?4 U% ^# v/ i/ p. F% l

logback.xml

9 a% b+ W2 j. S7 M2 k( E

) d) {7 E* J/ G+ X3 L<?xml version="1.0" encoding="UTF-8"?>3 H0 M* Q6 |5 O) z% |! B& s/ J+ A
" g' m. \( f- E2 o' A
" O" Z: J4 L3 k+ L0 e. P6 W4 e" W7 ]- [ V, c; V. K3 G
<!DOCTYPE configuration>
, h4 X0 L2 \% q: {' V% j$ K/ u" e, B6 x- @6 O! O
; E! y9 F' f" @: E
' [: u$ g0 Y! k% j* c' a, I9 E& J
<configuration>$ W/ Z1 O( ?4 J6 ~ J: N

1 p+ n' [ i# O. R+ P* W
7 \9 h; D2 p" M: H4 h/ u8 j

* H- ]. x: [1 Y5 ]7 q$ p <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">: E! ?* s+ N# e3 e' M& t

/ R3 G6 V* x+ E( w: _5 g
; ^/ d7 a* O; h* Q7 ^. j3 o8 ?& x

* s6 y) b% f( E" g5 V' Y6 Z <destination>192.168.253.6:9601</destination> 
9 a! z i8 ]* v" c' M- O) ]3 K& S5 `: j- {+ W( E
, o& }7 N3 p% @' l0 K" k' ^
: u% q) B  F3 ]! {& g7 r* f
      <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
  j, N. d: |$ i0 o! A4 r/ n- X. q+ Y. V, ], \- H
3 j0 e2 Q0 A4 V/ H, D
0 T* K' f- \& g5 S6 q1 j </appender>- O! X" j! x7 X* @

# D7 @* l3 c+ ?9 q" q3 c
3 t# A* |; p3 d' c6 V7 F
" t' p* @- h: W$ B4 ~# q7 `1 s) f9 _6 ~4 R& ?% h7 ^
( j- p; G" Y9 E$ D; o4 Y8 p' r7 z
( y, W; e3 D7 P4 ~2 \
5 G2 u# P! }; s/ J! w# x9 ^7 | <include resource="org/springframework/boot/logging/logback/base.xml"/> & q( J: D& P. N; r$ w& f
6 Y" q; W( x& U# L
, d( x/ }' P" c. Z

+ Y& s8 R$ `* v4 i* _- ? q
+ I; H+ Y+ h/ l: Q7 X
' {0 U, O2 Z! ]1 K3 F( j& d, @- l
- F5 @$ x" t; J K0 O

& J4 W" \: W& ~: e( z$ N4 f <root level="INFO">
8 X6 e- y( z% ? A4 s; S) n+ Q/ Q& L
6 t( q( C; g, [4 J/ A7 b7 C9 q+ m
( I. r' Q: w  }% N" T

+ z1 W" F: s/ F       <appender-ref ref="LOGSTASH" />                                        , [) P3 G; p& S9 v; ~4 s$ \) g" l

, o! q  x5 F! A6 B0 n, X9 c& o
% o6 O2 d, o" p) Z, I" n

1 r) l" d9 p6 Z <appender-ref ref="CONSOLE" /> ; J; o: Z+ j; E7 G3 X

b. R' p6 i* ~4 O3 S
# S5 z2 I- }. V: m S; g- y E6 D. b' @2 o, C
</root>6 y, q8 ]2 b2 z2 B9 s
6 _9 M- c3 ~' M% O# f
1 W0 x. M, o2 o* G0 D. I$ y
7 [/ {* o! W$ w+ Z

' E* L6 p, j/ s
$ E1 Y) g8 I1 k7 Z
8 ~* Q0 C0 g2 ^4 S; o# z& Z: e

: e1 u, a: H0 E9 U' t) `& K</configuration>
$ v; g1 l$ R9 A% G1 `( O
1 }1 s4 @' B+ k5 \2 E& `8 A+ M; L4 X2 W# T% p1 |, l7 Q2 D

SpringbootLogbackApplication.java 测试

5 D4 ^& f" D- c; A3 J! q: d$ a/ I, C5 F9 h6 A7 a( A- N D
package com.zyj;9 U, V. N1 V5 K
- I- g% p2 K( U. H2 h3 R' m
+ ?, r; P, q+ v1 Y1 }1 Q4 u

3 z0 O: Y6 b2 d5 D% Z6 J; T

% T M4 n6 I; d( m0 N5 _
3 @2 C( L. z5 x2 | o8 x

. K, r7 k; a! }import org.slf4j.Logger;
8 v8 O" D( t2 H4 x4 t5 l9 f8 q3 i2 ^+ J" g4 N$ s
1 T1 u5 n, X1 S8 z( G4 p0 M5 `4 b8 ]$ O) O
import org.slf4j.LoggerFactory;
% w) K; i5 E, E) @! o) n: m: d5 a- U" ]& |! ^8 J
# Z+ {4 B0 F8 a& E) y1 z

$ F) b6 p0 Y5 S+ l0 oimport org.springframework.boot.SpringApplication;
: ~. ]# {6 ?$ Z. A2 O$ A1 T8 g) ~+ S1 {
. d8 s- |& x; J3 J- b2 S( Y' _4 t" u3 r
import org.springframework.boot.autoconfigure.SpringBootApplication;
J6 c# e" l5 F0 V O$ ^1 _2 ]3 d! k+ g
! C  O3 B; G5 A. x" r5 T* R
6 }2 p. g  H7 S3 S' d

6 m' i, @( L  Q. O3 S" k% D6 E
8 U2 g# D+ B  g
+ U- P% X0 O" A: r/ q2 r( I: e: ?

3 }& E. @/ ~9 A6 K" N+ s@SpringBootApplication
1 @$ a! I9 [. S
+ o" H# h* B/ l
. U6 A' u- I# ~, O8 X! c' k* U

# _, z, v9 T3 H/ B/ Ypublic class SpringbootLogbackApplication {* x, N5 g* C) u- H- d* K$ v3 x( F& B

3 u/ N0 j& ?4 ]
/ |2 z4 D0 p/ z# i* k/ R1 ~ E
5 h; z7 a- e' a) I4 } private final static Logger logger = LoggerFactory.getLogger(SpringbootLogbackApplication.class);
6 o+ i. E, m. Y) ?; `* z: X5 y; Y% B0 P& |( C
+ I) b" T; _, p# S+ |* d1 E% b; v' g' R T( _

4 l- ]7 Q5 `; ^1 J
( a! C2 w/ P/ o5 w7 @
! d1 |4 E9 J1 s
, Q1 _ A0 y! { public static void main(String[] args) {
; v. J" g$ Z8 j9 M- V9 U
( n' P% G- a Z
/ ~2 q1 G2 G" D# j8 r0 U R' r g- N$ @ J! H# m! g- G
new Thread(()->{7 n4 F% j) M' E% l8 d0 R* ^
3 U* k i; v; u8 S0 J( m
" f. ]- g% y2 }4 b
: ^0 G7 ?) Q( V% h for (int i=0;i<100;i++){4 ~" g) ^. F" A) ~8 _: N

$ N" E. }* a) y6 z8 R
3 J* `) w! l4 t$ t& d8 l2 ?" H. H# \5 j8 N

" Z0 V% [6 q) M9 ~# G' F6 @ logger.info("---test---"+i);
- }* |# X1 [5 y$ _" p' O* Y: H% N4 L4 ?, Y
8 r; j6 V# j, V# d- a
5 T5 Y5 l" t s- Q& i }# l! \, A: `) b9 e% X# W2 s# ~3 X) C* F

' ^: H8 t( n( t u p: J$ P
" P) G& H4 h( p& D- c3 g

. |( B1 d$ x; ^ }).start();
" S% E8 Q' j7 S" q/ p2 k5 L4 x6 R& m+ F
3 A) T: \1 A3 X& s6 n0 l2 U- V
3 z- O5 @, a, ~8 {: K4 t) z& f% l5 D' ~/ ~5 Z6 t; o
/ d+ ~$ I7 |4 l1 V9 t9 ~3 R: g4 m
& _9 c- q2 \! u5 Z) z% [& A( M9 W" e c% [ {2 u
SpringApplication.run(SpringbootLogbackApplication.class, args);" _& | A9 |# y& e5 }: G* ~
# d% H$ c1 T+ \
: B1 H6 Q( r9 d; K
& R7 S. P+ Y/ o. E( u
}
* N3 r1 r! Y L7 Q6 T o; U
! `% H P, @1 e6 H( l+ H
9 s4 [' S8 f2 a$ l$ B/ D. [
6 {# ?5 H1 B6 ~3 h+ e0 }( _9 T8 j}
- l7 m0 e7 k8 b
. N- z% `; N8 b) T2 z( z; o2 D

9 验证ELK

为演示方便，我们简单展示一下，单位时间线程打印某日志的速度。主要通过kibana过滤出结构化数据，通过以数据的时间戳为x轴，以count统计函数为y轴进行图表展示。

（1）后台启动elasticsearch kibana logstash 并验证启动成功

（2）启动springboot项目

" N' K5 L# y) C+ L- w

（3）logstash输出控制台记录此为默认无过滤器打印logback包装的全部信息

（4）kibana日志显示

添加elasticsearch日志数据

9 J, L+ K0 g/ `- |/ ]) y4 e: `

使用时间戳显示单位时间线程记录日志数量

% \, Z0 S" m ?: w8 I8 o0 k

四、思考拓展

1、本文未详细介绍logback详细配置，以及自定义日志传输，将后续写入kafka以及redis方案，log4j亦可以使用elk因性能问题不做深究。

2、本文未详细介绍elasticsearch，logstash，kibana，beats的详细使用，仅罗列架构以及初步elk使用。beats常用为filebeat，对已经生成文档的日志进行传输。

3、没有完美的架构，只有合适的用法，针对不同的业务环境需要对架构进行微调，整体思路不变。elk为单独高可用服务群，服务器群与beats或者logback亦是独立高可用。

4、根据业务需要，在logback打印的日志中可以进行结构化处理，亦或者在logstash的filter中对数据进行结构化处理。业务场景有待考究，初步考虑异常分析以及sql回滚等。

admin · 发表于 2018-7-12 16:28:15

加上个人实践意见，及如何避坑

请不要用log4j2

不然不成功。我的版本就是这个结果

没有图片，图片参考下面的网址

http://blog.csdn.net/mchdba/article/details/52132663& H Z+ D; e9 B5 i

1、ELK平台介绍

在搜索ELK资料的时候，发现这篇文章比较好，于是摘抄一小段：以下内容来自： http://baidu.blog.51cto.com/71938/1676798

日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。

通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。

集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等Linux命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。

开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/product

E:\u\elk\pic\01_1.png

2、安装准备

Elk平台环境
系统	版本
服务器操作系统	Centos release 6.7 (Final)
ElasticSearch	2.3.4
Logstash	2.3.4
Kibana	4.5.3
Jdk	1.8

注：由于Logstash的运行依赖于Java环境，而Logstash1.5以上版本不低于Java 1.7，因此推荐使用最新版本的Java。因为我们只需要Java的运行环境，所以可以只安装JRE，不过这里我依然使用JDK，请自行搜索安装，我这里准备使用1.7

3、下载

官方网址：https://www.elastic.co/downloads，如下图所示：E:\u\elk\pic\01_2.png

从中获得下载地址：

wget https://download.elastic.co/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.3.4/elasticsearch-2.3.4.tar.gz

wget https://download.elastic.co/logstash/logstash/logstash-2.3.4.tar.gz

wget https://download.elastic.co/kibana/kibana/kibana-4.5.3-linux-x64.tar.gz

wget http://download.oracle.com/otn-pub/java/jdk/8u45-b14/jdk-8u45-linux-x64.tar.gz

4、安装调试4.1、安装jdk

使用root安装jdk

mkdir -p /usr/lib/jvm

tar -xvf jdk-8u45-linux-x64.tar.gz -C /usr/lib/jvm

# vim /etc/profile 配置系统参数
. r* `$ }* e% G+ }5 I2 D5 kexport JAVA_HOME=/usr/lib/jvm/jdk1.8.0_45
- X4 K8 q7 n7 w9 v1 jexport JRE_HOME=${JAVA_HOME}/jre9 H3 N7 ~1 N; ^
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib# o7 l! W+ b$ U" h4 k, ? [
export PATH=${JAVA_HOME}/bin:$PATH

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_45/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_45/bin/javac 300

4.2、安装elasticsearch

使用elk账号安装elasticearch：

# 解压缩安装

useradd elk

su - elk

tar -xvf elasticsearch-2.3.4.tar.gz

cd elasticsearch-2.3.4

# 安装Head插件

./bin/plugin install mobz/elasticsearch-head

ls plugins/

# ls能看到head文件即可表示ok了。

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ ll plugins/

总用量 4

drwxrwxr-x. 5 elk elk 4096 8月 2 17:26 head

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$

编译es的配置文件：

cluster.name: es_cluster

node.name: node0

path.data: /home/elk/data

path.logs: /home/elk/logs

# 当前的host ip地址

network.host: 192.168.121.62

network.port: 9200

启动es：

./bin/elasticsearch &

[Failed to load settings from [elasticsearch.yml]]

坑一

这里整理几个空格引起的问题.

版本是elasticsearch-2.3.0 或者elasticsearch-rtf-master

解决网址

http://www.bubuko.com/infodetail-1639745.html

看后台日志，发现它和其它的节点的传输端口为9300，而接受HTTP请求的端口为9200。日志如下所示：

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ more ../logs/es_cluster.log

[2016-08-02 17:47:23,285][WARN ][bootstrap ] unable to install syscall filter: seccomp unavailable: requires kernel 3.5+ with CONFIG_SECCOMP and CONFIG_SECCOMP_FILTER compiled

in

[2016-08-02 17:47:23,579][INFO ][node ] [node0] version[2.3.4], pid[21176], build[e455fd0/2016-06-30T11:24:31Z]

[2016-08-02 17:47:23,586][INFO ][node ] [node0] initializing ...

[2016-08-02 17:47:24,213][INFO ][plugins ] [node0] modules [reindex, lang-expression, lang-groovy], plugins [head], sites [head]

[2016-08-02 17:47:24,235][INFO ][env ] [node0] using [1] data paths, mounts [[/home (/dev/mapper/vg_dbmlslave1-lv_home)]], net usable_space [542.1gb], net total_space [10

17.2gb], spins? [possibly], types [ext4]

[2016-08-02 17:47:24,235][INFO ][env ] [node0] heap size [989.8mb], compressed ordinary object pointers [true]

[2016-08-02 17:47:24,235][WARN ][env ] [node0] max file descriptors [4096] for elasticsearch process likely too low, consider increasing to at least [65536]

[2016-08-02 17:47:25,828][INFO ][node ] [node0] initialized

[2016-08-02 17:47:25,828][INFO ][node ] [node0] starting ...

[2016-08-02 17:47:25,939][INFO ][transport ] [node0] publish_address {192.168.121.62:9300}, bound_addresses {192.168.121.62:9300}

[2016-08-02 17:47:25,944][INFO ][discovery ] [node0] es_cluster/626_Pu5sQzy96m7P0EaU4g

[2016-08-02 17:47:29,028][INFO ][cluster.service ] [node0] new_master {node0}{626_Pu5sQzy96m7P0EaU4g}{192.168.121.62}{192.168.121.62:9300}, reason: zen-disco-join(elected_as_master,

[0] joins received)

[2016-08-02 17:47:29,116][INFO ][http ] [node0] publish_address {192.168.121.62:9200}, bound_addresses {192.168.121.62:9200}

[2016-08-02 17:47:29,117][INFO ][node ] [node0] started

[2016-08-02 17:47:29,149][INFO ][gateway ] [node0] recovered [0] indices into cluster_state

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$

打开url地址http://192.168.121.62:9200/，E:\u\elk\pic\01_3.png

看返回结果，有配置的cluster_name、节点name信息以及安装的软件版本信息，其中安装的head插件，它是一个用浏览器跟ES集群交互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。可以使用web界面来操作查看http://192.168.121.62:9200/_plugin/head/，如下图E:\u\elk\pic\01_4.png：

可以从界面看到，当前的elas集群里面没有index也没有type，所以是空记录。

4.3、安装logstash

logstash其实它就是一个 收集器 而已，我们需要为它指定Input和Output（当然Input和Output可以为多个）。由于我们需要把Java代码中Log4j的日志输出到ElasticSearch中，因此这里的Input就是Log4j，而Output就是ElasticSearch。

结构图如E:\u\elk\pic\02.png所示：

安装配置：

# 解压缩安装

tar -xvf logstash-2.3.4.tar.gz

cd logstash-2.3.4

# 将配置文件放置在config文件夹下面

mkdir config

vim config/log4j_to_es.conf

# For detail structure of this file

# Set: https://www.elastic.co/guide/en/ ... file-structure.html

input {

# For detail config for log4j as input,

# See: https://www.elastic.co/guide/en/ ... s-inputs-log4j.html

log4j {

mode => "server"

host => "192.168.121.62"

port => 4567

}

filter {

#Only matched data are send to output.

}

output {

# For detail config for elasticsearch as output,

# See: https://www.elastic.co/guide/en/ ... -elasticsearch.html

elasticsearch {

action => "index" #The operation on ES

hosts => "192.168.121.62:9200" #ElasticSearch host, can be array.

index => "applog" #The index to write data to.

}

启动logstash，2个参数一个是agent一个是配置文件：

[elk@hch_test_dbm1_121_62 logstash-2.3.4]$ ./bin/logstash agent -f config/log4j_to_es.conf

Settings: Default pipeline workers: 32

log4j:WARN No appenders could be found for logger (org.apache.http.client.protocol.RequestAuthCache).

log4j:WARN Please initialize the log4j system properly.

log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

Pipeline main started

接下来，可以使用logstash来收集日志并保存到es中了，可以使用一段java代码来实现它。

要记得，logstash是一个收集器

4.4、elk3测试工程

工程环境是eclipse，工程大概目录结构如下图E:\u\elk\pic\04.png，一个java类Application.java，一个日志配置文件log4j.properties，一个调度配置文件pom.xml：

（1）Application.java

package com.demo.elk;

import org.apache.log4j.Logger;

public class Application {

private static final Logger LOGGER = Logger.getLogger(Application.class);

public Application() {

// TODO Auto-generated constructor stub

}

public static void main(String[] args) {

// TODO Auto-generated method stub

for (int i = 0; i < 10; i++) {

LOGGER.error("Info log [" + i + "].");

try {

Thread.sleep(500);

} catch (InterruptedException e) {

// TODO Auto-generated catch blockl

e.printStackTrace();

}

（2）Pom.xml:

<version>0.0.1-SNAPSHOT</version>

</dependency>

</project>

（3） log4j.properties

Log4j.properties，将Log4j的日志输出到 SocketAppender ，因为官网是这么说的E:\u\elk\pic\01_5.png：

Log4j.properties文件：

log4j.rootLogger=INFO,console

# for package com.demo.elk, log would be sent to socket appender.

log4j.logger.com.demo.elk=DEBUG, socket

# appender socket

log4j.appender.socket=org.apache.log4j.NET.SocketAppender

log4j.appender.socket.Port=4567

log4j.appender.socket.RemoteHost=192.168.121.62

log4j.appender.socket.layout=org.apache.log4j.PatternLayout

log4j.appender.socket.layout.ConversionPattern=%d [%-5p] [%l] %m%n

log4j.appender.socket.ReconnectionDelay=10000

# appender console

log4j.appender.console=org.apache.log4j.ConsoleAppender

log4j.appender.console.target=System.out

log4j.appender.console.layout=org.apache.log4j.PatternLayout

log4j.appender.console.layout.ConversionPattern=%d [%-5p] [%l] %m%n

注意：这里的端口号需要跟Logstash监听的端口号一致，这里是4567。

4.5、eclipse调试结果

（1）eclipse查看调试结果

在eclipse里面允许java程序，查看console的输出信息（这个output只是为了做一验证，没有这一步不输出到console也是可以的），调试成功后输出结果如下图E:\u\elk\pic\05.png所示：

坑二：这里搞完后，Elasticsearch没有展示的结果

这里我就换了一个log的配置文件，成xml

<?xml version="1.0" encoding= "UTF-8" ?>

<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">

<log4j:configuration xmlns:log4j="http://jakarta.apache.org/log4j/">

</layout>

</appender>

</appender>

<root>

<appender-ref ref="ConsoleAppender" />

<appender-ref ref="socketAppender" />

</root>

</log4j:configuration>

。。。然后尝试了几次，就成功了。

（2）去Elasticsearch的head界面查看效果

去界面http://192.168.121.62:9200/_plugin/head/查看效果，点击概览里面，看到下面绿色的就是primay分片，下面灰色的为非primay备份分片，如下图E:\u\elk\pic\06.png所示：

其中：

A：docs: 20(20)表示一共有20个文档，一个文档一个日志记录；

B：node0 表示只有一个分片，5个备份，分片暂时没有地方存放，所以显示为灰色Unassigned状态；

C：es_cluster集群健康值: yellow (6 of 12)表示因为有的分片没有地方存放所以集群报出了警告的黄色字体信息；

（3）去Elasticsearch的brower界面查看效果

E:\u\elk\pic\07.png

其中索引中的.kibana applog：表示是生成的索引集群，kibana暂时是空的，没有记录不遍历查询，而applog有5个分片记录。

查询 6 个分片中用的 5 个. 30命中.耗时0.054秒表示：看到6个分片，其中有5个是applog，有30个是执行了3次eclipse所产生的log记录次数。

（4）查看单个文档_index信息

在选择中的单个文档，点击左键，就会弹出单个文档的全部信息，除了message是我们的日志内容，其它都是logstash增加的内容信息，新增加的这些字段信息涵义可以参考官网：https://www.elastic.co/guide/en/logstash/current/plugins-inputs-log4j.html的描述，如下图E:\u\elk\pic\08.png所示

PS总结：上面列出的都是单个ES的head界面组件查看到的elas集群的数据和状态，只是一个简单的和elas的交互界面，并不能形成报表或者动态的图表，所以我们需要其它的专业工具来做搜索并生成图表。

4.6、安装kinana

# 解压缩安装

tar -xvf kibana-4.5.3-linux-x64.tar.gz

cd kibana-4.5.3-linux-x64

# 配置修改配置

vim config/kibana.yml server.port: 5601

server.host: "192.168.121.62"

elasticsearch.url: “http://192.168.121.62:9200”

kibana.index: ".kibana"

# 启动kibana

./bin/kibana

[elk@hch_test_dbm1_121_62 kibana-4.5.3-linux-x64]$ ./bin/kibana

log [14:53:15.975] [info][status][plugin:kibana] Status changed from uninitialized to green - Ready

log [14:53:16.021] [info][status][plugin:elasticsearch] Status changed from uninitialized to yellow - Waiting for Elasticsearch

log [14:53:16.036] [info][status][plugin:kbn_vislib_vis_types] Status changed from uninitialized to green - Ready

log [14:53:16.046] [info][status][plugin:markdown_vis] Status changed from uninitialized to green - Ready

log [14:53:16.052] [info][status][plugin:metric_vis] Status changed from uninitialized to green - Ready

log [14:53:16.064] [info][status][plugin:spyModes] Status changed from uninitialized to green - Ready

log [14:53:16.068] [info][status][plugin:statusPage] Status changed from uninitialized to green - Ready

log [14:53:16.072] [info][status][plugin:elasticsearch] Status changed from yellow to green - Kibana index ready

log [14:53:16.075] [info][status][plugin:table_vis] Status changed from uninitialized to green - Ready

log [14:53:16.084] [info][listening] Server running at http://192.168.121.62:5601

./bin/kibana

之后打开界面http://192.168.121.62:5601/status 如下，E:\u\elk\pic\03.png：

4.7、配置kibana

为了后续使用Kibana，需要配置至少一个Index名字或者Pattern，它用于在分析时确定ES中的Index。这里我输入之前配置的Index名字applog，Kibana会自动加载该Index下doc的field，并自动选择合适的field用于图标中的时间字段：

再打开http://192.168.121.62:5601/app/kibana，输入applog，会自动弹出如下界面，然后点击“create”按钮保存下，如下图E:\u\elk\pic\09.png所示：

创建完成后，自动弹出成功界面，如下图E:\u\elk\pic\10.png所示：

4.8、kibana生成图表

选择左上角的“Discover”，然后再选择右上角的“List 15 minutes”（如果右上角默认的时间查询没有数据，就需要手动调整查询时间了），如下图E:\u\elk\pic\12.png所示：

这里为了看到数据信息，所以保守的选择了“Today”，然后会看到今天的记录，也即是看到的elas中的数据记录了，如下图E:\u\elk\pic\13.png所示：

在输入框里面，输入info字样，点击搜索按钮搜索，可以看到搜索匹配的信息如下E:\u\elk\pic\14.png：

点击右上角的“Save Search”按钮，就会保存此次的search结果，如下图E:\u\elk\pic\16.png所示：

接下来去Visualize页面，点击新建一个柱状图（Vertical Bar Chart），然后选择刚刚保存的查询search_logs_save_1，如下图E:\u\elk\pic\17.png所示：

之后进入左边选择x轴为Date Histogram时间轴，显示为时分，间隔为Auto自动间隔，然后点击绿色的三角形按钮“Apply Changes”，kibana将生成类似于下图的柱状图，如下图E:\u\elk\pic\18.png所示：

然后点击右边的保存按钮“Save Visualization”，可以保存此图为search_log_visual_1，如下图E:\u\elk\pic\19.png所示：

然后进入“Dashboard”界面，点击下面的灰色背景的“+”按钮，如下图E:\u\elk\pic\20.png所示：

然后选择我们刚才保存的visual图，就会展示出来上次我们生成的图表记录，面板上就会显示出原来的图表，如下图E:\u\elk\pic\21.png所示：

如果有较多数据，我们可以根据业务需求和关注点在Dashboard页面添加多个图表：柱形图，折线图，地图，饼图等等。当然，我们可以设置更新频率，让图表自动更新，如下图E:\u\elk\pic\22.png所示：

当然如果设置的时间比较紧凑，比较短暂的话，其实就相当于实时分析的图表了，类似于zabbix的监控图了。

OK，最基本的elk平台部署和调试的流程就走完了，接下来就是各种业务场景的使用了。

5、一些错误记录

（1）start问题

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ ./bin/elasticsearch &

[1] 20726

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ Exception in thread "main" SettingsException[Failed to load settings from [elasticsearch.yml]]; nested: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]];

Likely root cause: ElasticsearchParseException[malformed, expected settings to start with 'object', instead was [VALUE_STRING]]

at org.elasticsearch.common.settings.loader.XContentSettingsLoader.load(XContentSettingsLoader.java:65)

at org.elasticsearch.common.settings.loader.XContentSettingsLoader.load(XContentSettingsLoader.java:45)

at org.elasticsearch.common.settings.loader.YamlSettingsLoader.load(YamlSettingsLoader.java:46)

at org.elasticsearch.common.settings.Settings$Builder.loadFromStream(Settings.java:1080)

at org.elasticsearch.common.settings.Settings$Builder.loadFromPath(Settings.java:1067)

at org.elasticsearch.node.internal.InternalSettingsPreparer.prepareEnvironment(InternalSettingsPreparer.java:88)

at org.elasticsearch.common.cli.CliTool.<init>(CliTool.java:107)

at org.elasticsearch.common.cli.CliTool.<init>(CliTool.java:100)

at org.elasticsearch.bootstrap.BootstrapCLIParser.<init>(BootstrapCLIParser.java:48)

at org.elasticsearch.bootstrap.Bootstrap.init(Bootstrap.java:226)

at org.elasticsearch.bootstrap.Elasticsearch.main(Elasticsearch.java:35)

Refer to the log for complete error details.

[1]+ Exit 1 ./bin/elasticsearch

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$

原因是：配置文件中的=要换成：

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$ more config/elasticsearch.yml |grep -v "#"

cluster.name: es_cluster

node.name: node0

path.data: /home/elk/data

path.logs: /home/elk/logs

network.host: 192.168.121.62

network.port: 9200

[elk@hch_test_dbm1_121_62 elasticsearch-2.3.4]$

（2）、Unable to fetch mapping.

Unable to fetch mapping. Do you haveindices matching the pattern?

这就说明logstash没有把日志写入到elasticsearch。

解决方法：

检查logstash与elasticsearch之间的通讯是否有问题，一般问题就在这。

（3）、log4j报错

log4j:WARN No appenders could be foundfor logger (com.demo.elk.Application).

log4j:WARN Please initialize the log4jsystem properly.

log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决：

（a） jdk版本比较低，需要jdk1.7以上

（b）java类和log4j.properties没有匹配上，在测试中需要将java类和log4j.properties放在一个目录上。

		自动登录	找回密码
密码			注册