rsyslog 的rsyslog.conf配置文件详解和日志切割

admin

syslog服务和logrotate服务
4 B1 J' Q, c* C2 d, b9 A" O" v======================================================================
rsyslog 是一个 syslogd 的多线程增强版。
现在Fedora和Ubuntu, rhel6默认的日志系统都是rsyslog了
3 c5 |4 L3 Y- r  ^1 d8 ^1 xrsyslog负责写入日志, logrotate负责备份和删除旧日志, 以及更新日志文件
" d0 W. F% j* F  P4 `% e+ L———————————————————————-
- S- L! P* f# [- z/ Orsyslog 服务
———————————————————————-
" C' z4 T6 L8 j$ {" n+ u5 ?软件包:
[root@centos ~]# yum install rsyslog rsyslog-mysql  logrotate
5 ^; ]) M3 v9 Q- `4 r* U查看当前rsyslog服务的状态:
5 v) i* M4 R/ r[root@centos ~]#/etc/init.d/rsyslog status
4 x% R1 u: H! f& d; _  qrsyslogd (pid  1343) is running…
+ s6 v: i  C6 t4 |* i/ v/ n: N1 F在centos6中, rsyslog服务默认是开机启动的
# ^. K* O0 J0 ]" H6 g, _我们先看一下它的进程::
/ l. |; b) P3 b[root@centos ~]# ps -ef | grep rsyslogd | grep -v grep
) S$ }. b. H: |. S4 z# _6 Troot      1343    1  0 12:09 ?        00:00:00 /sbin/rsyslogd -c 4
" p1 y$ S. [: q5 l# |; C4 b3 f从上面命令的输出结果看到rsyslog执行时使用的参数是-c 4.
, A- ~% P/ ]( K( q它的意思是指定rsyslog运行(兼容)的版本号, 这个参数必须是第一个参数, 当然也可以省略, 默认为-c0, (命令行兼容sysklogd)
这个参数是在文件/etc/sysconfig/rsyslog中指定::
+ @/ L+ U) |5 w/ O. U0 Y[root@centos ~]# cat /etc/sysconfig/rsyslog

  V) N; S7 v% z

• # Options to syslogd
  
• # syslogd options are deprecated since rsyslog v3
    J8 K% G# U" r) C
• # if you want to use them, switch to compatibility mode 2 by “-c 2″
  
• SYSLOGD_OPTIONS=”-c 4″  
    B* t7 v  \. C9 v1 e: |6 b
  

[root@centos ~]# chkconfig –list | grep rsyslog
rsyslog         0:off   1:off   2:on    3:on    4:on    5:on    6:off
8 x  p/ a8 L# Z注意，这里的服务名是rsyslog!
5 U5 D0 ^1 s7 m$ q0 z$ R% {2 _) W———————————————————————-
配置文件
/ K$ ^( {2 |6 G1 i9 p$ i* I  C, r———————————————————————-
9 Y" l$ J0 f" u: R/etc/rsyslog.conf
' q* z4 M' P" @4 b2 l8 C+ b! [配置文件的基本信息
配置文件中有很多内容, 但最主要的是指定需要记录哪些服务和需要记录什么等级的信息::
cat /etc/rsyslog.conf

• #rsyslog v3 config file
  
• # if you experience problems, check
  ) x% t9 y4 k3 ^: E' Q; X
• # http://www.rsyslog.com/troubleshoot for assistance
  $ ~* [! m7 Q" k6 }' {9 ]
• #### MODULES ####    加载 模块
    T% O- Z4 X3 X1 _7 _
• $ModLoad imuxsock.so  –> 模块名    # provides support for local system logging (e.g. via logger command) 本地系统日志
  
• $ModLoad imklog.so                    # provides kernel logging support (previously done by rklogd)
  8 a7 y5 p9 @1 t3 }0 E2 f  W
• #$ModLoad immark.so              # provides –MARK– message capability
  8 L7 W( M, m/ ~. `% R: F
• # Provides UDP syslog reception
  
• # 允许514端口接收使用UDP协议转发过来的日志
  ; H* Y3 a! Q0 m
• #$ModLoad imudp.so
  
• #$UDPServerRun 514
  + H5 ]7 O, @1 a- d6 Y; m
• # Provides TCP syslog reception
  
• # 允许514端口接收使用TCP协议转发过来的日志
  ; D! p0 c3 W5 |, q3 m) q
• #$ModLoad imtcp.so
  ' F% f, M  z' l
• #$InputTCPServerRun 514
  
• #### GLOBAL DIRECTIVES ####
  1 h5 B$ F' L2 A0 E
• 定义日志格式默认模板  
  
• # Use default timestamp format
  . K2 F& Q. [+ P$ A. `* O8 f$ }0 j
• $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat  
  
• # File syncing capability is disabled by default. This feature is usually not required,
  7 r  x' L# K# A2 R
• # not useful and an extreme performance hit
  
• #$ActionFileEnableSync on
  
• #### RULES ####
  
• # Log all kernel messages to the console.
  % s) L1 x+ v0 }
• # Logging much else clutters up the screen.
  
• #kern.*                                                 /dev/console    关于内核的所有日志都放到/dev/console(控制台)
  
• # Log anything (except mail) of level info or higher.
  3 K7 F8 f' X. H8 c
• # Don’t log private authentication messages!
  3 a- H4 G6 S( |" \
• # 记录所有日志类型的info级别以及大于info级别的信息到/var/log/messages，但是mail邮件信息，authpriv验证方面的信息和cron时间任务相关的信息除外
  
• *.info;mail.none;authpriv.none;cron.none                /var/log/messages  
  
• # The authpriv file has restricted access.
  # J4 ~4 V5 }9 p/ A
• # authpriv验证相关的所有信息存放在/var/log/secure
  + k+ I. ^( Y  j8 A( \
• authpriv.*                                              /var/log/secure  
  0 M( |/ [% T3 _7 u  B) [6 h% b
• # Log all the mail messages in one place.
  
• # 邮件的所有信息存放在/var/log/maillog; 这里有一个-符号, 表示是使用异步的方式记录, 因为日志一般会比较大
  2 w, e- ]( C  Y. @5 H/ c
• mail.*                                                  -/var/log/maillog  
  
• # Log cron stuff
  % H1 @( `$ D; z# E8 O) |
• # 计划任务有关的信息存放在/var/log/cron
  
• cron.*                                                  /var/log/cron  
  
• # Everybody gets emergency messages
  
• # 记录所有的大于等于emerg级别信息, 以wall方式发送给每个登录到系统的人
  ! U4 i7 v" @% n+ l
• *.emerg                                                 *                  *代表所有在线用户  
  / P& G' u( y, Q8 y6 C
• # Save news errors of level crit and higher in a special file.
  / V# R+ J6 s; T. o3 B7 V
• # 记录uucp,news.crit等存放在/var/log/spooler
  
• uucp,news.crit                                          /var/log/spooler  
  
• # Save boot messages also to boot.log     启动的相关信息
  
• local7.*                                                /var/log/boot.log
  
• #:rawmsg, contains, “sdns_log” @@192.168.56.7:10514
  
• #:rawmsg, contains, “sdns_log” ~
  
• # ### begin forwarding rule ###  转发规则
  
• # The statement between the begin … end define a SINGLE forwarding
  
• # rule. They belong together, do NOT split them. If you create multiple
  2 y. j3 v% p1 ?& z# _/ b
• # forwarding rules, duplicate the whole block!
  
• # Remote Logging (we use TCP for reliable delivery)
  
• #
  
• # An on-disk queue is created for this action. If the remote host is
  
• # down, messages are spooled to disk and sent when it is up again.
  
• #$WorkDirectory /var/spppl/rsyslog # where to place spool files
  $ Y) @1 M" k, h" G9 U
• #$ActionQueueFileName fwdRule1 # unique name prefix for spool files
  3 z, L* ?1 X$ N$ \
• #$ActionQueueMaxDiskSpace 1g   # 1gb space limit (use as much as possible)
  * `& s) H3 E( I' O
• #$ActionQueueSaveOnShutdown on # save messages to disk on shutdown
  ! z5 ?& G' T3 W( e; u" J
• #$ActionQueueType LinkedList   # run asynchronously
  
• #$ActionResumeRetryCount -1    # infinite retries if host is down
  
• # remote host is: name/ip:port, e.g. 192.168.0.1:514, port optional
  7 r* u: C  u. l. v
• #*.* @@remote-host:514                    # @@表示通过tcp协议发送    @表示通过udp进行转发
  
• #local3.info  @@localhost :514
  
• #local7.*                                    #            @@192.168.56.7:514
  
• # ### end of the forwarding rule ###
  : [. X- [; U3 D, o7 D
  / r4 B" Q1 {) f0 K/ y/ _( M

% e# l! d( L7 [. m2 @

格式::
日志设备(类型).(连接符号)日志级别   日志处理方式(action)
: k7 b" l9 A! Q6 J) i- a% B' m日志设备(可以理解为日志类型):
———————————————————————-
4 v! i- A% b0 D; Iauth        –pam产生的日志
; J( l6 G$ g0 k  w, J4 c/ y  o. _& ^; Qauthpriv    –ssh,ftp等登录信息的验证信息
cron        –时间任务相关
kern        –内核
lpr         –打印
mail        –邮件
mark(syslog)–rsyslog服务内部的信息,时间标识
news        –新闻组
# [- K& Q1 n" G6 T$ [6 [user        –用户程序产生的相关信息
& `4 T; ~' w, W0 Euucp        –unix to unix copy, unix主机之间相关的通讯
local 1~7   –自定义的日志设备
日志级别:
7 E0 I, n1 p/ J$ J———————————————————————-
, X' T* j8 l$ X7 S! Zdebug       –有调式信息的，日志信息最多
info        –一般信息的日志，最常用
notice      –最具有重要性的普通条件的信息
* D9 R% i% G, t! f$ Cwarning     –警告级别
" W# ~/ Q8 j: G; Gerr         –错误级别，阻止某个功能或者模块不能正常工作的信息
/ A+ l& g% t- F3 y) m+ E) Vcrit        –严重级别，阻止整个系统或者整个软件不能正常工作的信息
" }8 j9 ~0 ?" t! m  jalert       –需要立刻修改的信息
; j: q; q: d+ w4 L9 lemerg       –内核崩溃等严重信息
' o9 T4 A0 N. @: S3 {. o/ `4 H9 mnone        –什么都不记录
8 K3 o# V+ [, a) J2 I  C从上到下，级别从低到高，记录的信息越来越少
% i$ D3 C5 z7 p, g- r详细的可以查看手册: man 3 syslog
4 a4 F' [' \  S! r$ [" P连接符号
———————————————————————-
.xxx: 表示大于等于xxx级别的信息
1 K( o! \- N( ~; f) d) B9 J; ~  J.=xxx：表示等于xxx级别的信息
.!xxx：表示在xxx之外的等级的信息
4 f* F, h9 y$ E- y9 V2 z) WActions
———————————————————————-
" r# J1 c% E( v1. 记录到普通文件或设备文件::
$ C: A# M7 k+ z*.*     /var/log/file.log   # 绝对路径
& W1 e% P8 R8 g0 P  V  |$ Q*.*     /dev/pts/0
测试: logger -p local3.info ‘KadeFor is testing the rsyslog and logger ‘   logger 命令用于产生日志
# g+ e& t0 _% x/ z- k2. 转发到远程::
' c( Z2 n, c* ^% a1 }*.* @192.168.0.1            # 使用UDP协议转发到192.168.0.1的514(默认)端口
9 K& f3 x! v( y# D. T- Q1 f" Y*.* @@192.168.0.1:10514     # 使用TCP协议转发到192.168.0.1的10514(默认)端口
2 D* e: W; j. u3. 发送给用户(需要在线才能收到)::
7 E+ n" X. |, j6 A1 t*.*   root
*.*   root,kadefor,up01     # 使用,号分隔多个用户
*.*   *     # *号表示所有在线用户
4. 忽略,丢弃::
local3.*   ~    # 忽略所有local3类型的所有级别的日志
5. 执行脚本::
local3.*    ^/tmp/a.sh      # ^号后跟可执行脚本或程序的绝对路径
5 k9 R. Z9 g9 y, p& P9 t/ j6 ^# 日志内容可以作为脚本的第一个参数.
$ D+ E# r7 z+ c# 可用来触发报警
.. note::
日志记录的顺序有先后关系!
2 F) d2 S+ e% X4 D" Q6 k- B  X======================================================================
$ K# {9 W8 J: L; S' w3 d一个标准的简单的配置文件
======================================================================
::
9 ^% w" F8 Y! ]& @. I*.info;mail.none;authpriv.none;cron.none      /var/log/messages
authpriv.*                                    /var/log/secure
mail.*                                        /var/log/maillog
cron.*                                        /var/log/cron
*.emerg                                       *
uucp,news.crit                                /var/log/spooler
local7.*                                      /var/log/boot.log
6 U7 E" W9 H* Y* g( X======================================================================
1 _" Q$ B% {$ Q1 y实例: 指定日志文件, 或者终端
======================================================================
[root@kadefor ule-sa3]# vi /etc/rsyslog.conf
[root@kadefor ule-sa3]# grep local3 !$
grep local3 /etc/rsyslog.conf
5 P  y% D! s, F$ Q, M/ Ulocal3.*                                                /var/log/local3.log
[root@kadefor ule-sa3]# rm -rf /var/log/local3.log
- E: v% h3 C7 M( D9 l0 v. ?) W[root@kadefor ule-sa3]# /etc/init.d/rsyslog reload
Reloading system logger…                                 [  OK  ]
4 ~$ n) V2 Q2 }' R- R3 Z: Z[root@kadefor ule-sa3]# ls /var/log/local3.log
$ X& X( e! S2 h7 Y8 G& Y4 s/var/log/local3.log
  i2 R) _! W9 {3 G7 k0 J" D[root@kadefor ule-sa3]# logger -t ‘LogTest’ -p local3.info ‘KadeFor is testing the rsyslog and logger’
6 v3 ?/ i  D. f. m[root@kadefor ule-sa3]# cat /var/log/local3.log
& W( E- O. G5 BJun 10 04:55:52 kadefor LogTest: KadeFor is testing the rsyslog and logger
& M, e5 U' v1 Z0 J( ~[root@kadefor ule-sa3]#
1 Z# [  E3 c# _+ `自己实验日志发送给某个终端
7 \, u6 L2 i7 h+ U+ Z4 k9 L/ F======================================================================
/ d3 y, ?5 }5 x  ?( {实例:  过滤特定的日志到文件, 忽略(丢弃)包含某个字符串的日志
======================================================================
# 过滤日志, 由:号开头
:msg, contains, “error” /var/log/error.log
6 I: H; E) V$ Q9 k8 z. I:msg, contains, “error” ~         # 忽略包含error的日志
; t# ^) P7 i  w8 s( s3 c. A8 G' A  m:msg, contains, “user nagios”   ~
:msg, contains, “user kadefor”   ~
:msg, contains, “module-alsa-sink.c: ALSA woke us up to write new data to the device, but there was actually nothing to write” ~
/ Y, N8 n& Q- o& B) f) Flocal3.*    ~
$ ?: a1 \$ }' V8 S9 i' aPS.
# x. l9 U7 F; H% I( C0 F&   ~       # 忽略所有的日志
把包含’oracle’的日志保存在/var/log/oracle.log
======================================================================
实例:  使用模板来定义日志格式
' P) R. p- _' W1 w+ ^1 C+ q======================================================================
定义默认的日志格式:

3 `( K& Z- x/ I5 `

• $template myFormat,”%rawmsg%\n”  
  
• $ActionFileDefaultTemplate myFormat  
  % b- k+ Z/ B  [' Z3 E. I
• #如果不要$ActionFileDefaultTemplate myFormat这一行, 就需要像这样来使用模板:
  
• #在日志文件后添加模板名, 并用;号分隔
  
• $template myFormat,”%rawmsg%\n”  
  ! w# ?' r. I2 N3 M" V: l
• # The authpriv file has restricted access.
  5 g2 C7 q; }. g8 w2 `
• authpriv.*      /var/log/secure;myFormat  
  
• # Log all the mail messages in one place.
  
• mail.*          /var/log/maillog;myFormat  
  
• # Log cron stuff
  
• cron.*          /var/log/cron;myFormat  
  ; o, v6 d2 [# i1 y3 s
• # Everybody gets emergency messages
  ; x: Q4 {, N( w( {# F! M
• *.emerg                                       *  
  4 [8 D+ s" J1 B4 I- {, b' T" E
• # Save news errors of level crit and higher in a special file.
  " r/ }' h, f4 A
• uucp,news.crit  /var/log/spooler;myFormat  
  ) R- \, v% V/ L  E* @. g
• # Save boot messages also to boot.log
  
• local7.*        /var/log/boot.log;myFormat  
  
  

======================================================================
实例: remote log 远程发送与接收:
======================================================================
如果要修改为非514的端口, 需要设置selinux
5 T& u+ {- P$ `" {$ n只要在rsyslog.conf中加入
1 V) Y) C+ v8 P" q# h" v0 m3 A( R& p*.* @192.168.0.10
*.* @192.168.0.10:10514     # 带端口号
*.* @@192.168.0.10      # TCP
但是没有定义保存在远程的哪一个文件啊?
其实保存在什么文件, 那是远程日志服务器接收到日志之后它自己的事情了.
  [+ O6 J+ y! t* N: I: @! n例1:
) Z0 U7 L" {' w9 k* p3 m. n^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
———————————————————————-
/ V# M! [  Z1 ~8 H; j: G( VClient(send):
) b# g  x7 D0 x6 I% D& g———————————————————————-
: p7 G. t  p: m" T7 K5 j::
: z* i) X+ @! |  z/ u2 slocal3.*   @@192.0.2.1:10514
# if you need to forward to other systems as well, just
# add additional config lines:
# *.*   @@other-server.example.net:10514
+ z% h% s3 m: `" H: @" p# Log anything (except mail) of level info or higher.
# Don’t log private authentication messages!
*.info;mail.none;authpriv.none;cron.none      /var/log/messages
# The authpriv file has restricted access.
  K8 C( {" {5 H1 T& n1 x( yauthpriv.*                                    /var/log/secure
# Log all the mail messages in one place.
mail.*                                        /var/log/maillog
) c% j; s* t( {  ^8 F# S# Log cron stuff
cron.*                                        /var/log/cron
0 @! C: W! u3 _: F9 D" Z# Everybody gets emergency messages
*.emerg                                       *
# Save news errors of level crit and higher in a special file.
  p; U  z2 z, i  {3 F- p$ d& c6 _, uuucp,news.crit                                /var/log/spooler
* q0 I, X  o5 B8 U# Save boot messages also to boot.log
local7.*                                      /var/log/boot.log
$ `& O( b" ?6 F3 {8 e  c( Z1 l+ [———————————————————————-
- v: \( J" ^! F9 GServer(receive): <1>
———————————————————————-
::
2 v: D" c: T1 _! ]) ~# for TCP use:
$modload imtcp
7 L7 {' B2 V* v- v$ D$InputTCPServerRun 10514
# for UDP use:
$modload imudp
- e1 A) F& O8 c/ l0 E4 }$UDPServerRun 514
: s3 Q- U# ?; S' t( K' \4 b2 g# Log anything (except mail) of level info or higher.
# Don’t log private authentication messages!
*.info;mail.none;authpriv.none;cron.none      /var/log/messages
# The authpriv file has restricted access.
! Z1 N/ q/ y4 y+ J# @% f7 o! dauthpriv.*                                    /var/log/secure
! |0 f9 L$ Y4 G0 ?( D8 [# Log all the mail messages in one place.
/ S4 U! a# m5 D8 K% Ymail.*                                        /var/log/maillog
5 M& K: W: B1 P, R5 r# Log cron stuff
# b" Q( |% \: o/ Q: F" T9 Z! mcron.*                                        /var/log/cron
# Everybody gets emergency messages
/ b! H4 G* P# @2 S: e6 H8 S! `: ]*.emerg                                       *
# Save news errors of level crit and higher in a special file.
' Y/ p% _; D- t& u1 X2 Quucp,news.crit                                /var/log/spooler
4 A2 U+ I: O& L# Save boot messages also to boot.log
& L" {7 I2 M9 A. a7 O' Xlocal7.*                                      /var/log/boot.log
local3.*    /var/log/local3.log     # 测试用
: a2 G' V8 s* ?例2 (仅做了解, 不做要求)
' B0 n, Q) x" @0 E: P- ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
#配置服务端(接收)
———————————————————————-
vi /etc/rsyslog.conf        #在文件开始加上，同时确保514端口能够被客户端用tcp访问
$ModLoad imtcp.so              # needs to be done just once #使用tcp方式
$InputTCPMaxSessions 500    # tcp接收连接数为500个
. N# e0 |2 C& ~$InputTCPServerRun 514      # tcp接收信息的端口
$template logformat,”%TIMESTAMP:::date-mysql% %FROMHOST-IP%%msg%\n”     # 定义一个名为logformat模板, 为信息加上日志时间
$template DynFile,”/var/log/tlog%$year%%$month%%$day%.log”     # 定义日志文件的名称，按照年月日
* W- g2 S  p& D:rawmsg, contains, “sdns_log” ?DynFile;logformat    # 把rawmsg(也可以使用msg)日志中包含sdns_log标志的信息写到DynFile定义的日志文件里
:rawmsg, contains, “sdns_log”  ~                     # 这个表示丢弃包含sdns_log标志的信息, 一般都加上它, 以免多个日志文件记录重复的日志
- K+ ?3 [3 E; M& ^#配置客户端(发送)
———————————————————————-
vi /etc/rsyslog.conf  #在文件开始加上
#把包含sdns_log的信息通过tcp发到192.168.1.2 @@表示tcp @表示udp
:rawmsg, contains, “sdns_log”       @@192.168.1.2       # 默认514端口
& Q0 N: ~0 N4 h1 K0 |) K#这个表示丢弃包含sdns_log标志的信息,防止这个信息写到本机的/var/log/message
1 ^! p+ W/ V9 j5 L:rawmsg, contains, “sdns_log”       ~
! c% ?9 `* v2 Y6 ~# E) z#测试
———————————————————————-
( w- e) n; T: B! g" N0 W. ~在客户端上执行
1 s. n) [, n+ s5 i& dlogger -p user.info “sdns_log 34334″
/ R6 _* m/ L1 `3 E3 L- E( v1 A在服务端的/var/log/目录里是否有tlog*日志产生
补充:
& }6 Z4 y+ n6 E1 A2 q3 M; I- M' }8 x$ f———————————————————————-
如果要把不同服务器发送过来的日志保存到不同的文件, 可以这样操作:
:fromhost-ip, isequal, “192.168.0.160″ /var/log/host160.log
- `: ?0 ?2 V' ?7 [/ T:FROMHOST-IP, isequal, “192.168.0.161″ /var/log/host161.log
:FROMHOST-IP, startswith, “192.168.1.” /var/log/network1.log
, f8 T1 G" Z( i7 y% e:FROMHOST-IP, startswith, “192.168.2.” /var/log/network2.log
练习:
, \& ?$ t6 k4 U$ h======================================================================
! p$ k3 Q; ~8 k; ?3 c1. 实现把ssh服务的日志自定义保存到/var/log/newsshd.log (先不做)
) u9 r  m5 B" b4 c9 d  ?6 _2. mail日志保存在远程日志服务器/var/log/newmail.log
3. 过滤日志, 如果日志包含有”daydayup”, 则执行脚本/tmp/a.sh
, ^* o% w2 g0 ^8 T# }+ d9 a% @! |1 t脚本内容:
/ @$ z" R" e1 H5 P#!/bin/bash
7 ~1 @- u4 |; Z  n$ y: V& u* Hecho  “KO::** $1″ > /dev/tty2
======================================================================
logrotate服务
% ~) R7 ~# A/ }8 u======================================================================
3 K6 @2 P. D5 u4 ~$ U- b- orotate 轮换,日志切换
* F; s$ }! f2 f9 k# c) w, u$ I: Blogrotate服务的启动方式
- ^# t; R4 t1 Z$ _3 a  w( K) Alogrotate是一个日志管理程序，用来把旧的日志文件删除（备份），并创建新的日志文件，这个过程称为“转储”。我们可以根据日志的大小，或者根据其使用的天数来转储。
/ Q- I1 `5 ^$ ~logrotate 的执行由crond服务实现。在/etc/cron.daily目录中，有个文件logrotate，它实际上是个shell script，用来启动logrotate。logrotate程序每天由cron在指定的时间（/etc/crontab）启动。
4 P( I% f' ]* E3 C因此，使用ps是无法查看到logrotate的。如果它没有起来，就要查看一下crond服务有没有在运行。
在执行logrotate时，需要指定其配置文件/etc/logrotate.conf
这 个配置文件的注释写得很清楚，没有必要再罗嗦了。只想强调下面这行，它的作用包含存放在/etc/logrotate.d目录下面的配置文件，不可或缺。 如果你安装了一个新的服务，它的日志转储的规则可以建立一个专门的配置文件，放在/etc/logrotate.d下面。它其实也因为下面的这句话，在 logrotate服务启动时被读取。
  ~" V- L0 }" [& D9 i; C- ?6 h9 N$ q每个存放在/etc/logrotate.d目录里的文件，都有上面格式的配置信息。在{}中定义的规则，如果与logrotate.conf中的冲突，以/etc/logrotatate.d/中的文件定义的为准。
logrotate启动脚本放在 /etc/cron.daily/logrotate 中，可人工执行命令进行测试：
% z5 d# S6 b" H/usr/sbin/logrotate -f /etc/logrotate.conf
* w' u- ?2 |$ ~; y8 X3 Idateext表示转储文件会以日期来结束*
::
[root@kadefor log]# vim /etc/logrotate.conf
# see “man logrotate” for details
# rotate log files weekly
weekly          –每周轮转一次
# keep 4 weeks worth of backlogs
' p4 p1 N9 i  X6 r# ^2 l  mrotate 4        –保留四个
6 h0 ?, P; h* e, P# create new (empty) log files after rotating old ones
- B* m: G3 ]: T! z2 e( bcreate          –rotate后，创建一个新的空文件
) h: i4 u2 t( h! S' ~7 W1 r( i# V# uncomment this if you want your log files compressed
#compress       –默认是不压缩的
+ t4 U& e5 Q" ~; \% e; t5 I# RPM packages drop log rotation information into this directory
8 J- k4 d; |, I- F" Iinclude /etc/logrotate.d        –这个目录下面配置文件生效
' ]/ M. O) M( q0 o$ ^; p# z* [# no packages own wtmp — we’ll rotate them here
2 S5 r7 S5 H2 X* c' ^/var/log/wtmp {             –定义/var/log/wtmp这个日志文件
5 u) K. m$ _8 l* z6 l( Ymonthly                 –每月轮转一次，取代了上面的全局设定的每周轮转一次
. ~! V" d; S( y0 n( l# g* ?minsize 1M              –定义日志必须要大于1M大小才会去轮转
; g9 f! M1 ?0 ~2 b6 {6 ]' a8 T. @: dcreate 0664 root utmp   –新的日志文件的权限，属主，属主
" M( r2 }7 n  B3 Brotate 1                –保留一个，取代了上面的全局设定的保留四个
0 Q3 v  G8 F8 F% C}
/var/log/btmp {
% y" V& P4 W. v+ u# umissingok       –如果日志丢失, 不报错
monthly
create 0600 root utmp
rotate 1
7 v, I7 ~( T+ d}
4 t. [! U3 r+ R& Z1 @8 F( k::
# sample logrotate configuration file
compress
# 全局设置, 压缩
' ]7 \; ?. V, C1 @/var/log/messages {
1 \+ M* W" a7 e0 z- Hrotate 5     # 保留5份日志
+ G+ G( u& T3 E' L% v0 kweekly       # 每周轮换一次
/ i4 R, k2 O' G. m" spostrotate   # 轮换之后重启syslogd服务
) W' Y( j) ]: m$ g1 g' a/usr/bin/killall -HUP syslogd
# rhel6中为:/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
: }/ L' h! h9 J- }: {# A: |6 ]# 可查看/etc/logrotate.d/下的配置文件
endscript
}
“/var/log/httpd/access.log” /var/log/httpd/error.log {   #  指定多个文件, 如果有特殊字符需要用单引号
) }: K% L* `" X. j2 grotate 5
mail www@my.org
size 100k        # 超过100k后切换日志, 并把老的日志发送邮件给www@my.org
& f0 i) r8 i/ l' V* M8 Bsharedscripts    # 共享脚本. 下面的postrotate脚本只运行一次.
postrotate
. e4 e' u  ^/ `% z1 R1 b6 `. q/usr/bin/killall -HUP httpd
endscript
9 f5 d/ l$ x3 r; Z( r2 ?8 Z' x, o}
/var/log/news/* {    # 少用通配符, 因会它会包括已经切换过的日志, 要用的话最好在*号后加上扩展名, 如*.log
/ E0 A4 [0 |" _7 }, Q7 s' C" Xmonthly
, p( v( t' Y4 ~rotate 2
1 t. ^, H: B  @; u- Nolddir /var/log/news/old
) q% V# F# B9 x) }missingok
/ K3 Z) H$ K. c& Q! o2 c0 m+ Y- Qpostrotate
5 s- F: K( n  d5 c" T% r: o, Skill -HUP ‘cat /var/run/inn.pid‘
endscript
" Y1 n* H% ~' h6 Y0 l) F9 q$ ~) h; V3 unocompress
, s) w  F8 Y% |! @}
' U- v) o( k( s6 F例：
修改/etc/logrotate.conf
0 ?; C  Q( w, u2 p3 W) M1 h$ C. ~/var/log/wtmp {
monthly
# F% C3 I! X& W4 ^! gminsize 10k
create 0664 a b
rotate 2
}
logrotate -f /etc/logrotate.conf  –强制轮转
7 g( }$ U9 M8 Z" y9 Q+ H5 Ylogrotate -vf /etc/logrotate.conf    –再加一个-v参数查看轮转的过程
0 q" W0 s4 C6 t0 B; ^  \———————————
[root@kadefor log]# vim /etc/logrotate.d/syslog
; S5 F7 X; e' r/var/log/messages /var/log/secure /var/log/maillog /var/log/spooler /var/log/boot.log /var/log/cron {
sharedscripts   –表示切换时脚本只执行一次
8 @2 m, t. @, u# Apostrotate      –表示rotate后执行的脚本
; E- Q4 C$ ?" z$ E4 W7 C/bin/kill -HUP `cat /var/run/syslogd.pid 2> /dev/null` 2> /dev/null || true
/bin/kill -HUP `cat /var/run/rsyslogd.pid 2> /dev/null` 2> /dev/null || true
endscript       –表示脚本结束
}
6 V  u) T& k# k$ H; r4 g6 |[root@kadefor log]# logger -t ‘aaaa’ ‘bbbbbb’–在日志里加一个内容tag和内容
; p1 M, U% O8 v: V" j# Z! R% T[root@kadefor log]# tail /var/log/messages
# ?7 o' ~  y, S# a7 a9 fJun 12 19:38:55 kadefor dhclient[3166]: bound to 192.168.1.101 — renewal in 3384 seconds.
Jun 12 20:34:22 kadefor aaaa: bbbbbb

admin

在 Linux 系统中，日志文件记录了系统中包括内核、服务和其它应用程序等在内的运行信息。
在我们解决问题的时候，日志是非常有用的，它可以帮助我们快速的定位遇到的问题。

在 Cent OS 6中，日志是使用rsyslogd守护进程进行管理的，该进程是之前版本的系统中syslogd的升级版，对原有的日志系统进行了功能的扩展，提供了诸如过滤器，日志加密保护，各种配置选项，输入输出模块，支持通过 TCP 或者 UDP 协议进行传输等。

rsyslog的配置文件为 /etc/rsyslog.conf , 大多数日志文件都位于 /var/log/ 目录中。
. Z& d+ F* D, b* ~: a! p
定位日志文件
大多数日志文件都位于 /var/log/ 目录中。在该目录中，你可能注意到很多日志文件末尾包含一串数字（如 maillog-20150301 ），这说明这些日志文件经过了日志转储，这样可以避免日志文件过大。
7 ?& Z+ ]  W5 q+ F& I
( h. d8 Z+ o! W3 h& s在软件包logrotate中包含了一个定时任务，根据/etc/logrotate.conf文件和/etc/logrotate.d/目录中的的配置定期的转储日志文件。
! {0 I  s7 @! q' N/ \Rsyslog基本配置
Rsyslog 的主要配置文件为 /etc/rsyslog.conf 文件，在配置文件中，我们通过配置 filter 以及 action 对日志进行管理。
4 K7 U$ U6 t7 p: c7 H
5 ^8 o  T& z/ _' V在rsyslog配置文件中，使用如下格式定义规则

; _& I# U' C6 [filter        action
7 M0 A, I1 ?- {" Mrsyslog发现符合 filter 规则的日志后，会将日志发送到 action 指定的动作进行处理。
  X% _: R% U6 J0 X% ~
: l% S: A* e7 d  C0 u; w) v/ b) a" `  pFilter

在rsyslog中，提供了三种方式的过滤器方法：
7 ~8 P" ^4 g' [
基于设施/优先级的过滤器 (Facility/Priority-based filters)
. l, R! E) x1 O& W/ L+ {
基于设施/优先级的过滤器是最常用的方法，语法如下：
( N$ ^" M8 I7 A. D2 q+ z/ H
! C4 Z) r* Y. F3 V; O! o9 e  k2 JFACILITY.PRIORITY
' f0 X1 u  o0 o+ u4 CFACILITY指定了产生日志消息的子系统，可选值为 auth , authpriv , cron , daemon , kern , lpr , mail , news , syslog , user , ftp , uucp , local0 ~ local7 。

, j# [# Z5 |4 `( d' d! Z! P" F) e/ IPRIORITY指定了日志消息的优先级，可用的优先级包含 debug (7) , info (6) , notice (5) , warning (4) , err (3) , crit (2) , alert (1) , emerg (0) 。

$ p+ J; G( a7 X+ U% k. a1 V# C' l前置符号=表明只有该优先级的消息会被捕获，!表明除了该优先级的消息之外的优先级会被捕获。除了前置符号外，可以使用符号*
" e; J, H/ y4 J4 o1 T; |7 Q7 M表示所有的设施或者优先级，对优先级部分使用none关键字会捕获所有没有指定优先级的消息。

定义多个设施或者优先级使用,分隔，如果是多个 filter 的话，则使用;进行分隔。

使用范例
6 e6 e! o" c: q2 n1 l: d
kern.*                    # 选择所有优先级的内核日志
7 |& Y& r8 V: k5 a9 S; u* ?mail.crit                 # 选择所有mail 的优先级高于crit的日志
7 M# R* B, k1 z( b/ Q. D. v* Gcron.!info,!debug         # 选择除了 info 和 debug 优先级的 cron 日志
9 `7 _$ O) p3 ^基于属性的过滤器

基于属性的过滤器语法
6 b- C% H3 x( i% ?! Q( W) d$ n; O' v+ p
* `4 N$ K9 M6 u8 d4 U( ]8 r:PROPERTY, [!]COMPARE_OPERATION, "STRING"
- E$ M; d) v/ A:PROPERTY是要比较的日志属性，COMPARE_OPERATION 为要执行的比较操作，这个的!表示取反的意思，"STRING"为比较的值。

可以使用的比较操作：

比较操作        描述
contains        匹配提供的字符串值是否是属性的一部分，如果不区分大小写，使用contains_i
isequal        比较属性和值是否相等
! B. r) s$ V7 w0 c) |3 c5 Jstartswith        属性是否以指定字符串开始(startswith_i)
regex        正则表达式(POSIX BRE 基本正则)匹配
ereregex        正则表达式(POSIX ERE 扩展正则)匹配
& R4 j: [7 i$ B+ M- |. Misempty        判断属性是否为空，不需要 value
( U! A0 J7 n1 P' `6 w使用范例：

:msg, contains, "error"
5 {6 U7 z9 M+ @$ q:hostname, isequal, "host1"
+ k, y% ~* V/ V2 ~7 a1 Z:msg, !regex, "fatal .* error"
基于表达式的过滤器
7 ]  N' z/ h9 t$ M7 K
8 U9 b4 \8 d) Q* [* X基于表达式的过滤器使用了rsyslog自定义的脚本语言RainerScript构建复杂的filter，这里暂时不对这种方法进行讲述。

Action
6 w/ s7 l7 x5 a9 Q7 s7 U! G- b
- \; d/ d) l. P  |' _Action定义了当匹配指定的 filter 的时候，执行什么操作。
8 t/ C! L" C8 j' X/ A+ d2 |
6 q  w) X4 T# p1 ?% \% ?如果要指定多个 ACTION， 使用 &连接多个 ACTION。
' F8 n* E6 V8 @3 c6 _例如：
0 C- K( `" L9 E0 b& a9 g; J, |5 Q
   kern.=crit user1
  g# S7 ~+ J6 U4 k   & ^test-program;temp
% h8 h" x* S$ u   & @192.168.0.1
5 s. y9 t# w( H- M% p7 R这里的;temp指定了传递日志给 test-program 程序时（ ^ 开头表明日志发送给该可执行文件），使用它 temp 模板格式化日志。
在 ACTION 后面追加;模板名称可以为指定的 action 使用该模板格式化日志。

6 B* q% ]4 l( Z" i( l/ {保存日志到日志文件
7 y/ B+ X" y3 d+ E1 u
; ?$ c1 i1 F: G0 F/ M4 q语法：

8 P. W# X' c+ ~1 u9 UFILTER PATH
这里的 PATH 指定了日志要保存到的文件。例如 cron.* /var/log/cron.log 指定了所有的定时任务日志都写入到/var/log/cron.log文件。

6 x6 X6 g9 L- l( n0 z默认情况下，每次生成 syslog 的时候，日志信息会同步到日志文件。可以在文件路径前使用 - 指定忽略同步（如果系统崩溃，会丢失日志，但是这样可以提高日志性能）。
除了上述方法记录日志（静态），也可以动态的生成日志文件。
/ ^: S6 }: H: k5 a' s  y; y
0 H' w, T  P6 D: j7 HFILTER     ?DynamicFile
* o  T/ [( Q6 q- s这里的DynamicFile是预定义的输出路径模板。
6 F, _9 J1 k' `3 i
4 k9 D( b/ Y2 R+ m3 _通过网络发送syslog
1 F; W* O" n" d
rsyslog可以使用网络将日志消息发送或者接受日志，使用这个特性，可以实现使用单一的日志服务器统一管理多台服务器日志。
% Q) [9 P1 V( J* _/ R! x' o5 ?
6 N  a" O# i5 w4 m, J6 ^@[(zNUMBER)]HOST:[PORT]
这里的@告诉syslog使用 UDP 协议发送日志，要使用 TCP 的话，使用 @@。可选值zNUMBER设置了是否允许使用zlib对日志压缩（压缩级别1-9）。
7 Z7 `. |+ `3 X$ P
使用范例

( ?$ ?& }- k  ?; D% Y) z$ w/ J9 s7 u*.* @192.168.0.1        # 使用 UDP 发送，默认端口514
*.* @@example.com:18    # 使用 TCP 发送到端口18， 默认10514
*.* @(z9)[2001:db8::1]  # UDP, ipv6，使用zlib级别9压缩
  n' I& `% x/ u+ M  \6 |丢弃日志
5 n. c' n6 A4 r' r1 O
% ^$ x7 a4 Z/ ]. y+ g要丢弃日志消息，使用~动作。
( P) Z3 @; w& O& H5 U7 i
" o; S! b' S# }; e1 W2 [FILTER    ~
例如：

cron.* ~
模板
0 ~0 N" v2 ~0 z* m  V" v& U
) @/ J3 |3 G$ x2 k' O! o任何rsyslog生成的日志都可以根据需要使用模板进行格式化，要创建模板，使用如下指令
" m/ j: k0 N9 H4 z* Z2 V. k
* m8 X7 v5 \$ p5 }7 U$template TEMPLATE_NAME,"text %PROPERTY% more text", [OPTION]
这里的$template指令表明了接下来的内容定义了一个模板，TEMPLATE_NAME是模板的名称，接下来双引号之间的内容为模板的内容。

这里还有一个 OPTION ， 它指定了模板的功能，支持选项为sql和stdsql，在使用数据库存储的时候会用到。
/ H3 Q+ n' e0 q% Z生成动态文件名
1 I/ D( l0 V3 }0 ~, f
0 T+ b- s7 E) ]模板可以用来生成动态文件名，就如之前所述，在使用动态文件名的时候，需要在 ACTION 中的模板名称前增加?表明该文件名是动态生成的。

' R# Q1 U& S+ I1 s例如:

: c; I- s3 R7 ]. v& r3 U4 q8 S# w$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"
*.* ?DynamicFile
2 @# k8 R! n6 Y1 Dtimegenerated属性从日志信息中提取出消息的时间戳，这样可以为每个日志生成唯一文件名称。
属性
& R) t- W7 o* Y- l: i# n' g
' L% u8 p9 ^9 F% F; }在模板中使用的属性是在%之间的内容，使用属性可以访问日志消息中的内容。
8 u% y+ y* @2 o+ A4 y
' U% D& H/ \. P0 l& ]) ?4 U* n%PROPERTY_NAME[:FROM_CHAR:TO_CHAR:OPTION]%
( \% O$ Z* G' |6 r( U) X4 I可用的属性列表见man rsyslog.conf。

$ [- W' P: j+ J全局指令

8 }; x- ?" \+ F- F% D9 `! b5 @全局指令是rsyslogd守护进程的配置指令。所有的全局指令必须以$开始，每行只能有一个指令，例如：

$MainMsgQueueSize 50000
在新的配置格式中(rsyslog v6)，已经不在使用这种方式的指令，但是它们仍然是可用的。
7 L6 R& i+ l% f队列
在 rsyslog 中，队列用来传输数据，当 rsyslog 接收到一个消息的时候，首先传递消息预处理器，然后加入到主消息队列，接下来消息会从队列中取出传递给规则处理器。
2 w  m, E+ H& p  K
9 C+ ]" `! B# H6 ^" F9 F
! _( F' `  C5 X
. J4 h0 F7 W6 r7 v* b9 K3 {规则处理器是一个解析过滤引擎，它会基于配置文件中定义的规则，执行相应的动作(action)，每一个动作都有自己的动作队列，消息通过这个队列发送到对应的动作处理器，然后输出。
% t) o5 w7 m: D8 i( f
对于同一个消息来说，可以同时传递这个消息给多个动作队列。
6 x8 i& a/ Z! D定义队列
3 p. s  a/ K3 v: }" e9 n1 B. x# Y
3 w- R) Y% g# a% z在配置文件/etc/rsyslog.conf文件中
0 V& j. J" Q) b* E
9 q" {' I, R* L5 q. u% Z$objectQueueType queue_type
$ F, }5 w, W; Z, {% J这里的队列类型可选值为 direct , linkedlist , fixedarray (内存队列), 或者 disk 。
% n$ B& u% z1 d3 v) y1 b/ q* K
$ D# c$ f5 o+ N: q( A, w默认情况下，对于主队列，使用的是FixedArray队列（10000个消息长度），动作队列采用的是direct 队列。

PHP 使用 syslog 输出日志
3 U' [' A3 L  n  J, c( B' c' N% _在PHP 中，调用系统日志系统的函数有三个
) t2 D( ?" C+ f, R; s
8 p' ~0 ^# m. j  a) Dbool openlog ( string $ident , int $option , int $facility )
, ?0 m4 O0 u$ S- Z; n3 W+ [bool syslog ( int $priority , string $message )
bool closelog ( void )
函数openlog用于打开到系统日志系统的连接，第一个参数$ident是一个字符串，syslog 会将该字符串自动加到使用syslog函数输出的所有日志消息的前面。第二个参数是日志选项，第三个参数是记录日志的设施。

$ C% ~: ?! w( }: ]函数openlog()和closelog()是可选的。
3 v) O8 q8 |# \. O: D( W例如，我们在/etc/rsyslog.conf配置文件中增加如下配置

) m* l; a* Y& ~2 U) x* v3 i6 l7 zlocal5.*     /tmp/php_test.log
增加后需要重启 rsyslog 进程(sudo /etc/init.d/rsyslog restart)
  h1 q7 |5 h. ~& v4 E
) d4 [0 z/ \$ q在 PHP 脚本中，执行如下操作

) ?4 b5 y4 p( w5 j) O5 q, {<?php
$ ?" K* ]6 t" v. {7 M, C: M* S, i" dopenlog("LogHeader", LOG_PID, LOG_LOCAL5);
syslog(LOG_DEBUG, "Hello, Logger");
执行上述脚本，我们可以在/tmp目录中看到出现名为php_test.log的文件
6 `1 _8 r0 T: |3 c6 ^  x5 N2 @2 t
Mar 10 14:47:04 vm-hp LogHeader[8261]: Hello, Logger
第一部分Mar 10 14:47:04为日志时间，第二部分vm-hp为主机的 HOSTNAME , 我们在 调用openlog函数的时候，指定了 indent为LogHeader， 同时在日志中加入进程的 PID（LOG_PID）。

9 T, h. I( a  Z/ S9 X上述日志消息，如果要使用模板的话，是下面这样的
; _+ a) S# V) U* N
: A% N3 L! h; X3 S% [$template LOG_TMP,"%timegenerated% %HOSTNAME% %msg%"
local5.*     /tmp/php_test.log;LOG_TMP
我们将所有支持的模板属性变量输出如下
; E# }: J) V; w9 x) |
  M) l9 |/ W. B* c9 q' mmsg:  Hello, Logger,
! X7 K$ e, Y. t3 z+ o3 [rawmsg: <175>Mar 10 15:52:49 LogHeader[13845]: Hello, Logger,
2 }* Q% h) a+ O8 r- G; N" aHOSTNAME: vm-28-234-pro01-hp,
; p. w5 Q+ F: T* p; x5 b! X# UFROMHOST: vm-28-234-pro01-hp,
syslogtag: LogHeader[13845]:,
programname: LogHeader,
PRI: 175,
6 }# t" Q4 `9 a/ hPRI-text: local5.debug,
, v- @; c. }- N$ e. h: d3 mIUT: 1,
syslogfacility: 21,
6 X9 c! P4 W( K+ Z4 dsyslogfacility-text: local5,
syslogseverity: 7,
" k- I) m/ s" J) O$ T1 c6 R$ lsyslogseverity-text: debug,
# G* Q4 \3 b% g: K6 g6 Btimereported: Mar 10 15:52:49,
) M% p8 m' q, l4 B1 k! P2 RTIMESTAMP: Mar 10 15:52:49,
timegenerated: Mar 10 15:52:49,
PROTOCOL-VERSION: 0,
STRUCTURED-DATA: -,
APP-NAME: LogHeader,
# x7 n  u% f/ i5 m9 E% ^PROCID: 13845,
MSGID: -

admin

并替换
3 k- P' ^) c& R4 J
, z2 i9 X  S7 |' HFILEPATH: 需要上传的日志文件的绝对路径，必须包含日志文件名。
示例：/var/log/nginx/access.log
APPNAME: 用于标识上传的唯一应用来源，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。APPNAME设置正确与否直接影响到后台对日志字段的提取。如果您是VIP用户，日志易为您定制了日志解析规则，请填写日志易提供的针对该日志的APPNAME，以使定制的日志解析规则生效。
) v( |8 _3 \* L" c' R示例： nginx_access
TAG: 标签，标识日志的扩展信息，可定义多个标识，这里替换为您自行定义的标签，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。
4 c: p  d+ x  [, `( z* i4 c示例： rizhiyi_search
注意:
* P6 G. t& v" a; P2 w. \$ u1 f2 F
( l* g. k/ \& D9 C# _. E8 c5 G* E在 /etc/rsyslog.d/ 下的rsyslog配置文件中：
# U9 c6 ~9 ?7 M, C1 s0 Q7 m7 {$InputFileTag定义的APPNAME必须唯一，同一台主机上不同的应用应当使用不同的APPNAME，否则会导致新定义的TOKEN和TAG不生效；
$template定义的模板名必须唯一，否则会导致新定义的TOKEN和TAG不生效；
$ Q- }+ X  Z6 c0 y/ u$InputFileStateFile定义的StateFile必须唯一，它被rsyslog用于记录文件上传进度，否则会导致混乱；
注意：@@log.rizhiyi.com:5140 该值为接收日志的服务器域名或者主机名。默认是log.rizhiyi.com:5140
3 重启rsyslog
$ sudo service rsyslog restart
# u$ M- e) ]9 n: q/ M# J4 验证
例如，配置文件中的tag字段已修改为"rizhiyi_search"，可使用"tag:rizhiyi_search"搜索过去一小时的事件，检查日志易是否成功接收并正确识别日志，建立索引可能需要几十秒钟时间，需要等待几十秒钟。
$ X' ~3 z; J; @: v0 }
9 U: l! G& u% S7 z: D. t#参考:

1 {3 w/ f) r, {3 {! mhttp://www.voidcn.com/blog/anghlq/article/p-4958086.html

& o: T' D1 R: h9 h$ _/ p" uhttp://www.wnqzw.com/article/10798.html
. y6 ?' V3 ^  O# t1 {$ f
- Z$ {/ P3 Y# X附:
$ D8 D$ Q! `' ?
日志輸出模板
通過模板可以更具需要來控制日志輸出的樣式。格式如下：
8 `% w( t0 W: }$template <TEMPLATE_NAME>,"text %<PROPERTY>% more text", [<options>]
% |  r' J; V$ Z4 n2 s. q4 |$template 爲模板指令。<TEMPLATE_NAME> 爲模板名。"" 之間的文本爲模板格式。 被 % 包含的文本對應相關的屬性。<options> 指定修改 模板功能的一些選項,例如 sql 或者 stdsql 會格式化文本爲 SQL 查詢。
6 R) e6 P1 L! n% p動態文件輸出
& L0 ^6 k. ^; b& v: U通過日志和/或系統屬性決定輸出文件名。
4 n2 _3 e  I, I3 r8 i- L$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"
*.* ?DynamicFile
# D( A9 I: w: m使用 timegenerated 生成文件名，使用該模板則在前面加上 ?。
' M$ J. |, k* _( R$ r4 U# u8 l! R其他例子如下：
$template DailyPerHostLogs,"/var/log/syslog/%$YEAR%/%$MONTH%/%$DAY%/%HOSTNAME%/messages.log"
根據屬性控制日志輸出格式
0 f5 Z7 ?: x* ]0 {5 O使用下面的格式可以對模板之中的屬性做各種修改操作從而定制日志的格式:
3 w/ e6 G2 d2 a* ^* k  s%<propname>[:<fromChar>:<toChar>:<options>]%
<propname> 屬性名，可用的屬性名參考上文。
4 G1 _/ b9 j' ^  J- G<fromChar> 和 <toChar> 表示對屬性值字符串的操作範圍。 設置 <fromChar> 爲 R，<toChar> 爲正則表達式即可以通過正則 表達式定義範圍。
<options> 則表示屬性選項。完整的列表可以參考 這裏的 Property Options 節。
一些示例如下：
%msg% # 日志的完整消息文本
0 q: Q9 t. S6 H" `/ h, q3 a%msg:1:2% # 日志消息文本的最開始兩個字符
%msg:::drop-last-lf% # 日志的完整消息文本，移出最後的換行符
, v1 Z6 P& |9 ~* V%timegenerated:1:10:date-rfc3339% # 時間戳的頭10個字符並按 RFC3999 標准格式化
下面是一些模板例子。
7 H/ a% K, d  N) H輸出日志的級別，類別，收到日志時的時間錯，主機名，消息標簽，消息正文， 加上換行符：
$template verbose,"%syslogseverity%,%syslogfacility%,%timegenerated%,%HOSTNAME%,%syslogtag%,%msg%\n"
  z8 O2 e7 E! P* K" L! p4 Y$ ], m輸出日志來源，時間以及日志標簽，正文，同時還有蜂鳴聲（\7）：
$template wallmsg,"\r\n\7Message from syslogd@%HOSTNAME% at %timegenerated% ...\r\n %syslogtag% %msg%\n\r"
格式化日志以便于直接進行 SQL 操作：
! G9 m, ?! c" W1 }7 a9 ^$template dbFormat,"insert into SystemEvents (Message, Facility,FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values ('%msg%', %syslogfacility%, '%HOSTNAME%',%syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, '%syslogtag%')",sql
以 json 格式輸出，方便程序解析：
- O( H; n" q4 v$template jsonFormat,"{\"message\":\"%msg:::json%\",\"fromhost\":\"%HOSTNAME:::json%\",\"facility\":\"%syslogfacility-text%\",\"priority\":\"%syslogpriority-text%\",\"timereported\":\"%timereported:::date-rfc3339%\",\"timegenerated\":\"%timegenerated:::date-rfc3339%\"}\n"
注意，message 的內容會在最前面多一個空格，其解釋請參考這裏。
5 x2 Q& Z$ f  R8 T' x3 Grsyslog 也提供了一些預定義的模板（以 RSYSLOG_ 爲前綴），參考 這裏 的 Reserved Template Names 節，其定義如下：
- e1 H9 h4 R* A/ z; Z1 w/ fRSYSLOG_FileFormat
0 N$ t* D. i( q% m1 D"%TIMESTAMP:::date-rfc3339% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n\"
0 D/ i; T2 ]8 K6 ]% IRSYSLOG_TraditionalFileFormat
"%TIMESTAMP% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n\"
RSYSLOG_ForwardFormat
"<%PRI%>%TIMESTAMP:::date-rfc3339% %HOSTNAME% %syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%\"
RSYSLOG_TraditionalForwardFormat
"<%PRI%>%TIMESTAMP% %HOSTNAME% %syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%\"
/ e7 l$ \/ I; L; g- Y使用這些模板，則在動作後附加 “;template_name” 即可，例如：
:programname,startswith,"cron" -/var/log/cron;RSYSLOG_TraditionalFileFormat

admin

手工配置
如果您无法通过脚本生成配置文件，这份指导将帮助您通过简单的复制、粘贴手动完成配置。

; j1 |* x0 T8 G: x+ U$ h- D假定您已拥有root或sudo权限，是在通用的Linux平台使用5.8.0或更高版本的rsyslog，rsyslog能接收本地系统日志，并通过5140端口与外界连接。

1 配置系统环境
粘贴以下脚本并运行，并且保证 /var/spool/rsyslog 目录已存在，如果是Ubuntu系统，还需要对目录进行权限设置。
3 E+ K- i- }( O% b- l! y. x. u9 Y$ {
sudo mkdir -v /var/spool/rsyslog
if [ "$(grep Ubuntu /etc/issue)" != "" ]; then
' Y) ~9 z( m$ n, l9 e( R4 Isudo chown -R syslog:adm /var/spool/rsyslog
fi
2 更新rsyslog配置文件。
* y/ W4 f  p  m7 U0 ?+ A. e打开rsyslog配置文件，它通常在 /etc/ 目录下
, p1 |' n+ T; {9 _5 L7 j) b
4 K0 j  k: X+ }: xsudo vim /etc/rsyslog.d/rizhiyi.conf
9 r/ C+ J5 B% q% W. I6 M: m将下列内容粘贴在这个配置文件中
9 K" g3 ]2 _8 @
1 c7 \: c! I* o/ P% ]+ ^- J, I复制代码
#real tran log
$ModLoad imfile 　　　　　　　　　　　　　　#装载imfile模块
% l' C% v' A1 _8 J" v$ t/ j$InputFilePollInterval 3 　　　　　　　　 #检查日志文件间隔（秒）
7 U9 q3 v6 U: f8 b+ |$WorkDirectory /var/spool/rsyslog       #定义工作目录。例如队列文件存储存储文件夹。

$InputFileName FILEPATH 　　　　　　　　　 #读取日志文件
% v1 ~6 ]9 I3 {9 g- g: I4 \/ t/ z" c$InputFileTag APPNAME 　　　　　　　　　　 #日志写入日志附加标签字符串 不要添加特殊符号
$InputFileStateFile stat_APPNAME 　　　　#定义记录偏移量数据文件名 不要添加特殊符号
$InputFileSeverity info 　　　　　　　　　#日志等级
8 l- X, W2 p4 k/ }+ p$InputFilePersistStateInterval 20000    #回写偏移量数据到文件间隔时间（秒）
$RepeatedMsgReduction off 　　　　　　　　#关闭重复消息控制
$InputRunFileMonitor 　　　　　　　　　　　#This activates the current monitor. It has no parameters. If you forget this directive, no file monitoring will take place.
' X  J) R5 u- H8 n2 @#https://www.rizhiyi.com/docs/fastuse/tag/  设置标签(rsyslog)
; P" b5 s4 j) u4 _$template RizhiyiFormat_APPNAME,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% [06f69fae723038bbc5d75d29564051ea@32473     tag=\"TAG\"] %msg%\n"
+ D7 A3 Z- F  N% P1 Z                                  #<85>          0    2014-09-14T16:52:59.814155+08:00   macbook    my_app       -      -   [91595477-c8e4-42b8-b1f9-696465b422ff@32473 tag="file_upload" tag="my_tag"]
' @0 B/ K& t5 j  n. v复制代码
* e- D' ]3 h) }1 |6 v0 eif $programname == 'APPNAME' then @@log.rizhiyi.com:5140;RizhiyiFormat_APPNAME
% D6 P5 o$ P5 F/ m  O1 |8 oif $programname == 'APPNAME' then ~
2 h! w: r1 {' U) F
% L' `: M/ S+ l  W4 p7 a" {---------------------------------------------------------------对应的单台测试机的配置如下---------------------------------------------------------------------------------------

% r) Z" T% |7 O. J# p# N+ v/ W( N0 ]( X
并替换

FILEPATH: 需要上传的日志文件的绝对路径，必须包含日志文件名。
* n- \0 Z: Y: w1 h' U5 m6 e+ j示例：/var/log/nginx/access.log
; a6 n2 r% i* yAPPNAME: 用于标识上传的唯一应用来源，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。APPNAME设置正确与否直接影响到后台对日志字段的提取。如果您是VIP用户，日志易为您定制了日志解析规则，请填写日志易提供的针对该日志的APPNAME，以使定制的日志解析规则生效。
6 {9 ]7 h: N; Q; X. ]示例： nginx_access
TAG: 标签，标识日志的扩展信息，可定义多个标识，这里替换为您自行定义的标签，可用来定义日志分组，这将帮助您有效划分日志，缩小搜索范围。
示例： rizhiyi_search
6 q4 L% e: \* m注意:
: b/ L- c8 `( `1 a  C
在 /etc/rsyslog.d/ 下的rsyslog配置文件中：
8 l( {2 }# |1 g$InputFileTag定义的APPNAME必须唯一，同一台主机上不同的应用应当使用不同的APPNAME，否则会导致新定义的TOKEN和TAG不生效；
) e8 w% M$ ?0 I6 T8 E* m$template定义的模板名必须唯一，否则会导致新定义的TOKEN和TAG不生效；
- ^% M( \7 i0 }, @$InputFileStateFile定义的StateFile必须唯一，它被rsyslog用于记录文件上传进度，否则会导致混乱；
2 r' @/ i* r5 ]注意：@@log.rizhiyi.com:5140 该值为接收日志的服务器域名或者主机名。默认是log.rizhiyi.com:5140
* Q3 n9 V$ ^5 x1 a# a3 重启rsyslog
! t1 ]% V- U) K' s4 U  u! \$ sudo service rsyslog restart
4 验证
例如，配置文件中的tag字段已修改为"rizhiyi_search"，可使用"tag:rizhiyi_search"搜索过去一小时的事件，检查日志易是否成功接收并正确识别日志，建立索引可能需要几十秒钟时间，需要等待几十秒钟。
- @* q2 l0 K4 [4 W( J' o/ a# M
#参考:

http://www.voidcn.com/blog/anghlq/article/p-4958086.html

http://www.wnqzw.com/article/10798.html

附:

日志輸出模板
) O: q9 l. m7 u/ s9 f# D$ m6 s通過模板可以更具需要來控制日志輸出的樣式。格式如下：
$template <TEMPLATE_NAME>,"text %<PROPERTY>% more text", [<options>]
$template 爲模板指令。<TEMPLATE_NAME> 爲模板名。"" 之間的文本爲模板格式。 被 % 包含的文本對應相關的屬性。<options> 指定修改 模板功能的一些選項,例如 sql 或者 stdsql 會格式化文本爲 SQL 查詢。
, M/ V+ o7 z* C7 L! ]動態文件輸出
; L+ n8 T8 b) ]% G0 ~/ L通過日志和/或系統屬性決定輸出文件名。
$template DynamicFile,"/var/log/test_logs/%timegenerated%-test.log"
*.* ?DynamicFile
) m6 c. ^6 B8 U" R; r* A使用 timegenerated 生成文件名，使用該模板則在前面加上 ?。
其他例子如下：
5 h2 \/ F5 q- Z$template DailyPerHostLogs,"/var/log/syslog/%$YEAR%/%$MONTH%/%$DAY%/%HOSTNAME%/messages.log"
- x6 n0 {! g  H' o根據屬性控制日志輸出格式
  V' m& T- L8 g) Q) d$ \使用下面的格式可以對模板之中的屬性做各種修改操作從而定制日志的格式:
%<propname>[:<fromChar>:<toChar>:<options>]%
<propname> 屬性名，可用的屬性名參考上文。
4 b3 u; K* P5 M4 C" d! f- W<fromChar> 和 <toChar> 表示對屬性值字符串的操作範圍。 設置 <fromChar> 爲 R，<toChar> 爲正則表達式即可以通過正則 表達式定義範圍。
<options> 則表示屬性選項。完整的列表可以參考 這裏的 Property Options 節。
一些示例如下：
%msg% # 日志的完整消息文本
%msg:1:2% # 日志消息文本的最開始兩個字符
6 N# n* {7 u* h4 y1 y5 W; [%msg:::drop-last-lf% # 日志的完整消息文本，移出最後的換行符
%timegenerated:1:10:date-rfc3339% # 時間戳的頭10個字符並按 RFC3999 標准格式化
下面是一些模板例子。
0 A! l9 }' G/ D' U輸出日志的級別，類別，收到日志時的時間錯，主機名，消息標簽，消息正文， 加上換行符：
, w: _% F+ Z  k6 |$template verbose,"%syslogseverity%,%syslogfacility%,%timegenerated%,%HOSTNAME%,%syslogtag%,%msg%\n"
2 D7 n5 U( H1 q輸出日志來源，時間以及日志標簽，正文，同時還有蜂鳴聲（\7）：
$template wallmsg,"\r\n\7Message from syslogd@%HOSTNAME% at %timegenerated% ...\r\n %syslogtag% %msg%\n\r"
! I9 Z& Y% w& B2 R格式化日志以便于直接進行 SQL 操作：
$template dbFormat,"insert into SystemEvents (Message, Facility,FromHost, Priority, DeviceReportedTime, ReceivedAt, InfoUnitID, SysLogTag) values ('%msg%', %syslogfacility%, '%HOSTNAME%',%syslogpriority%, '%timereported:::date-mysql%', '%timegenerated:::date-mysql%', %iut%, '%syslogtag%')",sql
8 X$ l: D+ i1 R% X' a以 json 格式輸出，方便程序解析：
$template jsonFormat,"{\"message\":\"%msg:::json%\",\"fromhost\":\"%HOSTNAME:::json%\",\"facility\":\"%syslogfacility-text%\",\"priority\":\"%syslogpriority-text%\",\"timereported\":\"%timereported:::date-rfc3339%\",\"timegenerated\":\"%timegenerated:::date-rfc3339%\"}\n"
注意，message 的內容會在最前面多一個空格，其解釋請參考這裏。
rsyslog 也提供了一些預定義的模板（以 RSYSLOG_ 爲前綴），參考 這裏 的 Reserved Template Names 節，其定義如下：
RSYSLOG_FileFormat
& s; u! M, D4 c$ f0 V0 c"%TIMESTAMP:::date-rfc3339% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n\"
RSYSLOG_TraditionalFileFormat
  g1 b; k9 b/ \6 V$ e& P4 Y: T"%TIMESTAMP% %HOSTNAME% %syslogtag%%msg:::sp-if-no-1st-sp%%msg:::drop-last-lf%\n\"
RSYSLOG_ForwardFormat
8 O8 N7 B& N1 `7 m5 K( i" Z3 }- }"<%PRI%>%TIMESTAMP:::date-rfc3339% %HOSTNAME% %syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%\"
' L& |. H2 {) u! u& o0 `( hRSYSLOG_TraditionalForwardFormat
4 c0 K$ e0 k4 D1 N0 B! y& k$ p# H"<%PRI%>%TIMESTAMP% %HOSTNAME% %syslogtag:1:32%%msg:::sp-if-no-1st-sp%%msg%\"
使用這些模板，則在動作後附加 “;template_name” 即可，例如：
:programname,startswith,"cron" -/var/log/cron;RSYSLOG_TraditionalFileFormat