docker监控脚本

admin

监控套件有三个脚本，一个是自动发现主机上的docker容器脚本，另一个是用python写的获取每个docker容器的系统状态，包括CPU使用率，内存使用率以及网络资源使用率，最后这个脚本添加了一些我公司常用的应用的状态监控，包括应用占用内存，cpu资源以及进程的存活状态，至于读者们需要监控其他docker里面的应用，可以依照我的脚本来进行修改。

需要编辑自动发现docker中容器个数的脚本

# cat /usr/local/zabbix/scripts/docker_low_discovery.sh

/ w3 s$ Z6 \( ?% b  O& V8 k9 n; y2 }

#!/bin/bash

#Fucation:docker low-level discovery

docker() {

            port=($(sudo docker ps -a|grep -v "CONTAINER ID"|awk '{print $NF}'))

$ i) Z/ x, K- f& T6 L

            printf '{\n'

% X  g- K. L4 O  [

            printf '\t"data":[\n'

" g: |4 w& l& @7 o' A7 R

               for key in ${!port[@]}

                   do

                       if [[ "${#port[@]}" -gt 1 && "${key}" -ne "$((${#port[@]}-1))" ]];then

                          printf '\t {\n'

, T* t( P! [; }

                          printf "\t\t\t\"{#CONTAINERNAME}\":\"${port[${key}]}\"},\n"

  

  d& c. b5 Q" ~, Y, @; A, F9 Q, I

                     else [[ "${key}" -eq "((${#port[@]}-1))" ]]

  O( |7 {7 K$ I9 C/ ?$ r" X5 L

                          printf '\t {\n'

                          printf "\t\t\t\"{#CONTAINERNAME}\":\"${port[${key}]}\"}\n"

4 x. x* k8 v5 ?' K% O% R

  

                       fi

               done

; D- v9 U4 t7 L6 V; h  ?

  

/ a2 H7 w4 ~9 O' Q) u

                          printf '\t ]\n'

                          printf '}\n'

( w: v+ s! p& _- c

}

  H9 T# a. Y" _  h* T/ e, m

case $1 in

) f. Z7 a& g0 S+ J6 k. @5 d

docker)

/ {3 B2 P* R: p4 t. X$ I

docker

6 q* g! L! U8 J0 _0 F% o4 \! P- m

;;

: n* ^! v, z! x! W0 x

*)

6 K, t  H! @' y+ c

echo "Usage:`basename $0` {docker}"

3 o& A; i2 o* w) j1 k, f/ J& b  ]

;;

esac

上面这个脚本是用来获取到docker里面应用的容器，并对其进行json化输出的，效果如下：

# sh /usr/local/zabbix/scripts/docker_low_discovery.sh docker

{

: C1 M. P5 |% x- s) j# C' r) M

"data":[

{

8 L# E; @* ]6 d

"{#CONTAINERNAME}":"hopeful_brown"},

{

* E+ k- |7 l3 I$ q' n8 x# h

"{#CONTAINERNAME}":"happy_einstein"}

6 r$ K! `4 x9 q

}

这样就能被zabbix_server获取到了，然后是python脚本,使用python获取docker的参数需要使用一个扩展包，可以通过pip或者easy_install安装docker-py扩展：

pip install docker-py或者easy_install docker-py或者不想这样安装的话可以去python官网下载docker-py的安装包，解压后使用docker docker-py-1.4.0/setup.py install命令安装，扩展包我将会打包放在附件中。

) f, b& o: X$ ?! N3 B

' f  ?% q) q6 S3 p

# cat /usr/local/zabbix/scripts/docker_monitor.py

8 z% x6 ]6 M# n( ]; N5 b

#!/usr/bin/env python

- \- {: z. v" ~' e/ d0 ]* g; n

#-*- coding: utf-8 -*-

6 }  Y: w  B" N( s1 Y

#author:Xianglin Hu

#email: a714585725@qq.com

from docker import Client

import sys

; t, E. |3 @. R" ?5 ^, g

import subprocess

import os

$ [2 u! B9 _2 S' x0 S/ e, a$ B! [6 a

def check_container_stats(container_name,collect_item):

; r. R& M) j& S0 h* P+ x1 p

    container_collect=docker_client.stats(container_name)

    old_result=eval(container_collect.next())

/ T* T* p7 t8 U& t0 Q* M

    new_result=eval(container_collect.next())

    container_collect.close()

    if collect_item == 'cpu_total_usage':

        result=new_result['cpu_stats']['cpu_usage']['total_usage'] - old_result['cpu_stats']['cpu_usage']['total_usage']

    elif collect_item == 'cpu_system_usage':

+ R0 \; D/ G' j) b) h" l4 L. S0 d

        result=new_result['cpu_stats']['system_cpu_usage'] - old_result['cpu_stats']['system_cpu_usage']

1 p" @' E& D# g2 n

    elif collect_item == 'cpu_percent':

        cpu_total_usage=new_result['cpu_stats']['cpu_usage']['total_usage'] - old_result['cpu_stats']['cpu_usage']['total_usage']

        cpu_system_uasge=new_result['cpu_stats']['system_cpu_usage'] - old_result['cpu_stats']['system_cpu_usage']

8 ~) N+ M& K  X( s. f4 J

        cpu_num=len(old_result['cpu_stats']['cpu_usage']['percpu_usage'])

        result=round((float(cpu_total_usage)/float(cpu_system_uasge))*cpu_num*100.0,2)

    elif collect_item == 'mem_usage':

5 r2 Q3 F: Y: ]

        result=new_result['memory_stats']['usage']

    elif collect_item == 'mem_limit':

        result=new_result['memory_stats']['limit']

( c5 X4 }7 N  t

    elif collect_item == 'mem_percent':

        mem_usage=new_result['memory_stats']['usage']

        mem_limit=new_result['memory_stats']['limit']

8 y. w8 J" ?2 U0 q. o

        result=round(float(mem_usage)/float(mem_limit)*100.0,2)

$ B, z* n9 {* O3 [$ C3 a3 \; d. m% V

    elif collect_item == 'network_rx_bytes':

        network_check_command="""sudo /usr/bin/docker exec %s cat /proc/net/dev|sed -n 3p|awk '{print $2,$10}'"""%container_name

" m( F+ C* ]! t( k+ u7 G$ D

        result=os.popen(network_check_command).read().split()[0]

    elif collect_item == 'network_tx_bytes':

/ H, S8 }: D2 z# \/ L

        network_check_command="""sudo /usr/bin/docker exec %s cat /proc/net/dev|sed -n 3p|awk '{print $2,$10}'"""%container_name

        result=os.popen(network_check_command).read().split()[1]

+ y+ h* F" g& _+ V; N3 e

    return result

% x# ?' q4 {$ b6 j3 A! ?

if __name__ == "__main__":

* R" B2 @% g/ B" m5 \) H9 y* r

    docker_client = Client(base_url='unix://var/run/docker.sock', version='1.17')

    container_name=sys.argv[1]

& ?2 R& W2 w% M; B% s9 J

    collect_item=sys.argv[2]

" C  ^+ f* A2 ?  X

    print check_container_stats(container_name,collect_item)

8 B4 \1 r. B2 x& ~0 |4 D

这里面使用到了docker里面的Client类，获取到某个docker容器的当前状态信息，然后进行运算，返回运算结果。但是容器当前信息那个dict中的network的key获取到的信息不准确，于是我使用了docker exec命令来获取docker容器内部的网络流量信息。这也是我在大神的基础上进行改进的地方，这里的改进将python脚本的执行时间缩短了，将有助于server获取duocker容器信息时减少长连接的数量，提升zabbix_server的性能。这里的docker exec命令将会在下一个脚本中大量使用来获取docker容器中的应用状态信息。

( c; ~  W; J9 u/ c1 O1 x! V4 A

下面是获取容器应用状态信息的脚本：

# cat docker_processmonitor.sh

, E5 q' u& ]) \8 j

#!/bin/bash

0 Y: x7 Y/ }+ g: _4 ^/ Y

#license:GPL

* [" w* q8 N4 l' J

#mail:a714585725@qq.com

#date:2015.09.22

, N" J9 f1 s6 s, T0 j

processmem(){

        sudo /usr/bin/docker exec $1 ps aux|grep $2|grep -v "grep"|grep -v "processstatus.sh"|awk '{sum+=$6}; END{print sum}'

) V, g* l! d, x" c/ f# {- p' i$ a

}

processcpu(){

; F8 f' H  |/ Y& s

        sudo /usr/bin/docker exec $1 ps aux|grep $2|grep -v "grep"|grep -v "processstatus.sh"|awk '{sum+=$3}; END{print sum}'

}

processport(){

" |, H$ S! B& T. k

        sudo /usr/bin/docker exec $1 ss -antlp|grep $2|grep LISTEN|wc -l

* v* s$ h- ]0 O* t- `. l

}

6 K# H* a0 _+ u7 Q# L

case "$3" in

mem)

0 [3 R5 `7 o4 y8 ]7 r4 X- w

processmem $1 $2

! ]3 O" E4 O5 J* U1 i: v

;;

cpu)

processcpu $1 $2

, H4 v% _( Y; u' B3 i" a

;;

port)

processport $1 $2

;;

" C7 N4 b# N* s  [$ t2 F- Y! A

*)

echo "Usage: $0 {docker_containername}{processname}{mem|cpu|port}"

;;

; e3 B7 S2 J+ `9 A5 B

esac

: V9 a8 @# g1 r# _

& c$ T; {) }7 K; [  t5 [2 R

这个脚本其实没啥说的，从我以前写的那个脚本上面修改来的，使用了一个case来判断需要获取的docker容器的名称以及该容器中应用的状态信息，只不过这里获取docker容器状态信息使用的是docker exec命令来进行获取。另外这里面添加了对于应用是否存活的状态监测，那就是检测该应用是否侦听了网络端口，假如该应用侦听的网络端口个数为0的话，可以认为该应用存在异常。这些应用只是我公司使用比较多的应用，各位读者可以根据自己需求修改相应应用的监控。

由于docker是以root权限来启用的，而zabbix监控是使用zabbix用户来执行的，所以需要给予zabbix用户相应的权限，需要编辑visudo：

echo "zabbix ALL=(root) NOPASSWD:/bin/docker,/usr/bin/python,/usr/local/zabbix/scripts/docker_monitor.py,/usr/local/zabbix/scripts/docker_low_discovery.sh,/usr/local/zabbix/scripts/docker_processmonitor.sh">>/etc/sudoers

并且还需要注释掉这条记录：#Defaults    requiretty（PS：注意，这条记录是要求使用sudo命令时需要有终端界面，注释掉这一条之后就可以不需要终端执行sudo命令了。）

# tail -3 /usr/local/zabbix/etc/zabbix_agentd.conf

UserParameter=docker_low_discovery

,/bin/bash /usr/local/zabbix/scripts/docker_low_discovery.sh $1

UserParameter=docker_stats

,sudo /usr/bin/python /usr/local/zabbix/scripts/docker_monitor.py $1 $2

UserParameter=docker_process

,/bin/bash /usr/local/zabbix/scripts/docker_processmonitor.sh $1 $2  $3

保存配置并重启zabbix_agentd服务，然后修改脚本的属主属组以及权限：

chown zabbix.zabbix /usr/local/zabbix/scripts/*

chmod 755 /usr/local/zabbix/scripts/*

然后可以在zabbix_server端测试是否能够获取到相应的数据：

[root@test1 ~]# /usr/local/zabbix-2.4.4/bin/zabbix_get -s x.x.x.x -k"docker_low_discovery[docker]"

( o$ Q* \( C) L. d+ q7 o7 S

{

"data":[

{

2 p+ m6 r" `0 H+ b1 L% n- ^7 P. |

"{#CONTAINERNAME}":"hopeful_brown"},

{

% B8 \5 s& W; N. {3 A+ C

"{#CONTAINERNAME}":"happy_einstein"}

/ n9 K. V  O+ O  w& d0 `

}

* |& a4 f  O5 }' |

[root@test1 ~]# /usr/local/zabbix-2.4.4/bin/zabbix_get -s x.x.x.x -k"docker_stats[happy_einstein,network_tx_bytes]"

9664252

[root@test1 ~]# /usr/local/zabbix-2.4.4/bin/zabbix_get -s x.x.x.x -k"docker_process[happy_einstein,nginx,port]"

% u, g2 C# e" E' N6 i' Y* H' q/ {2 {$ u

2

admin

这里的IP地址我就用x.x.x.x代替了，这里应该填写客户端的IP地址。如上所示，能够正确获取到agentd的数据以后，然后就需要在zabbix_server这边配置监控模版了，关于监控模版的配置我在之前的文章中提及了很多次，相信大家应该都不会陌生了，这回就不详细描述模板的建立了，稍后我会将模板打包一起上传至附件中，这个模板目前还是半成品，各位可以根据模板进行修改，可以根据你们的需求来做，下面，演示一下监控出来的效果（PS：只是在测试环境小规模的部署，项目还不错，于是没有做成筛选出来。）