Prometheus监控Ceph分布式存储

admin · 发表于 2021-8-10 11:27:55

1.Ceph的Dashboard只适合查看集群状态，生产环境中最好还是把监控ceph纳入到已有的zabbix或Prometheus监控系统中;由于Prometheus是一个restful风格的api,它是通过http或https接口进行数据指标采集的，但是很多被监控的应用并没有http接口，因此需要借助各自应用的exporter进行间接采集;
2.mgr的prometheus_exporter和node_exporter
1.由于Ceph底层是rados协议没有http接口,所以也需要有单独的exporter进行采集,只需要在ceph的一个节点上安装prometheus_exporter,获得cephX授权后通过mon或mgr查询ceph集群信息后,把采集到的数据转为与prometheus兼容的格式并通过http协议响应prometheus的拉取请求;好在这个prometheus_exporter是直接内置在Ceph的mgr模块中的,只需要启用该模块即可;
2.由于mgr内嵌的prometheus_exporter只是监控Ceph系统本身的数据,而每个ceph节点主机的cpu、内存信息还是需要部署node_exporter进行数据采集监控的;
3.1.创建运⾏Prometheus Server进程的系统⽤⼾,并为其创建家⽬录/var/lib/prometheus作为数据存储⽬录；如果公司内部中已有prometheus,可省略下面部分的安装过程,直接进行监控ceph的配置部分即可;
~]# useradd -r -m -d /var/lib/prometheus prometheus  #创建数据目录
~]# tar xf prometheus-2.7.2.linux-amd64.tar.gz -C /usr/local/
      #官方下载二进制包解压
~]# ln /usr/local/prometheus-2.7.2.linux-amd64 /usr/local/prometheus
      #创建软链接
~]# prometheus --version #查看prometheus版本
创建Prometheus专⽤的Unit File文件放在/usr/lib/systemd/system/目录下
      ~]# vim /usr/lib/systemd/system/prometheus.service
         [Unit]
         Documentation=https://prometheus.io
         After=network.target
         [Service]
         EnvironmentFile=-/etc/sysconfig/prometheus
         User=prometheus
         ExecStart=/usr/local/prometheus/prometheus \
                  --storage.tsdb.path=/var/lib/prometheus \
                  --config.file=/usr/local/prometheus/prometheus.yml \
                  --web.listen-address=0.0.0.0:9090 \
                  --web.external-url=
         Restart=on-failure
         StartLimitInterval=1
         RestartSec=3
         [Install]
         WantedBy=multi-user.target
3.2.每个Ceph节点安装node_exporter采集ceph节点主机的数据
~]# tar xf node_exporter-0.17.0.linux-amd64.tar.gz -C /usr/local/
~]# ln -sv /usr/local/node_exporter-0.17.0.linux-amd64 /usr/local/node_exporte
~]# useradd -r -m -d /var/lib/prometheus prometheus
      创建运⾏Prometheus Server进程的系统⽤⼾，并为其创建家⽬录/var/lib/prometheus作为数据存储⽬录
~]# vim /usr/lib/systemd/system/node_exporter.service
      [Unit]
      Documentation=https://github.com/prometheus/node_exporter
      After=network.target
      [Service]
      EnvironmentFile=-/etc/sysconfig/node_exporter
      User=prometheus
      ExecStart=/usr/local/node_exporter/node_exporter \
         $NODE_EXPORTER_OPTS
      Restart=on-failure
      StartLimitInterval=1
      RestartSec=3
      [Install]
      WantedBy=multi-user.target
~]# systemctl daemon-reload && systemctl start node_exporter.service
~]# s -tunpl |grep 9100    #查看监控端口
      tcp LISTEN    0    128    :::9100    :::* users:(("node_exporter",pid=6776,fd=3))
~]# curl localhost:9100/metrics  #测试会否采集到指标数据
3.3.启用Ceph-mgr中的promethues模块
~]# ceph mgr module enable prometheus
      #Prometheus模块默认监听于TCP协议的9283端⼝
~]# ceph mgr services
      {
         "dashboard": "http://stor02.cre.io:8080/",
         "prometheus": "http://stor02.cre.io:9283/"
      }
~]# ss -tunpl |grep 9283
      tcp LISTEN    0    5       :::9283    :::* users:(("ceph-mgr",pid=1071,fd=22))
      #会在Mgr所在的存储节点上开启9283端口
3.4.Prometheus的主配置⽂件为prometheus.yml字段和格式解释
prometheus.yml文件主要由global、rule_files、scrape_configs、alerting、remote_write和remote_read⼏个配置段组成，其中：
1.global：全局配置段；
2.scrape_configs：配置要监控的目标对象
      scrape配置集合，⽤于定义监控的⽬标对象（target）的集合，以及描述如何抓取（scrape）相关指标数据的配置参数；通常，每个scrape配置对应于⼀个单独的作业（job），⽽每个targets可通过静态配置（static_configs）直接给出定义，也可基于Prometheus⽀持的服务发现机制进⾏⾃动配置；
3.alertmanager_configs：指定配置监控的报警规则
      可由Prometheus使⽤的Alertmanager实例的集合，以及如何同这些Alertmanager交互的配置参数；每个Alertmanager可通过静态配置（static_configs）直接给出定义，也可基于Prometheus⽀持的服务发现机制进⾏⾃动配置；
4.remote_write：
      配置"远程写"机制，Prometheus需要将数据保存于外部的存储系统（例如InfluxDB）时定义此配置段，随后Prometheus将样本数据通过HTTP协议发送给由URL指定适配器(Adaptor)；
5.remote_read：
      配置"远程读"机制，Prometheus将接收到的查询请求交给由URL指定适配器（Adpater）执⾏，Adapter将请求条件转换为远程存储服务中的查询请求，并将获取的响应数据转换为Prometheus可⽤的格式
2.1.scrape配置段
      1.使⽤static_configs静态配置Job的语法格式：
         # The targets specified by the static config.
         targets:
            [ - '<host>' ]
         # Labels assigned to all metrics scraped from the targets.
         labels:
            [ <labelname>: <labelvalue> ... ]
      2.使⽤file_sd_configs基于文件发现机制配置Job的语法格式
         [
            {
                  "targets": [ "<host>", ... ],
                  "labels": {
                  "<labelname>": "<labelvalue>", ...
                  }
            },
            ...
         ]
3.5.配置prometheus监控ceph集群和ceph存储节点主机
~]# vim /etc/prometheus/prometheus.yml
      scrape_configs:
      - job_name: 'prometheus'
         static_configs:
         - targets: ['111.231.143.40:9090']
      - job_name: 'node_exporter'
         static_configs:
         - targets: ['stor01.cre.io:9100']
         - targets: ['stor02.cre.io:9100']
         - targets: ['stor03.cre.io:9100']
      - job_name: 'ceph'
      # honor_labels: true
         static_configs:
         - targets: ['stor02.cre.io:9283']
注意事项：
      1.job_name=node_exporter设置ceph集群的3个主机节点,job_name=ceph设置manager所在节点的主机名和Prometheus模块的端口;
      2.注意prometheus中的targets中要写主机的FQDN格式的主机名,否者ceph dashboard中host details中不能正常显示监控数据,因为ceph dashboard是使用FQDN格式的主机名查询监控信息,如果prometheus中写的是IP会导致查询不到;而grafana使用IP查询,所以在grafana中不会有这种错误;
      3.honor_labels=true必须有且设置为true，否者会导致CephDashbaord中显示grafana某些面板没有数据出现(这个待验证,个人认为可以设置此参数);
      4.如果ceph集群中部署了多个manager,需要在job_name=ceph中添加多个targets将所有magr的地址都写上;(本ceph集群只部署了一个mgr)
~]# systemctl daemon-reload
~]# systemctl start prometheus && systemctl enable prometheus  #设置开启自启
验证配置是否抓取到数据：
登录prometheus地址：http://192.168.10.10:9090,查看Targets页面上的prometheus、3个node、ceph mgr是否都是UP的即可：

admin · 发表于 2021-8-10 11:28:56

1.Ceph的Dashboard只适合查看集群状态，生产环境中最好还是把监控ceph纳入到已有的zabbix或Prometheus监控系统中;由于Prometheus是一个restful风格的api,它是通过http或https接口进行数据指标采集的，但是很多被监控的应用并没有http接口，因此需要借助各自应用的exporter进行间接采集;
2.mgr的prometheus_exporter和node_exporter
1.由于Ceph底层是rados协议没有http接口,所以也需要有单独的exporter进行采集,只需要在ceph的一个节点上安装prometheus_exporter,获得cephX授权后通过mon或mgr查询ceph集群信息后,把采集到的数据转为与prometheus兼容的格式并通过http协议响应prometheus的拉取请求;好在这个prometheus_exporter是直接内置在Ceph的mgr模块中的,只需要启用该模块即可;
2.由于mgr内嵌的prometheus_exporter只是监控Ceph系统本身的数据,而每个ceph节点主机的cpu、内存信息还是需要部署node_exporter进行数据采集监控的;
3.1.创建运⾏Prometheus Server进程的系统⽤⼾,并为其创建家⽬录/var/lib/prometheus作为数据存储⽬录；如果公司内部中已有prometheus,可省略下面部分的安装过程,直接进行监控ceph的配置部分即可;
~]# useradd -r -m -d /var/lib/prometheus prometheus  #创建数据目录
~]# tar xf prometheus-2.7.2.linux-amd64.tar.gz -C /usr/local/
      #官方下载二进制包解压
~]# ln /usr/local/prometheus-2.7.2.linux-amd64 /usr/local/prometheus
      #创建软链接
~]# prometheus --version #查看prometheus版本
创建Prometheus专⽤的Unit File文件放在/usr/lib/systemd/system/目录下
      ~]# vim /usr/lib/systemd/system/prometheus.service
         [Unit]
         Documentation=https://prometheus.io
         After=network.target
         [Service]
         EnvironmentFile=-/etc/sysconfig/prometheus
         User=prometheus
         ExecStart=/usr/local/prometheus/prometheus \
                  --storage.tsdb.path=/var/lib/prometheus \
                  --config.file=/usr/local/prometheus/prometheus.yml \
                  --web.listen-address=0.0.0.0:9090 \
                  --web.external-url=
         Restart=on-failure
         StartLimitInterval=1
         RestartSec=3
         [Install]
         WantedBy=multi-user.target
3.2.每个Ceph节点安装node_exporter采集ceph节点主机的数据
~]# tar xf node_exporter-0.17.0.linux-amd64.tar.gz -C /usr/local/
~]# ln -sv /usr/local/node_exporter-0.17.0.linux-amd64 /usr/local/node_exporte
~]# useradd -r -m -d /var/lib/prometheus prometheus
      创建运⾏Prometheus Server进程的系统⽤⼾，并为其创建家⽬录/var/lib/prometheus作为数据存储⽬录
~]# vim /usr/lib/systemd/system/node_exporter.service
      [Unit]
      Documentation=https://github.com/prometheus/node_exporter
      After=network.target
      [Service]
      EnvironmentFile=-/etc/sysconfig/node_exporter
      User=prometheus
      ExecStart=/usr/local/node_exporter/node_exporter \
         $NODE_EXPORTER_OPTS
      Restart=on-failure
      StartLimitInterval=1
      RestartSec=3
      [Install]
      WantedBy=multi-user.target
~]# systemctl daemon-reload && systemctl start node_exporter.service
~]# s -tunpl |grep 9100    #查看监控端口
      tcp LISTEN    0    128    :::9100    :::* users:(("node_exporter",pid=6776,fd=3))
~]# curl localhost:9100/metrics  #测试会否采集到指标数据
3.3.启用Ceph-mgr中的promethues模块
~]# ceph mgr module enable prometheus
      #Prometheus模块默认监听于TCP协议的9283端⼝
~]# ceph mgr services
      {
         "dashboard": "http://stor02.cre.io:8080/",
         "prometheus": "http://stor02.cre.io:9283/"
      }
~]# ss -tunpl |grep 9283
      tcp LISTEN    0    5       :::9283    :::* users:(("ceph-mgr",pid=1071,fd=22))
      #会在Mgr所在的存储节点上开启9283端口
3.4.Prometheus的主配置⽂件为prometheus.yml字段和格式解释
prometheus.yml文件主要由global、rule_files、scrape_configs、alerting、remote_write和remote_read⼏个配置段组成，其中：
1.global：全局配置段；
2.scrape_configs：配置要监控的目标对象
      scrape配置集合，⽤于定义监控的⽬标对象（target）的集合，以及描述如何抓取（scrape）相关指标数据的配置参数；通常，每个scrape配置对应于⼀个单独的作业（job），⽽每个targets可通过静态配置（static_configs）直接给出定义，也可基于Prometheus⽀持的服务发现机制进⾏⾃动配置；
3.alertmanager_configs：指定配置监控的报警规则
      可由Prometheus使⽤的Alertmanager实例的集合，以及如何同这些Alertmanager交互的配置参数；每个Alertmanager可通过静态配置（static_configs）直接给出定义，也可基于Prometheus⽀持的服务发现机制进⾏⾃动配置；
4.remote_write：
      配置"远程写"机制，Prometheus需要将数据保存于外部的存储系统（例如InfluxDB）时定义此配置段，随后Prometheus将样本数据通过HTTP协议发送给由URL指定适配器(Adaptor)；
5.remote_read：
      配置"远程读"机制，Prometheus将接收到的查询请求交给由URL指定适配器（Adpater）执⾏，Adapter将请求条件转换为远程存储服务中的查询请求，并将获取的响应数据转换为Prometheus可⽤的格式
2.1.scrape配置段
      1.使⽤static_configs静态配置Job的语法格式：
         # The targets specified by the static config.
         targets:
            [ - '<host>' ]
         # Labels assigned to all metrics scraped from the targets.
         labels:
            [ <labelname>: <labelvalue> ... ]
      2.使⽤file_sd_configs基于文件发现机制配置Job的语法格式
         [
            {
                  "targets": [ "<host>", ... ],
                  "labels": {
                  "<labelname>": "<labelvalue>", ...
                  }
            },
            ...
         ]
3.5.配置prometheus监控ceph集群和ceph存储节点主机
~]# vim /etc/prometheus/prometheus.yml
      scrape_configs:
      - job_name: 'prometheus'
         static_configs:
         - targets: ['111.231.143.40:9090']
      - job_name: 'node_exporter'
         static_configs:
         - targets: ['stor01.cre.io:9100']
         - targets: ['stor02.cre.io:9100']
         - targets: ['stor03.cre.io:9100']
      - job_name: 'ceph'
      # honor_labels: true
         static_configs:
         - targets: ['stor02.cre.io:9283']
注意事项：
      1.job_name=node_exporter设置ceph集群的3个主机节点,job_name=ceph设置manager所在节点的主机名和Prometheus模块的端口;
      2.注意prometheus中的targets中要写主机的FQDN格式的主机名,否者ceph dashboard中host details中不能正常显示监控数据,因为ceph dashboard是使用FQDN格式的主机名查询监控信息,如果prometheus中写的是IP会导致查询不到;而grafana使用IP查询,所以在grafana中不会有这种错误;
      3.honor_labels=true必须有且设置为true，否者会导致CephDashbaord中显示grafana某些面板没有数据出现(这个待验证,个人认为可以设置此参数);
      4.如果ceph集群中部署了多个manager,需要在job_name=ceph中添加多个targets将所有magr的地址都写上;(本ceph集群只部署了一个mgr)
~]# systemctl daemon-reload
~]# systemctl start prometheus && systemctl enable prometheus  #设置开启自启
验证配置是否抓取到数据：
登录prometheus地址：http://192.168.10.10:9090,查看Targets页面上的prometheus、3个node、ceph mgr是否都是UP的即可：

		自动登录	找回密码
密码			注册

Prometheus监控Ceph分布式存储

浏览过的版块