关于drbd的状态使用说明

admin · 发表于 2023-12-21 11:06:47

近期遇到很早以前的crm管理服务
按照常规的方式启动没有问题，但是后来发现有些状态是异常的。

无意中接触到drbd这个组件，以及crm主键：
一：
还可以使用drbd-overview获取一些简单的信息。
正常的：
drbd-overview
NOTE: drbd-overview will be deprecated soon.
Please consider using drbdtop.

0:rs0/0  Connected(2*) Second/Primar UpToDa/UpToDa
1:rs0/1  Connected(2*) Second/Primar UpToDa/UpToDa

有问题的：
drbd-overview
0:mysql/0  Connected Secondary/Primary UpToDate/UpToDate
1:image/0  Connected Secondary/Primary Diskless/UpToDate

2.状态
/proc/drbd文件中的状态信息如下：
cat /proc/drbd
version: 8.4.5 (api:1/proto:86-101)
GIT-hash: 1d360bde0e095d495786eaeb2a1ac76888e4db96 build by root@cucloud002, 2015-02-06 20:04:43
0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
ns:0 nr:8359712 dw:8359712 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0
1: cs:Connected ro:Secondary/Primary ds:Diskless/UpToDate C r-----
ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:b oos:0

其中第三行中：

0是drbd的次设备号(minor)，表示该行是/dev/drbd0资源的信息。
cs是connect state，即节点的连接状态。
ro是roles，即节点的角色状态。
ds是disk state，即磁盘的状态，也即drbd底层设备的状态。
C是drbd的复制协议，即A、B、C协议。
r-----是IO标记，反应的是该资源的IO状态信息。共有6种IO状态标记符号。
第四行是drbd同步过程中的状态，总体概括为"性能指标"。

以下翻译自官方手册： users-guide-8.4 和 users-guide-9.0 。如果有疑问，可从官方手册自行查找答案。

drbd-overview
0:mysql/0  Connected Secondary/Primary UpToDate/UpToDate
1:image/0  Connected Secondary/Primary Diskless/UpToDate

二：
2.1 连接状态(connect state,cs)和复制状态
节点间通过TCP连接进行通信，在建立连接、断开连接、特殊情况下有很多种连接状态。

建立TCP连接后，还有称为"DRBD"的连接。DRBD连接建立完成，表示元数据区、数据区等一切都已准备好，可以进行任何数据同步的操作。

节点间的连接状态既可以从/proc/drbd文件中获取，也可以使用下面的命令来获取。

drbdadm cstate mysql
Connected

drbd84中，将连接状态和复制状态全部都归类为连接状态。但在drbd9中，由于可以通过net指令定义多个drbd节点，它更网络对端和volume的概念。因此它将和连接关系不大的状态独立划分为"复制状态(replication)"中，例如同步、验证相关的状态。本文就懒得去区分它们了，都放在一起解释吧。

有以下几种连接状态，其中最常捕获到的状态已经加粗显示。

WFConnection：当前节点正在等待对端节点出现。例如对方节点drbdadm down后，本节点将处于本状态。
StandAlone：无连接。出现这种状态可能是因为：未连接过、使用drbdadm disconnect断开连接、节点由于身份验证的原因未成功加入drbd集群使得连接被删除、脑裂后断开连接。
Disconnecting：断开连接的一个临时过渡状态。它很快就会切入下一状态就是StandAlone。
Unconnected：尝试再次发起TCP连接时的一个临时连接状态(是连接超时后再次发送连接请求产生的状态)，它的下一个状态可能是WFConnection，也可能是WFReportParams。
Timeout：和对端通信超时时的临时状态。下一个状态就是Unconnection。
BrokenPipe：和对端连接丢失时的临时状态。下一个状态是Unconnection。
NetworkFailure：和对端连接丢失时的临时状态。下一个状态是Unconnection。(没错，和上面的一样)
ProtocolError：和对端连接丢失时的临时状态。下一个状态是Unconnection。(没错，还是和上面的一样)
TearDown：对端关闭TCP连接时的临时状态。下一个状态是Unconnection。
Connected：DRBD连接已经建立完成，数据镜像已经激活成功。这个状态是drbd正常运行时的状态。
WFReportParams：TCP连接已经建立完成，该节点正在等待对端的第一个数据包。
StartingSyncS：全盘数据同步中。只有在初始化时才应该全盘同步。下一个状态是：SyncSource或PauseSyncS。
StartingSyncT：全盘数据同步中。只有在初始化时才应该全盘同步。下一个状态是：WFSyncUUID。
WFBitMapS：部分数据正在同步。下一个状态是：SyncSource或PauseSyncS。
WFBitMapT：部分数据正在同步。下一个状态是：WFSyncUUID。
WFSyncUUID：同步马上就要开始了。下一个状态：SyncTarget或PauseSyncT。
SyncSource：正在同步，且本节点是数据同步的源端。
SyncTartget：正在同步，且本节点是数据同步的目标端。
PauseSyncS：本节点是同步的源端节点，但同步过程当前被暂停。出现这种状态的原因可能是当前同步进程依赖于另一个同步进程完成，或者使用drbdadm pause-sync手动中断了同步操作。
PauseSyncT：本节点是同步的目标端，但同步过程当前被暂停。出现这种状态的原因可能是当前同步进程依赖于另一个同步进程完成，或者使用drbdadm pause-sync手动中断了同步操作。
VerifyS：正在进行在线设备验证，且本节点将成为验证的源端。
VerifyT：正在进行在线设备验证，且本节点将成为验证的目标端。
在drbd9中，WFConnection状态改为connecting状态。删除了WFReportParams状态。添加了以下几个同步相关的状态：

Off：该卷组还未同步，因为连接未建立。
Established：所有对该卷组的写操作已经在线完成同步。这是drbd正常运行时的状态。
Ahead：数据同步操作被挂起，因为网络套接字中达到了一定的堵塞程度，无法应付更多的负载。该状态需要配置"on-congestion"选项来启用。
Behind：对端将数据同步操作挂起，因为网络套接字中达到了一定的堵塞程度，无法应付更多的负载。该状态需要在对端节点上配置"on-congestion"选项来启用。

2.1 角色状态(roles,ro)
   资源的角色状态既可以从/proc/drbd文件中获取，也可以使用下面的命令来获取。

drbdadm role mysql
Secondary/Primary

drbdadm role image
Secondary/Primary

在角色状态信息中，本地节点总是标记在第一位，远程节点标记在结尾。

可能的节点角色状态有：

Primary：资源的primary角色，该角色状态下的drbd设备可以进行挂载、读、写等。在没有启用多主复制模型(dual-primary mode)，只能有一个primary节点。
Secondary：资源的secondary角色。该角色状态下的drbd设备会接收来自primary端的数据更新(除非和对端不是primary)。且该角色的drbd设备不可挂载、不可读、不可写。
Unknown：资源的角色未知。本地节点的角色状态绝对不可能会是这种状态。只有对端节点断开连接时对端节点才处于Unknown状态。

磁盘状态(disk state,ds)

磁盘的状态既可以从/proc/drbd文件中获取，也可以使用下面的命令来获取。

drbdadm dstate mysql
UpToDate/UpToDate

drbdadm dstate image
Diskless/UpToDate

在磁盘状态信息中，本地节点的磁盘状态总是标记在第一位，远程节点标记在结尾。这两端节点的状态信息都可能为以下值：

Diskless：没有为DRBD驱动分配底层块设备。这意味着资源可能从没有和它的底层块设备进行关联绑定(attach)，也可能是手动detach解除了关联，还可能是出现了底层IO错误时自动detach。
Attaching：读取元数据时的一个短暂的状态。
Failed：本地块设备故障时的一个短暂的状态，下一个状态是:Diskless。
Negotiating：在已连接的DRBD设备上还要进行Attach时的一个短暂的状态。
Inconsistent：数据不一致。在双方节点(还未进行全盘同步之前)刚创建新的资源时会立即进入此状态。在某一端(目标段)正接收同步数据时，也会进入不一致状态。
Outdated：资源的数据是一致的，但是数据过期了。(例如，已经同步后secondary下线了，之后又上线了，在还没开始重新同步的时候就是Outdated状态)
DUnknown：用于标识对端节点没有连接时的磁盘状态。
Consistent：连接断开时的数据处于一致性状态，当连接建立后，将决定数据是UpToDate还是Outdated状态。
UpToDate：资源的数据是一致的，且数据是最新的。这是drbd数据正常时的状态。2 m# N# L3 O$ Z% j4 Z

admin · 发表于 2023-12-21 11:27:06

IO状态标记

IO状态标记表示的是当前资源的IO操作状态。共有6种状态：

IO挂起：r或s都可能表示IO挂起，一般是r。r=running，s=suspended。
串行重新同步：资源正在等待进行重新同步，但被resync-after选项延迟了同步进度。该状态标记为"a"，通常该状态栏应该处于"-"。
对端初始化同步挂起：资源正在等待进行重新同步，但对端节点因为某些原因而IO挂起。该状态标记为"p"，通常该状态栏应该处于"-"。
本地初始化同步挂起：资源正在等待进行重新同步，但本节点因为某些原因而IO挂起。该状态标记为"u"，通常该状态栏应该处于"-"。
本地IO阻塞：通常该状态栏应该处于"-"。可能有以下几种标记：
- d：因为DRBD内部原因导致的IO阻塞。
- b：后端设备正处于IO阻塞。
- n：网络套接字阻塞。
- a：网络套接字和后端块设备同时处于阻塞状态。
  ]( V8 s. c: X* [) \6 C
Activity Log更新挂起：当al更新被挂起时，处于该状态，标记为"s"，通常该状态栏应该处于"-"。(如果不知道什么是Active Log，请无视本标记)
& B) g5 v: L' w. d$ U; E Z

admin · 发表于 2023-12-21 11:27:44

性能指标

主要是一些计数器和计量器的值。

请结合drbd原理图进行理解：

drbd84中使用缩写符号来标记性能指标，而drbd9中使用全称来表示。例如drbd84中的ns和drbd9中的send是同一个意思。

ns/send (network send)：通过网络连接发送给对端的数据量，单位为Kb。
nr/receive (network receive)：通过网络连接接收到对端发送来的数据量，单位为Kb。
dw/written (disk write)：该卷(volume)写入本地磁盘的数据量，单位为Kb。
dr/read (disk read)：该卷(volume)从本地磁盘读取的数据量，单位为Kb。
al/al-writes (activity log)：元数据区中al更新的次数。
bm/bm-writes (bit map)：元数据区中bitmap更新的次数。
lo/lower-pending (local count)：DRBD发起的打开本地IO子系统的请求次数。
pe/pending (pending)：本地发送给对端但却没有回复的次数。
ua/unacked (unacknowledged)：接收到对端发送的请求但却没有给予回复的请求数量。
ap/upper-pending (application pending)：转发给DRBD的IO块的请求，但DRBD还没给予回复的请求数量。
ep (epochs):epoch对象的数量。通常为1。drbd9中没有该指标。
wo/write-ordering (write order):当前正在使用的write order方法：b(barrier), f(flush), d(drain)或n(none)。
oos/out-of-sync (out of sync):当前不同步的数据量，单位为Kb。' T0 \2 G: _5 C2 @) c

上面所有"未给予回复"的指标数量都表示动作还未完成，需要回复后才表示操作完成。这些未回复数值不能太大。

此外，drbd9中添加了以下几个指标：

resync-suspended：重新同步操作当前是否被挂起。可能的值为no/user/peer/dependency。
blocked：本地IO的拥挤情况。
- no：本地IO不拥挤。
- upper：DRBD层之上的IO被阻塞。例如到文件系统上的IO阻塞。可能有以下几种原因：
  - 管理员使用drbdadm suspend-io命令挂起了IO操作。
  - 短暂的IO阻塞，例如attach/detach导致的。
  - 删除了缓冲区。
  - bitmap的IO等待。
    1 B/ K; z, }$ R0 C; A( [
- lower：底层设备处于拥挤状态。
  ! M/ g, {6 A9 T7 n1 o5 ~& W
+ w' d4 ?" ]- \) M7 I8 H

admin · 发表于 2023-12-21 11:30:55

crm status
Last updated: Thu Dec 21 03:30:22 2023
Last change: Wed Dec 20 09:30:19 2023 via crm_attribute on cucloud002
Stack: classic openais (with plugin)
Current DC: cucloud001 - partition with quorum
Version: 1.1.10-14.el6_5.2-368c726
2 Nodes configured, 3 expected votes
21 Resources configured

Node cucloud002: standby
Online: [ cucloud001 ]

Master/Slave Set: ms_drbd_1 [res_drbd_drbd_mysql]
   Masters: [ cucloud001 ]
   Stopped: [ cucloud002 ]
Master/Slave Set: ms_drbd_1_2 [res_drbd_drbd_image]
   Masters: [ cucloud001 ]
   Stopped: [ cucloud002 ]
Resource Group: openstack_g
   fs_glance       (ocf::heartbeat:Filesystem):       Started cucloud001
   fs_mysql       (ocf::heartbeat:Filesystem):       Started cucloud001
   mysqld       (lsb:mysqld):       Started cucloud001
   ip_openstack       (ocf::heartbeat:IPaddr2):       Started cucloud001
   openstack_keystone       (ocf:: openstack:keystone):       Started cucloud001
   op-glance-reg       (ocf:: openstack:glance-registry):       Started cucloud001
   op-glance-api       (lsb: openstack-glance-api):       Started cucloud001
   op-quantum       (ocf:: openstack:quantum-server):       Started cucloud001
   openstack-nova-conductor       (ocf:: openstack:nova-conductor):       Started cucloud001
   openstack-nova-consoleauth       (ocf:: openstack:nova-consoleauth):       Started cucloud001
   openstack-nova-scheduler       (ocf:: openstack:nova-scheduler):       Started cucloud001
   openstack-nova-api       (ocf:: openstack:nova-api):       Started cucloud001
Resource Group: others_g
   ip_others       (ocf::heartbeat:IPaddr2):       Started cucloud001
   qpidd       (lsb:qpidd):       Started cucloud001
   qrj-keystonedb       (ocf::qrj:qrj_clean_keystonedb):       Started cucloud001
ntpd       (lsb:ntpd):       Started cucloud001

Failed actions:
res_drbd_drbd_image_start_0 on cucloud002 'unknown error' (1): call=14958, status=complete, last-rc-change='Wed Dec 20 09:18:22 2023', queued=1133ms, exec=0ms

admin · 发表于 2023-12-21 23:11:10

1、配置文件介绍

drbd的主配置文件为/etc/drbd.conf；为了管理的便捷性，目前通常会将些配置文件分成多个部分，且都保存至/etc/drbd.d目录中，主配置文件中仅使用"include"指令将这些配置文件片断整合起来。通常，/etc/drbd.d目录中的配置文件为global_common.conf和所有以.res结尾的文件。其中global_common.conf中主要定义global段和common段，而每一个.res的文件用于定义一个资源。

在配置文件中，global段仅能出现一次，且如果所有的配置信息都保存至同一个配置文件中而不分开为多个文件的话，global段必须位于配置文件的最开始处。目前global段中可以定义的参数仅有minor-count, dialog-refresh, disable-ip-verification和usage-count。

common段则用于定义被每一个资源默认继承的参数，可以在资源定义中使用的参数都可以在common段中定义。实际应用中，common段并非必须，但建议将多个资源共享的参数定义为common段中的参数以降低配置文件的复杂度。

resource段则用于定义drbd资源，每个资源通常定义在一个单独的位于/etc/drbd.d目录中的以.res结尾的文件中。资源在定义时必须为其命名，名字可以由非空白的ASCII字符组成。每一个资源段的定义中至少要包含两个host子段，以定义此资源关联至的节点，其它参数均可以从common段或drbd的默认中进行继承而无须定义。

以下是我的配置事例：

#cat /etc/drbd.d/global-common.conf

global {
      usage-count no;
      # minor-count dialog-refresh disable-ip-verification
}
common {
      protocol C;
      handlers {
            pri-on-incon-degr "/usr/lib/drbd/notify-pri-on-incon-degr.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
            pri-lost-after-sb "/usr/lib/drbd/notify-pri-lost-after-sb.sh; /usr/lib/drbd/notify-emergency-reboot.sh; echo b > /proc/sysrq-trigger ; reboot -f";
            local-io-error "/usr/lib/drbd/notify-io-error.sh; /usr/lib/drbd/notify-emergency-shutdown.sh; echo o > /proc/sysrq-trigger ; halt -f";
            # fence-peer "/usr/lib/drbd/crm-fence-peer.sh";
            # split-brain "/usr/lib/drbd/notify-split-brain.sh root";
            # out-of-sync "/usr/lib/drbd/notify-out-of-sync.sh root";
            # before-resync-target "/usr/lib/drbd/snapshot-resync-target-lvm.sh -p 15 -- -c 16k";
            # after-resync-target /usr/lib/drbd/unsnapshot-resync-target-lvm.sh;
      }
      startup {
            #wfc-timeout 120;
            #degr-wfc-timeout 120;
      }
      disk {
            on-io-error detach;
            #fencing resource-only;
      }
      net {
            cram-hmac-alg "sha1";
            shared-secret "mydrbd";
      }
      syncer {
            rate 1000M;
      }
}
2、定义一个资源/etc/drbd.d/web.res，内容如下：

resource web {
  on node1.wzlinux.com {
device /dev/drbd0;
disk    /dev/sdb;
address 192.168.0.10:7789;
meta-disk internal;
  }
  on node2.wzlinux.com {
device /dev/drbd0;
disk    /dev/sdb;
address 192.168.0.11:7789;
meta-disk internal;
  }
}
注：以上配置在两个节点上必须相同

四、drbd启动和查看

1、初始化资源

在Node1和Node2上分别执行：

# drbdadm create-md web

wKiom1Zuaaezfc2oAABvnsE2UA0970.jpg

2、启动服务

在Node1和Node2上分别执行：

# service drbd start

wKiom1Zuad-yY6IVAAA5oMSEnj0629.jpg

3、查看启动状态

cat  /proc/drbd       #或者直接使用命令drbd-overview
wKiom1ZubITTPfQFAABtRuKmbw0960.jpg

从上面的信息中可以看出此时两个节点均处于Secondary状态。于是，我们接下来需要将其中一个节点设置为Primary。在要设置为Primary的节点上执行如下命令：

drbdadm primary --force web
然后我们再去查看状态，可以看到数据在同步中。

wKiom1Zub52A0x25AACE9DA7R5s955.jpg

注：也可以在要设置为Primary的节点上使用如下命令来设置主节点：

   # drbdadm -- --overwrite-data-of-peer primary web

等数据同步完成以后再次查看状态，可以发现节点已经牌实时状态，且节点已经有了主次：

wKioL1ZucCri9IWoAABunqEsX6c581.jpg

4、创建文件系统

文件系统的挂载只能在Primary节点进行，因此，也只有在设置了主节点后才能对drbd设备进行格式化：

mkfs.ext4 /dev/drbd0
mount  /dev/drbd0  /var/www/html
wKioL1ZucXTzM6dgAABh9dm3wdc516.jpg

5、切换Primary和Secondary节点

对主Primary/Secondary模型的drbd服务来讲，在某个时刻只能有一个节点为Primary，因此，要切换两个节点的角色，只能在先将原有的Primary节点设置为Secondary后，才能原来的Secondary节点设置为Primary:

Node1:

cp  /etc/fstab  /var/www/html/       #复制一个测试文件
umount  /var/www/html
drbdadm secondary web             #设定为备节点
查看状态：

# drbd-overview
  0:web  Connected Secondary/Secondary  UpToDate/UpToDate  C r----
Node2:

drbdadm primary web          #提升为主节点
drbd-overview                #查看状态是否提升成功
mount  /dev/drbd0  /var/www/html #挂载文件
使用下面的命令查看在此前在主节点上复制至此设备的文件是否存在：

      1

ll /var/www/html/
wKiom1Zuc0Cgl5JqAAAw2zqGE2k492.jpg

到目前为止WEB服务的数据可以实现实时同步，只要把WEB服务搭建起来就可以直接使用了，非常方便。

		自动登录	找回密码
密码			注册

关于drbd的状态使用说明

浏览过的版块