Ceph灾备-RBD Mirror：Ceph学习系列

admin

RBD Mirror

1 \0 |( ~5 u' Q( G0 k& B7 p红帽  Ceph 存储支持两个存储集群之间的RBD mirror功能。这样，您可以将 RBD 从一个红帽  Ceph 存储集群自动复制到另一个远程集群。这种机制会利用异步方式，通过网络来镜像来源（主要）RBD 镜像和目标（次要）RBD 镜像。如果包含主要 RBD 镜像的集群变得不可用，您可以故障转移到远程集群的次要 RBD 镜像，并且重新启动使用它的应用。

从来源 RBD 镜像故障转移到镜像的 RBD 镜像时，您必须降级来源 RBD 镜像并升级目标 RBD 镜像。当镜像被降级后，它变为锁定且不可用的状态。当镜像被升级后，它变为可用状态，可以在读写模式中访问。

RBD 镜像功能要求 rbd-mirror 软件包。该软件包需要安装到能够通过网络访问从属于镜像关系的两个集群的服务器上，而且每个红帽  Ceph 存储集群必须至少配置一个镜像代理。

您可以使用 ceph-ansible 软件包中的 Ansible Playbook 部署 RBD 镜像功能。您需要将应该运行 RBD 镜像代理的主机的名称添加到清单文件中的 rbd-mirrors 主机组，并且配置 group_vars/rbd-mirrors.yml 组变量文件。

RBD 镜像功能需要参与复制流程的所有 RBD 镜像启用 journalling 功能。这需要 RBD 镜像格式 2，红帽  Ceph 存储 2.0 及更高版本支持这种格式。
  z* `5 I9 t8 z% a
& s% D5 ~5 w+ J8 {* T# ?( b7 r* ?
3 H6 Z9 g4 C$ r  ?
; N  Z7 {9 Y( K: D& E访问被镜像的 RBD 镜像的客户端也需要支持这一功能。因此，使用 krbd 客户端访问的 RBD 镜像不能使用 RBD mirror功能。

& z( T, v# E0 R
' T0 I1 M" f% l% p. V/ ~
6 y5 }. }: ~3 _" u1 H# N* E受支持的镜像配置

RBD 镜像功能支持两种配置：

# ^, M; P, P& V* S8 p3 X单向镜像或主动-被动

双向镜像或主动-主动
) Z1 ^: P' n* W) H( P
0 H/ K4 r0 p. ~( n7 W/ V在单向模式中，一个集群的 RBD 镜像可以读写模式访问，远程集群中仅包含镜像。镜像代理仅在远程集群上运行。这种模式可以支持配置多个次要集群。
# \( s; S7 Y2 `& A
在双向模式中，来源与目标对（主要与次要）进行了同步。每种类型都可以在镜像关系的任一集群中运行。此模式仅允许在两个集群之间进行复制，而且必须在每个集群上配置镜像代理。
  B( X) ^' @+ Q/ n8 w. E! P
7 d3 _: g. e4 j& `受支持的镜像模式
/ C: O: j4 u- F' W; d7 h
RBD 镜像功能可以配置为：
# U1 r$ B4 T" T
. K) X; ]" N; p/ d; a/ i! ~/ X池模式
3 n$ g$ x$ Q$ C
镜像模式
" ]: j1 e8 w& B' Y8 G
在池模式中，自动为被镜像池中创建的每一个 RBD 镜像启用镜像功能。当来源集群上的池中创建了镜像时，远程集群中会自动创建次要镜像。
7 A! Y7 h/ d7 S
在镜像模式中，必须逐一为各个 RBD 镜像启用镜像功能。在这种模式中，您必须显式选择要在两个集群之间复制的 RBD 镜像。

* _4 D* x  }+ U$ k

  z. m( [" b/ u
3 E  l; L% p$ Q9 z! d6 `
: J% V* M" h5 h! R& W, w

配置 RBD 镜像功能

6 e. W# G% `4 V4 ]5 W在配置 RBD 镜像功能时，您需要在各个集群上配置节点，使其含有两个集群的配置文件。通常，集群节点仅配置关于其自己集群的信息，默认称为 ceph，而这个集群的配置文件则称为 /etc/ceph/ceph.conf。
1 K# h: n! d$ R0 `) E4 n
例如，您可以将生产集群命名为 prod，远程备用集群命名为 backup。您需要将 prod 集群的 /etc/ceph/ceph.conf 文件重命名为 /etc/ceph/prod.conf，并将它复制到两个集群的所有节点。类似地，您需要将 backup 集群的 /etc/ceph/ceph.conf 文件重命名为 /etc/ceph/backup.conf，并将它复制到两个集群的所有节点。如果您的集群配置了非默认名称，请记得其配置文件将不再是 /etc/ceph/ceph.conf。

$ \, I- ]" l& B
7 w; o. x8 l+ N5 C: X

/ `  X' P6 ?$ p' o: Q: [* v5 ?0 M
3 p, X# f0 l/ W% Z, v0 C; k逐步配置 RBD mirror

下表概述了在 prod 和 backup 这两个集群之间配置镜像功能所需的步骤：
4 u0 Q. U- l1 H& Q1 U
1.在 prod 集群上的 /etc/sysconfig/ceph 文件中修改 CLUSTER 参数，使其匹配 CLUSTER=prod。

/ r. s: p* {$ j6 n9 X在 backup 集群上的 /etc/sysconfig/ceph 文件中修改 CLUSTER 参数，使其匹配 CLUSTER=backup。

2.将 /etc/ceph/ceph.conf 文件从 prod 集群复制到 backup 集群，存为 /etc/ceph/prod.conf。

( e* p5 ^9 o8 ^% |" B- L. l, w3 Z将 /etc/ceph/ceph.conf 文件从 backup 集群复制到 prod 集群，存为 /etc/ceph/backup.conf。
- ]# M5 _; n! ?! k+ L
0 {" o9 ^  _) W3.在 prod 集群上，创建专用于 RBD 镜像功能的 cephx 用户，并为其配置对需要镜像的池的访问权限。
4 y3 m: V8 Z% U. _( _. i
仅双向模式：在 backup 集群上，创建专用于 RBD 镜像功能的 cephx 用户，并为其配置对需要镜像的池的访问权限。

) ?0 T: n. i4 _  E/ H* W; i4.复制 prod 集群的用户的 keyring（/etc/ceph/ceph.client.mirror.keyring 复制到 backup 集群，存为 /etc/ceph/prod.client.mirror.keyring）。
  C5 A% h- z- [( q+ U: `
5 r7 R: n/ ~  k2 y仅双向模式：复制 backup 集群的用户的 keyring（/etc/ceph/ceph.client.mirror.keyring 复制到 prod 集群，存为 /etc/ceph/backup.client.mirror.keyring）。

5.在 backup 集群上安装 rbd-mirror 软件包。

仅双向模式：在 prod 集群上安装 rbd-mirror 软件包。

6.在 backup 集群上，配置、启用并启动 rbd-mirror 服务。
, U* E5 @# y9 ?2 C2 `
! O& M3 Y( r6 Y/ {1 }9 S仅双向模式：在 prod 集群上，配置、启用并启动 rbd-mirror 服务。

7.在两个集群上，为所需的池启用 pool 或 image 模式的 RBD 镜像功能。
5 x$ M1 n1 L5 [% K
8.在 backup 集群上，将 prod 集群添加为对等集群。

& h. f( a$ W8 {4 e' ?  c仅双向模式：在 prod 集群上，将 backup 集群添加为对等集群。
  B6 q- v$ p9 t
1 |+ W4 P+ k6 X9 }! ^0 c

+ g, N2 r- l+ o' |! U如果配置单向 RBD 镜像功能，您不需要将配置和 keyring 文件从生产集群复制到远程集群。不过，它可以更轻松地管理被镜像的配置，因为在这之后，您可以从两个集群运行以任一集群为目标的命令。
' }' p+ Q$ K9 X# N9 @


单向池模式示例分步说明
4 l& i4 y1 H& c% B) T# F' t, i
: W6 e  G1 d, b5 M5 u: N1 c/ c本例中有两个集群 prod 和 bup，已更新了其中的 /etc/sysconfig/ceph 文件，也交叉复制了 Ceph 配置和 keyring 文件。由于这是测试，本例中将 client.admin 用于各个集群，而要镜像的是默认池 rbd。在开始这个过程之前，每个集群中必须存在用于存储 RBD 镜像的池的名称并且名称完全相同。
: R! o3 f) j0 T1 x7 ]9 K0 C
[ceph@server ~]$ yum -y install rbd-mirror
2 c' t8 t) \# l/ @4 c# B[ceph@server ~]$ systemctl enable ceph-rbd-mirror.target
2 f" w/ ^: w5 _7 i* D9 Z8 k[ceph@server ~]$ systemctl enable ceph-rbd-mirror@admin.service
[ceph@server ~]$ systemctl start ceph-rbd-mirror@admin.service
[ceph@server ~]$ rbd mirror pool enable rbd pool --cluster bup
[ceph@server ~]$ rbd mirror pool enable rbd pool --cluster prod
[ceph@server ~]$ rbd mirror pool status rbd --cluster bup
1 R+ _2 o9 G/ C& q  G5 i  @* Rhealth: OK
  g$ e, L& _2 j' B7 p0 E  \5 u$ Mimages:  0 total
* Q; L& w7 e% x4 `7 Z% I' p[ceph@server ~]$ rbd mirror pool status rbd --cluster prod
5 Z/ T$ p1 R* c* x+ O+ R' Chealth: OK
images:  0 total
[ceph@server ~]$ rbd mirror pool info rbd --cluster bup
Mode: pool
Peers:  none
% x5 p& c7 n! q; R  h[ceph@server ~]$ rbd mirror pool info rbd --cluster prod
Mode: pool
4 }. d" f  v6 z- BPeers:  none
[ceph@server ~]$ rbd mirror pool peer add rbd client.admin@prod --cluster bup
. |' L2 f  `1 B0 K9 P! l2ece79b9-34b7-42fe-add1-ea9d6a10deb7
[ceph@server ~]$ rbd mirror pool status rbd --cluster bup
: e$ _& `* P' ]" f/ n% hMode: pool
Peers:
7 ^& U( N& N% g& \& y3 Z; j  UUID:                                NAME CLIENT
$ u- e' N1 g$ }# K6 D5 n7 i  2ece79b9-34b7-42fe-add1-ea9d6a10deb7 prod client.admin
[ceph@server ~]$ rbd mirror pool status rbd --cluster prod
; Y0 H( m8 \  XMode: pool
Peers:  none
2 c8 `! A+ @$ Y[ceph@server ~]$ rbd  create rbd/prod1 --size=128M \
> --image-feature=exclusive-lock,journaling --cluster prod
[ceph@server ~]$ rbd -p rbd ls --cluster prod
& Q' o, f- z; {! C1 [7 Yprod1
[ceph@server ~]$ rbd -p rbd ls --cluster bup
prod1
. Y- n6 [+ P# k8 U3 Z+ S* T2 A& j
6 a- x3 f! f( ?0 z6 p
[ceph@server ~]$ rbd image status rbd/prod1 --cluster prod
: p+ R) P% ~, T" w0 q% F* gprod1:
' S- B9 A+ j5 `  T  global_id:   b15a1331-d935-4fc1-b6b3-c5e8e4518a5e
  state:       down+unknown
- }7 b8 d8 G$ A/ a1 x; n/ ~5 x  description: status not found
  last_update: 1969-12-31 16:00:00
[ceph@server ~]$ rbd image status rbd/prod1 --cluster bup
prod1:
) d( x! Z% D& x5 @# l/ D" `  global_id:   b15a1331-d935-4fc1-b6b3-c5e8e4518a5e
' O/ s8 h" }* m: z6 D; f  state:       up+replaying
  description: replaying, master_position=[object_number=3, tag_tid=1, entry_tid=3], mirror_position=[object_number=3, tag_tid=1, entry_tid=3], entries_behind_master=0
2 A+ X3 [% ]! W( A( }. R  last_update: 2017-06-22 15:08:21
* p) D' D1 a, ^# ~6 S# H* C; v3 Q
" N. ^* b/ U$ |; J8 f在单向模式中，来源集群不知道复制的状态。只有 RBD 镜像代理（在目标集群中）才会更新状态信息。

如果使用单向镜像功能，那么在故障转移到次要镜像后，没有办法自动故障恢复到原始的主要 RBD 镜像。这是因为，生产集群上没有运行 RBD 镜像代理。简化这一过程的唯一办法是使用双向镜像模式。

故障转移过程
$ i  w) z+ T; o% Y4 x6 s
如果主要 RBD 镜像变得不可用，您可以使用下列步骤来启用对次要 RBD 镜像的访问：
9 w! K1 a$ n: t$ e
停止访问主要 RBD 镜像。也就是说，停止使用该镜像的所有应用和虚拟机。
) n5 e0 d! u# W1 X
% {4 W- x" e2 T: m5 h+ ~使用 rbd mirror image demote pool-name/image-name 命令来降级主要 RBD 镜像。
5 l5 B8 f. m5 i. ^8 e
( z5 Y. Z: b( r- l% n使用 rbd mirror image promote pool-name/image-name 命令来升级次要 RBD 镜像。
2 x+ Y+ s  |8 l, P2 V# z8 `' o
( v' s2 j* ^1 G1 Q2 {. m恢复访问 RBD 镜像。重新启动应用和虚拟机。

9 l3 C2 N( H0 pRBD 镜像功能命令参考
) F. v' L: f' u: O, S5 v0 o红帽  Ceph 存储支持使用 rbd 命令进行 RBD 镜像：

RBD 镜像功能命令
8 K! U: y5 K5 f: O
+ Y# L9 L- w% w" w, Q! \. o# m启用 RBD 镜像功能
7 i+ i! I( P/ j4 ~8 M6 J5 `% [
% u+ J0 O5 h& rrbd mirror pool enable pool-name mirror-mode

禁用 RBD 镜像功能

3 B/ m1 c/ s' [9 qrbd mirror pool disable pool-name
# T; o; T% W% L& A+ ]7 m
  K4 ^5 G0 T- n. G% i! Z添加对等集群
, k3 h. U5 P" C
+ P, C0 z- C) L0 y4 Trbd mirror pool peer add pool-name client-name@cluster-name

$ J9 T8 ^, Z5 Q! g4 Y/ B# T1 X显示镜像信息
" b* C% Z" j$ N% T. i" t+ ?8 k
. L0 w* x: Q% z/ r% {# U+ orbd mirror pool info pool-name

删除对等集群
  x5 P( v$ R9 f# d7 K+ w
' y, f* u( o2 P( x* v% erbd mirror pool peer remove pool-name peer-uuid
/ g. W7 Q, _, U
! f2 \% @; m0 q6 W. y$ ]启用某项功能

rbd feature enable pool-name/image-name feature-name

禁用某项功能
1 r. @! F2 B5 E" F
rbd feature disable pool-name/image-name feature-name
+ o+ c! s. x( ^$ v2 E, Q, n
: t4 j! L8 s! `. @* H% D启用 RBD 镜像的镜像功能（镜像模式）

rbd mirror image enable pool-name/image-name

禁用 RBD 镜像的镜像功能（镜像模式）
6 O; v$ H: ^0 _. }: L1 p( _* k' `
& m, g3 p1 ]8 N  Crbd mirror image disable pool-name/image-name
, \8 `$ Y. H9 S0 `7 D1 E1 }6 E
3 g; ]* V* J$ |# L2 K  `8 a% y& @降级主要副本
4 K5 _. ~4 r2 ]* Q% ]8 E: {
rbd mirror image demote pool-name/image-name
# R9 D2 x3 L. |* Y  |
降级池中的所有主要副本

rbd mirror pool demote pool-name

升级次要副本

' w% l5 v5 s: q2 U! i5 o: m5 U9 Frbd mirror image promote pool-name/image-name

) W3 Y$ o) M, H8 t升级池中的所有次要副本

rbd mirror pool promote pool-name

' D  A, _- P% [$ N9 h3 d7 ?  S强制重新同步
5 L  i/ a6 z% a& ]3 O' x# s7 O- [
- ]1 @" f  X/ z2 ^: G6 prbd mirror image resync pool-name/image-name
* S; o8 L1 `; B2 Z
  U: Q: S" d9 c# a4 r+ wRBD 镜像的镜像状态
3 b+ _0 v# L/ j; e, ]- O
rbd mirror image status pool-name/image-name

$ `1 @  s9 A  }5 L# j1 A9 _) `  w! n0 Y4 V池的镜像状态

. Y+ ~( v3 ^( g, j% T1 jrbd mirror pool status pool-name
4 W4 K% X) z# x1 k% T
RBD 镜像日志命令
( T/ @: {1 @& Y" `9 w
7 R( O4 w' b( T# q7 Rrbd journal info pool-name/image-name

0 \6 F% B+ z( d3 U7 Erbd journal status pool-name/image-name

RBD 镜像日志检查

  _/ r9 C- X: H, f+ Srbd journal inspect pool-name/image-name
  U' g; ?5 Z& |+ u, h- y
% @, E4 }0 H. i7 k" P/ ^; e在损坏时重置和清理日志

rbd journal reset pool-name/image-name

6 G' r% |4 t. b( i* a" \: _