ceph rbd map failed

admin

探索 kernel RBD map 失败的问题。
& H# _# s  Y/ |+ M/ |2 x场景
% d0 G0 K$ `1 c4 y( V3 L6 S8 f搭完 rbd mirror后，想通过client往image里写一些数据，所以在client端map rbd设备，结果失败了。
* u6 o6 A/ W/ J2 z8 jrbd mirror的image 需要两个属性：exclusive-lock, journaling
1 f  ~' w, i( N$ K/ I原因
查看rbd image info
( u( u5 f& K# O) D) u6 s
: J3 k2 S# P1 Q3 ]7 T: O# rbd info rbd/image-1
5 X5 Q- s2 z1 c1 g7 m% u- G- X; W& [rbd image 'image-1':
size 1024 MB in 256 objects
order 22 (4096 kB objects)
' V7 _8 @3 A1 @4 I6 c block_name_prefix: rbd_data.108b238e1f29
# y1 X0 C" x1 { format: 2
features: exclusive-lock, journaling
% `5 ^, j3 H* v: Q- ^& v" m flags:
journal: 108b238e1f29
5 h: B' T0 p  h* ^ mirroring state: enabled
mirroring global id: c603d9dc-6f8d-49e0-ab68-5944d348e527
mirroring primary: true
6 S* _3 D& d4 S! I' }$ X$ O输出
7 ]+ [8 e& s, }( ~1 N  {4 R
# rbd map rbd/image-1
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address
) P: w) v2 U0 ^* G2 }然后dmesg看一下

# dmesg | tail
# k5 e: W% p; f' L4 o[   64.808315] rbd: loaded (major 251)
[   64.818369] libceph: mon2 172.20.2.160:6789 session established
8 k% M$ \9 t5 J' _7 [) s6 L: S( R* @[   64.819187] libceph: client14167 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
[   64.836328] rbd: image image-1: image uses unsupported features: 0x40
5 d% b* O  B2 {[  443.658569] libceph: mon1 172.20.2.161:6789 session established
+ C) Y1 B8 v4 U- W9 n5 Z[  443.659143] libceph: client4313 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
4 d& G# C& x1 D  x& z0 j[  443.683178] rbd: rbd0: capacity 10737418240 features 0x1
[  978.502132] rbd: image image-1: image uses unsupported features: 0x40
1 J: a/ j; w$ ?% S错误原因
image uses unsupported features: 0x40
( k, n- V! m* r3 f8 ]. A% R不支持特性 0x40 = 64，也就是不支持特性 journaling
. \; L3 p* r  C* s: c' Q关于内核支持的特性分析
查看内核版本
" p4 H6 o8 [& z; G9 ^$ C
* X* m  A4 D; }" X, m# uname -r
, n. p& Y- ?% d$ }3.10.0-327.el7.x86_64
, |8 P( V! k3 b" h% X$ Z9 v2 z根据查阅资料和实践，发现：
  z9 S6 ?! z' y/ b0 DCentOS的3.10内核仅支持其中的layering 和 exclusive-lock，其他feature概不支持
内核4.6仍然只支持：layering、exclusive-lock和 striping 属性
' k! n9 w  R, a5 C
- t# ]- e( b( V! x  j# rbd info rbd/test-map
rbd image 'test-map':
5 D$ s9 n  Y. M$ N5 R  ` size 512 MB in 128 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.10ca238e1f29
format: 2
4 d7 g/ o7 s- C6 `* C7 q# B features: layering, exclusive-lock
flags:
% E* t0 u9 j6 x, C7 qmap
  }9 j/ ~# `# b" ]) {  D
# rbd map rbd/test-map
/dev/rbd1
此时可以map成功。
RBD特性解析
- E) I( D9 S0 `5 ?特性一览表
5 p; ^$ B* ]4 h1 YRBD支持的特性，及具体BIT值的计算如下
属性 功能 BIT码
' X! w4 V, v; dlayering 支持分层 1
striping 支持条带化 v2 2
exclusive-lock 支持独占锁 4
object-map 支持对象映射（依赖 exclusive-lock ） 8
' ~% I9 b; I1 ~9 A) x: Sfast-diff 快速计算差异（依赖 object-map ） 16
5 Z" J  [) K9 p1 J1 s' l) Kdeep-flatten 支持快照扁平化操作 32
/ W8 h' D4 Q# Ejournaling 支持记录 IO 操作（依赖独占锁） 64
ceph kraken版本默认属性值

* P* X/ W$ B% H! q' V. b0 @# ceph --show-config|grep rbd|grep features
rbd_default_features = 61
为啥是61？我们创建一个默认配置的rbd看看

# rbd create test-feature --size 64
# rbd info rbd/test-feature
* V7 m8 m  D% `0 U: l+ P: j. Frbd image 'test-feature':
) w3 o5 R. f' s2 @ size 65536 kB in 16 objects
  Y+ O. ?2 v3 x order 22 (4096 kB objects)
; ]- Z: E' l) O: q* h7 J  _2 b- I block_name_prefix: rbd_data.107d238e1f29
) {" j9 ]5 a/ `$ X7 G format: 2
2 v9 g, Q9 V* c4 R features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
/ P1 W- L# y, h+ M# d7 A flags:
; M* b; |3 r3 Z  v1 r0 @! c1+4+8+16+32 = 61
就是说除了特性：striping 和 journaling 外都开启了。
& V9 v& X" ]6 R8 `' n2 z. n  ?控制属性
3 p% n5 A( o: q. Y. x有三种方法来开启需要的特性
- x* d( N) t2 l' X2 r1 O, s- D1、在创建image时，通过 --image-feature 来指定需要开启的特性
2、对已存在的image可以通过如下命令开启和关闭
# @" J( X8 v8 y" v1
' s4 g+ y2 k( Q! J, S# c2
rbd feature enable <pool-name>/<image-name> <feature-name>
! q8 W& r9 E, ?% C  Mrbd feature disable <pool-name>/<image-name> <feature-name>
3、当然，每次通过enable和disable来不是很便捷，可以通过修改配置文件来解决
1
2
3
$ [: x7 o- ^& I. Y: N4
7 K+ ]) W$ |1 v, nvim /etc/ceph/ceph.conf
...
rbd_default_features = 1
...
+ T9 W2 q' L$ P( s1 a" A具体该设为多少可以通过上面BIT值查表计算得出。