ceph rbd map failed

admin

探索 kernel RBD map 失败的问题。
场景
搭完 rbd mirror后，想通过client往image里写一些数据，所以在client端map rbd设备，结果失败了。
5 j& ]/ n  Q( ?6 U7 t. _rbd mirror的image 需要两个属性：exclusive-lock, journaling
原因
( i+ Y) V6 z; ^查看rbd image info
/ `) D" @  @/ v9 u6 w8 S9 C! w
) i3 x$ t1 {# p# rbd info rbd/image-1
% {4 w9 J$ G: L/ H; L" Hrbd image 'image-1':
: N6 m% s! k/ i  Z: E9 A size 1024 MB in 256 objects
0 k1 s' j1 ~. U7 X7 ?0 \ order 22 (4096 kB objects)
block_name_prefix: rbd_data.108b238e1f29
format: 2
features: exclusive-lock, journaling
flags:
journal: 108b238e1f29
mirroring state: enabled
mirroring global id: c603d9dc-6f8d-49e0-ab68-5944d348e527
/ [( w6 f) L- ^7 x: x mirroring primary: true
+ G* ?- ~+ ?: k( X7 c. w: w输出

( R' [  h4 I0 u. Q1 {# rbd map rbd/image-1
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
7 v' F1 o4 w# H+ zIn some cases useful info is found in syslog - try "dmesg | tail" or so.
, F8 `- V6 ~, z( T/ n5 m+ arbd: map failed: (6) No such device or address
( v7 F" x' G7 q, g4 @! [7 b然后dmesg看一下

# dmesg | tail
; {9 g4 r2 B9 X% o7 B4 x[   64.808315] rbd: loaded (major 251)
[   64.818369] libceph: mon2 172.20.2.160:6789 session established
[   64.819187] libceph: client14167 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
  w2 Z0 \' D7 q) O( c$ F; ^  J[   64.836328] rbd: image image-1: image uses unsupported features: 0x40
' b3 b; j7 _% J& W5 E[  443.658569] libceph: mon1 172.20.2.161:6789 session established
[  443.659143] libceph: client4313 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
[  443.683178] rbd: rbd0: capacity 10737418240 features 0x1
[  978.502132] rbd: image image-1: image uses unsupported features: 0x40
错误原因
+ R1 D; I3 _: T, L# q: ?) |5 x. Cimage uses unsupported features: 0x40
不支持特性 0x40 = 64，也就是不支持特性 journaling
关于内核支持的特性分析
查看内核版本
$ S: n) ~# G: E. T' M
# uname -r
, U  u2 a0 Z) N) P: m3.10.0-327.el7.x86_64
根据查阅资料和实践，发现：
4 ?$ p/ i- x0 b3 ~' V5 [% gCentOS的3.10内核仅支持其中的layering 和 exclusive-lock，其他feature概不支持
内核4.6仍然只支持：layering、exclusive-lock和 striping 属性
  I! D+ V7 ~8 l# {: a+ ~: G5 P
# rbd info rbd/test-map
rbd image 'test-map':
% v. X  _' s6 {% r1 l, l size 512 MB in 128 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.10ca238e1f29
' s4 Y/ S8 D. Q7 F  A% X" L format: 2
1 y# G2 q: u; h4 T# ]1 B' l# B0 ^6 u1 } features: layering, exclusive-lock
flags:
map
' d' _0 P: k# O. z8 Z
# rbd map rbd/test-map
/dev/rbd1
此时可以map成功。
RBD特性解析
特性一览表
RBD支持的特性，及具体BIT值的计算如下
属性 功能 BIT码
0 u9 i/ ~/ h; l5 d6 T  Hlayering 支持分层 1
striping 支持条带化 v2 2
9 u0 j# |9 ~: d/ \exclusive-lock 支持独占锁 4
$ U3 P6 A. l4 Q+ a$ Yobject-map 支持对象映射（依赖 exclusive-lock ） 8
9 Q. M# y0 O, ?; _0 s' {$ J# v+ B; \fast-diff 快速计算差异（依赖 object-map ） 16
deep-flatten 支持快照扁平化操作 32
journaling 支持记录 IO 操作（依赖独占锁） 64
" q$ R' R& J5 ~! H$ oceph kraken版本默认属性值

  q9 G( l! N# X. K# ceph --show-config|grep rbd|grep features
rbd_default_features = 61
( }% H7 ?9 L" ]8 D$ L为啥是61？我们创建一个默认配置的rbd看看

9 F; _8 u( F5 M/ H1 {6 o! B# rbd create test-feature --size 64
, C; D% z  J" G6 [7 W/ y. Z1 A# rbd info rbd/test-feature
$ K' t4 @. u6 g0 Nrbd image 'test-feature':
1 x6 e0 I6 V+ j5 v; t! S size 65536 kB in 16 objects
' m. A8 j5 n( B4 \7 G order 22 (4096 kB objects)
block_name_prefix: rbd_data.107d238e1f29
3 e' u. M1 {, x" s format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
+ E/ Y9 _. Y$ J' n4 l9 p+ Y flags:
1+4+8+16+32 = 61
就是说除了特性：striping 和 journaling 外都开启了。
5 o) t: C" S/ k. [: o- K控制属性
, \6 f+ t' s4 e1 s, ?" W有三种方法来开启需要的特性
1、在创建image时，通过 --image-feature 来指定需要开启的特性
* g' P9 `+ C) N: I2、对已存在的image可以通过如下命令开启和关闭
1
0 X6 E# T2 p* Q. [' A2
rbd feature enable <pool-name>/<image-name> <feature-name>
& H9 q0 \, O. ~/ mrbd feature disable <pool-name>/<image-name> <feature-name>
2 |, L$ |" |' _  @7 |! H" l3、当然，每次通过enable和disable来不是很便捷，可以通过修改配置文件来解决
1
( _2 A2 J2 D! c# a2
9 O8 ?$ C4 t# q3
4
  v# J1 L4 U3 s  V/ z# h" h2 F+ S- ~vim /etc/ceph/ceph.conf
...
* ]0 `/ s( t( T+ arbd_default_features = 1
...
具体该设为多少可以通过上面BIT值查表计算得出。