ceph rbd map failed

admin

探索 kernel RBD map 失败的问题。
场景
0 l- _3 l7 x7 b$ U6 g/ c搭完 rbd mirror后，想通过client往image里写一些数据，所以在client端map rbd设备，结果失败了。
rbd mirror的image 需要两个属性：exclusive-lock, journaling
2 ^: M. {; H, Y3 d原因
. C; y8 [7 O7 C6 i4 ^2 }6 o查看rbd image info

0 U$ L! ?( N7 q# rbd info rbd/image-1
$ _. ^* @: W. f4 Crbd image 'image-1':
, G" ]% H$ V+ ~) C6 g size 1024 MB in 256 objects
order 22 (4096 kB objects)
) I' q* V% D% B6 C block_name_prefix: rbd_data.108b238e1f29
7 v- e1 t7 [& S8 O format: 2
0 s$ @4 i3 Z. T" o, D* E$ y+ } features: exclusive-lock, journaling
flags:
journal: 108b238e1f29
# J$ v( C( R) w$ i2 l) S mirroring state: enabled
mirroring global id: c603d9dc-6f8d-49e0-ab68-5944d348e527
  U7 D* @$ L* c mirroring primary: true
- W  N) H0 g8 u; h5 a/ N6 f输出
9 g8 G; q3 x" H' ?1 ^
# rbd map rbd/image-1
rbd: sysfs write failed
4 p; ]" C9 p3 Q4 g1 n  W8 N& gRBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
' g! P4 L% C4 O6 t2 _In some cases useful info is found in syslog - try "dmesg | tail" or so.
" w% X$ c# e, J' l1 M& Frbd: map failed: (6) No such device or address
, m8 |. h! k% R0 O然后dmesg看一下

9 m/ u& d$ b, k* V+ v- r# dmesg | tail
[   64.808315] rbd: loaded (major 251)
[   64.818369] libceph: mon2 172.20.2.160:6789 session established
[   64.819187] libceph: client14167 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
[   64.836328] rbd: image image-1: image uses unsupported features: 0x40
: L) v( p  |/ N# l  H0 X; R[  443.658569] libceph: mon1 172.20.2.161:6789 session established
[  443.659143] libceph: client4313 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
[  443.683178] rbd: rbd0: capacity 10737418240 features 0x1
[  978.502132] rbd: image image-1: image uses unsupported features: 0x40
6 v/ C0 U- q9 G1 v& D6 H$ V9 b: v错误原因
5 [; h  z9 {! Y5 ?2 Vimage uses unsupported features: 0x40
/ t) J/ J" B3 d) V* o( x不支持特性 0x40 = 64，也就是不支持特性 journaling
& [8 d: U5 \! y+ h0 k关于内核支持的特性分析
查看内核版本
9 s" }  g- s/ V2 H- |+ O
# uname -r
3.10.0-327.el7.x86_64
根据查阅资料和实践，发现：
CentOS的3.10内核仅支持其中的layering 和 exclusive-lock，其他feature概不支持
内核4.6仍然只支持：layering、exclusive-lock和 striping 属性
6 d6 i* X- Q$ \1 J1 @
# rbd info rbd/test-map
; {1 A& ~7 B$ M. X- brbd image 'test-map':
size 512 MB in 128 objects
; z* f' F- ^0 {0 L: A( Q order 22 (4096 kB objects)
; t, w, |& V! H6 C7 j block_name_prefix: rbd_data.10ca238e1f29
format: 2
6 @3 g8 e  K/ y, v# ?- K. c% R features: layering, exclusive-lock
1 U& i' I7 Q0 w: z6 m flags:
map

# rbd map rbd/test-map
/dev/rbd1
) d% c! h; ]$ \; T此时可以map成功。
RBD特性解析
特性一览表
3 ]7 P2 D+ I7 Y" ^1 |$ y* RRBD支持的特性，及具体BIT值的计算如下
属性 功能 BIT码
layering 支持分层 1
striping 支持条带化 v2 2
- H5 t: I4 f, y2 d8 kexclusive-lock 支持独占锁 4
object-map 支持对象映射（依赖 exclusive-lock ） 8
fast-diff 快速计算差异（依赖 object-map ） 16
+ f2 C! a- V2 v- b, J; rdeep-flatten 支持快照扁平化操作 32
+ L3 R  z/ o  n$ Qjournaling 支持记录 IO 操作（依赖独占锁） 64
' R' x1 [; b; b& F9 x2 Q- vceph kraken版本默认属性值

6 m" W, K( {/ v7 w3 A) ^+ S# ceph --show-config|grep rbd|grep features
+ B8 y/ M- Q7 Trbd_default_features = 61
; `% M* u- t8 @/ p4 x' W9 x为啥是61？我们创建一个默认配置的rbd看看
$ O; g6 M& b3 x8 }; N/ H
4 r, @" i- a- b; a6 t# rbd create test-feature --size 64
. K- [) z' Q( @+ ^! o* x$ ?# rbd info rbd/test-feature
rbd image 'test-feature':
size 65536 kB in 16 objects
. D* }9 \* [" D# I0 ], D3 K order 22 (4096 kB objects)
block_name_prefix: rbd_data.107d238e1f29
format: 2
7 [# h& D7 C( u9 H3 d features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
flags:
: @. q$ i4 ~; p3 ?$ ^1+4+8+16+32 = 61
) k6 m# }8 i" B就是说除了特性：striping 和 journaling 外都开启了。
控制属性
有三种方法来开启需要的特性
1、在创建image时，通过 --image-feature 来指定需要开启的特性
2、对已存在的image可以通过如下命令开启和关闭
+ W1 \; b9 `- c# A& D* z1
2
rbd feature enable <pool-name>/<image-name> <feature-name>
rbd feature disable <pool-name>/<image-name> <feature-name>
/ t+ S& u1 ^8 y4 [3 [& u3、当然，每次通过enable和disable来不是很便捷，可以通过修改配置文件来解决
. N' _+ O& p8 m8 ?2 i1 ~+ g1
2
; F9 m1 c" H% r1 W" j1 u3
4
vim /etc/ceph/ceph.conf
/ O7 M+ c0 d( w$ w1 T5 V...
) W- V' _& y0 Jrbd_default_features = 1
& h7 n) F& O5 t5 b$ @5 N! D...
具体该设为多少可以通过上面BIT值查表计算得出。