ceph rbd map failed

admin

探索 kernel RBD map 失败的问题。
8 n7 V& X# u, ^/ G/ n3 H( \场景
/ B3 L) E0 X- q) s' h2 X6 V3 w搭完 rbd mirror后，想通过client往image里写一些数据，所以在client端map rbd设备，结果失败了。
7 K: D+ n* H+ N7 Brbd mirror的image 需要两个属性：exclusive-lock, journaling
' {- M1 a; |' @* p. Q: j原因
: R% U* p% {' T; o查看rbd image info

' f; w7 O4 h9 V% ~/ B* K3 c/ D# rbd info rbd/image-1
$ O; f2 i# x. Z" Crbd image 'image-1':
size 1024 MB in 256 objects
+ _8 l8 @7 Y" E& ?7 n0 a* u order 22 (4096 kB objects)
9 I- q, O$ ]/ `6 P9 E7 o6 Y block_name_prefix: rbd_data.108b238e1f29
! m3 o9 M: k' m: Q+ y format: 2
features: exclusive-lock, journaling
flags:
journal: 108b238e1f29
! k/ F' R8 M; A8 P2 I mirroring state: enabled
mirroring global id: c603d9dc-6f8d-49e0-ab68-5944d348e527
4 O) `2 a( S* _+ G" l mirroring primary: true
输出
* y2 C& z2 P5 ~' v. u+ |
# rbd map rbd/image-1
rbd: sysfs write failed
& ?2 d8 z: A! g2 ]RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
In some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address
* a! w- G* B) O# F2 r然后dmesg看一下

' [9 g( X$ M( O# dmesg | tail
$ U, X# Z8 ]+ B6 K& K6 N5 {[   64.808315] rbd: loaded (major 251)
2 m1 q* p1 B2 f& V0 ?' Y% S& y2 |[   64.818369] libceph: mon2 172.20.2.160:6789 session established
[   64.819187] libceph: client14167 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
[   64.836328] rbd: image image-1: image uses unsupported features: 0x40
3 b0 l) a" s2 _# A3 k0 v[  443.658569] libceph: mon1 172.20.2.161:6789 session established
) l; J0 ^* Z" g9 H[  443.659143] libceph: client4313 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
: ]# `8 K4 {( H! M3 J[  443.683178] rbd: rbd0: capacity 10737418240 features 0x1
[  978.502132] rbd: image image-1: image uses unsupported features: 0x40
3 \+ Z' K8 ?" a# X. t+ y4 W8 @8 J错误原因
image uses unsupported features: 0x40
! a( h3 j7 d9 i4 A/ w不支持特性 0x40 = 64，也就是不支持特性 journaling
关于内核支持的特性分析
查看内核版本

5 `0 r8 `2 G. b. Z# M5 K$ Q; N# uname -r
' S2 s3 R% N9 V2 [0 ^+ w3.10.0-327.el7.x86_64
根据查阅资料和实践，发现：
CentOS的3.10内核仅支持其中的layering 和 exclusive-lock，其他feature概不支持
内核4.6仍然只支持：layering、exclusive-lock和 striping 属性

0 i% n- O$ _/ v2 b, n# rbd info rbd/test-map
3 }; t0 G  y/ z0 R3 H  prbd image 'test-map':
1 d# j; I/ x; t9 c+ A! c) t& M size 512 MB in 128 objects
9 t1 X+ t+ c  Z1 g; I order 22 (4096 kB objects)
block_name_prefix: rbd_data.10ca238e1f29
5 D0 n; Y3 h$ j format: 2
- q; _, A' r. n. t) D0 g features: layering, exclusive-lock
flags:
map

7 B" s, b+ X7 `1 ^! @, c/ d+ X: w# rbd map rbd/test-map
/dev/rbd1
此时可以map成功。
RBD特性解析
  J/ d3 y9 a$ k) r0 h& x特性一览表
RBD支持的特性，及具体BIT值的计算如下
3 O+ i( O, n3 }属性 功能 BIT码
# ^! L& I9 _; }& L/ Q& Q6 Dlayering 支持分层 1
striping 支持条带化 v2 2
7 p) y2 o) I, N9 Bexclusive-lock 支持独占锁 4
object-map 支持对象映射（依赖 exclusive-lock ） 8
fast-diff 快速计算差异（依赖 object-map ） 16
, D! i. u; \5 A- C  {+ Z1 Vdeep-flatten 支持快照扁平化操作 32
journaling 支持记录 IO 操作（依赖独占锁） 64
ceph kraken版本默认属性值
2 A' s/ S, x# p! c" ^5 d) T5 |0 u# [
# ceph --show-config|grep rbd|grep features
) Z9 Z. Z* Q) c8 Orbd_default_features = 61
' X- I+ y+ ^# @6 y' r7 z" \  d为啥是61？我们创建一个默认配置的rbd看看
  S+ T9 X# |8 K$ G. b! B
# rbd create test-feature --size 64
2 O1 h5 F9 G6 o& x# rbd info rbd/test-feature
rbd image 'test-feature':
size 65536 kB in 16 objects
% P4 ^# g  C( e4 P order 22 (4096 kB objects)
! |! @. z3 w8 T1 U( Z block_name_prefix: rbd_data.107d238e1f29
* g" k8 w- p* P  [- h; R format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
# q$ X  H) T: l# ?* u flags:
1+4+8+16+32 = 61
, Z# R# ~% a$ E% \& @2 k就是说除了特性：striping 和 journaling 外都开启了。
7 v2 S% m) x+ Q7 O* e: |2 O控制属性
7 R. ~' C0 c3 I6 x& V有三种方法来开启需要的特性
1、在创建image时，通过 --image-feature 来指定需要开启的特性
2、对已存在的image可以通过如下命令开启和关闭
1
0 A4 N) v" [% Z& [' n/ n  C0 }2
rbd feature enable <pool-name>/<image-name> <feature-name>
rbd feature disable <pool-name>/<image-name> <feature-name>
3、当然，每次通过enable和disable来不是很便捷，可以通过修改配置文件来解决
1
2
+ g8 q* ?. g  C6 @" V) D% z7 A3
4
vim /etc/ceph/ceph.conf
% t5 ^2 R/ `5 p7 r. n8 h2 q4 q...
rbd_default_features = 1
...
具体该设为多少可以通过上面BIT值查表计算得出。