ceph rbd map failed

admin

探索 kernel RBD map 失败的问题。
场景
& U7 E( d/ `8 v- X; _% h搭完 rbd mirror后，想通过client往image里写一些数据，所以在client端map rbd设备，结果失败了。
* p5 ~+ @) ], a& grbd mirror的image 需要两个属性：exclusive-lock, journaling
( U+ O# K$ r. J原因
- m& x) ]  K5 Q' f- U' M4 {查看rbd image info
$ W% P( r: B% e6 `9 T; |, k
$ F. W5 E# @3 _. e* w! m  n, h# rbd info rbd/image-1
7 m9 L9 \( {) D3 Urbd image 'image-1':
* p5 i6 ]& X; v2 ~2 X+ C" l size 1024 MB in 256 objects
order 22 (4096 kB objects)
- W$ ?, ]; A9 H1 {1 D( [" t3 b1 g block_name_prefix: rbd_data.108b238e1f29
$ R2 B9 U' b8 ]; k6 S' Y format: 2
features: exclusive-lock, journaling
flags:
journal: 108b238e1f29
mirroring state: enabled
mirroring global id: c603d9dc-6f8d-49e0-ab68-5944d348e527
mirroring primary: true
' g/ ^) P' H2 ^9 k输出
1 w# L( m% ?5 J
# rbd map rbd/image-1
: b; f5 d- F. h/ yrbd: sysfs write failed
! V2 K5 G1 E1 F# A" Z4 ~' zRBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable".
5 s4 L1 J: A% h$ h' xIn some cases useful info is found in syslog - try "dmesg | tail" or so.
rbd: map failed: (6) No such device or address
7 u# ~' ]/ I5 m' ?7 J然后dmesg看一下

# dmesg | tail
[   64.808315] rbd: loaded (major 251)
( ]0 Y6 i2 K& T' `$ e[   64.818369] libceph: mon2 172.20.2.160:6789 session established
[   64.819187] libceph: client14167 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
% S! A% p2 \& c[   64.836328] rbd: image image-1: image uses unsupported features: 0x40
! t+ H- I3 o  Z8 ^% {[  443.658569] libceph: mon1 172.20.2.161:6789 session established
, q+ M  m( ?; @/ c[  443.659143] libceph: client4313 fsid 4c7ec5af-cbd3-40fd-8c96-0615c77660d4
# V( k, c; Y8 F" b8 N0 s[  443.683178] rbd: rbd0: capacity 10737418240 features 0x1
( H; e8 C* s! r[  978.502132] rbd: image image-1: image uses unsupported features: 0x40
# ~; L* l# T9 X; E, Z/ F错误原因
image uses unsupported features: 0x40
不支持特性 0x40 = 64，也就是不支持特性 journaling
关于内核支持的特性分析
查看内核版本

/ Q! w3 C) m4 u; _  L5 ^+ _# uname -r
3.10.0-327.el7.x86_64
2 o3 @; M" L0 O& e根据查阅资料和实践，发现：
CentOS的3.10内核仅支持其中的layering 和 exclusive-lock，其他feature概不支持
内核4.6仍然只支持：layering、exclusive-lock和 striping 属性

# rbd info rbd/test-map
rbd image 'test-map':
( P: n' f& ]2 h4 Y5 s/ I! ?4 i0 Z size 512 MB in 128 objects
- K, i7 d3 }7 ]" \8 _; d order 22 (4096 kB objects)
block_name_prefix: rbd_data.10ca238e1f29
format: 2
4 w3 c4 W- H) ]! i) u; f/ q% E features: layering, exclusive-lock
flags:
map
/ d0 J* h8 \6 h  `& s" x6 h# f  ]* M
# rbd map rbd/test-map
/dev/rbd1
- o$ H: ~) T+ n  v此时可以map成功。
RBD特性解析
" |7 E, h& S3 M! U8 n特性一览表
# w4 X$ S# g6 j- m/ [( nRBD支持的特性，及具体BIT值的计算如下
% y* ~1 ]. j9 q; R2 \9 I$ w" U8 N属性 功能 BIT码
0 v$ y: G4 v( Wlayering 支持分层 1
striping 支持条带化 v2 2
exclusive-lock 支持独占锁 4
object-map 支持对象映射（依赖 exclusive-lock ） 8
! _! S% V1 \  @( Cfast-diff 快速计算差异（依赖 object-map ） 16
deep-flatten 支持快照扁平化操作 32
' m  J3 O( W. s5 N* X; ~' J+ v! E5 o' z. qjournaling 支持记录 IO 操作（依赖独占锁） 64
" _* ~$ ^  S% A/ ^* _& Q; Sceph kraken版本默认属性值
" L/ K5 j2 G) R
# ceph --show-config|grep rbd|grep features
rbd_default_features = 61
为啥是61？我们创建一个默认配置的rbd看看

# rbd create test-feature --size 64
# rbd info rbd/test-feature
rbd image 'test-feature':
size 65536 kB in 16 objects
order 22 (4096 kB objects)
block_name_prefix: rbd_data.107d238e1f29
format: 2
# i: {* k' |8 a8 P$ c" H features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
flags:
1+4+8+16+32 = 61
# p8 L& D' Y3 w6 m' B就是说除了特性：striping 和 journaling 外都开启了。
控制属性
6 i& @+ D' R  J有三种方法来开启需要的特性
1、在创建image时，通过 --image-feature 来指定需要开启的特性
( t! f$ [7 `. T4 {' [) \2、对已存在的image可以通过如下命令开启和关闭
1
2
* j% H7 a" {' |9 {rbd feature enable <pool-name>/<image-name> <feature-name>
rbd feature disable <pool-name>/<image-name> <feature-name>
3、当然，每次通过enable和disable来不是很便捷，可以通过修改配置文件来解决
1
2
. j. l) {7 ]5 V0 H& V* ]3
4
vim /etc/ceph/ceph.conf
% o7 a% p8 J; C9 h! j$ G...
# X. }% i9 a( P: w! J, [9 vrbd_default_features = 1
1 E4 k; O8 o: t" P& z...
具体该设为多少可以通过上面BIT值查表计算得出。
3 ~5 {' Z2 c- k% Z8 m. }