ceph osd 中ssd和hdd磁盘分类和创建规则

admin

该方案的优点：
3 d: m& S! k0 ~, N' V- L该方案的优点为充分利用SSD设备高性能的优势，将关键性业务或者IO敏感型业务全部放入高性能存储池，为客户提供性能优越的存储服务。
& w3 ?. q) H/ V' n% f5 S! `" r该方案的缺点：
该方案的缺点为受到成本限制，高性能存储池存储容量规模会比较小，只能针对性地对少数关键性业务或者IO敏感型业务进行服务质量保障，且业务一经规划部署至某个存储池后，不能在两个存储池之间进行自动转换，后期进行调整开销较大。
修改前集群拓扑：
- t/ m8 m& X2 p: \[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
% u2 S+ T+ s8 X-1       0.52734 root default                              
-3       0.17578     host storage1                        
0   hdd 0.07809         osd.0         up  1.00000 1.00000
3   hdd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
0 A. X' k6 \: U 1   hdd 0.07809         osd.1         up  1.00000 1.00000
% i5 Y% t6 c9 G0 n$ C 4   hdd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
2   hdd 0.07809         osd.2         up  1.00000 1.00000
% l$ z; L3 Q2 a2 g& I' | 5   hdd 0.09769         osd.5         up  1.00000 1.00000

查看class类型
' P! h7 U( }( f+ k[root@storage1 ~]# ceph osd crush class ls
' t) v" d$ y6 z; x[
. D: h7 M7 I- P# I! ^% B! `* V( M    "hdd"
; a6 e+ q& ?/ }. j1 V7 U]
" ]: @# l7 j: z2 d9 W
% K( S  h& Q, `7 o5 N; d6 O9 A- p删除默认的class
[root@storage1 ~]# for i in {0..5} ; do ceph osd crush rm-device-class osd.$i;done
done removing class of osd(s): 0
3 o, o3 J/ k* k9 d& Ddone removing class of osd(s): 1
done removing class of osd(s): 2
3 K9 v0 P" d2 `. {1 T/ M4 Idone removing class of osd(s): 3
1 @( E6 C! v8 b$ k. N6 r5 Gdone removing class of osd(s): 4
done removing class of osd(s): 5
[root@storage1 ~]# ceph osd tree
! \. s5 P9 e- k7 sID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
-3       0.17578     host storage1                        
0       0.07809         osd.0         up  1.00000 1.00000
3       0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1       0.07809         osd.1         up  1.00000 1.00000
4       0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
: q% T' b4 v+ C, d 2       0.07809         osd.2         up  1.00000 1.00000
5       0.09769         osd.5         up  1.00000 1.00000

将osd编号0-2标记为SAS
for i in 0 1 2;do ceph osd crush set-device-class sas osd.$i;done
/ `2 B; U! ?# o# @[root@storage1 ~]# ceph osd tree
% j2 y# J2 Q* g2 d6 a4 AID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
+ r  c/ W; Y4 d4 J! [: L  r-1       0.52734 root default                              
/ [6 m) i8 \, D, p' L-3       0.17578     host storage1                        
3       0.09769         osd.3         up  1.00000 1.00000
0   sas 0.07809         osd.0         up  1.00000 1.00000
-5       0.17578     host storage2                        
- P: s8 Y# \9 b; }1 i( U( R! [7 M+ m/ W2 ~ 4       0.09769         osd.4         up  1.00000 1.00000
" l$ T/ v8 ?( Z! B7 N2 E3 k 1   sas 0.07809         osd.1         up  1.00000 1.00000
-7       0.17578     host storage3                        
! G/ S: T' }3 U: e6 v 5       0.09769         osd.5         up  1.00000 1.00000
- Z$ O+ w- U8 j* e* G( [$ G 2   sas 0.07809         osd.2         up  1.00000 1.00000
5 J  H/ o) E  n% T5 [[root@storage1 ~]# ceph osd crush class ls
[
0 W7 ?' o. J. ?8 H+ v( S$ ]* I    "sas"
4 y+ s. M$ ^1 @9 P& H' @! A( o, J]
; F- G) d  g* S6 [5 B: a% d
将osd编号3-5标记为ssd
/ _3 U; I$ F# w[root@storage1 ~]#  for i in {3..5} ;do ceph osd crush set-device-class ssd osd.$i;done
set osd(s) 3 to class 'ssd'
% T- G4 f$ k( q7 ^: e( ], Qset osd(s) 4 to class 'ssd'
set osd(s) 5 to class 'ssd'
& R+ ?! Q/ V. G' l) q[root@storage1 ~]# ceph osd tree
; Q8 V: q7 _0 h) b# S8 P( f; |6 gID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
- N0 `! q, d6 J: \-3       0.17578     host storage1                        
0   sas 0.07809         osd.0         up  1.00000 1.00000
3   ssd 0.09769         osd.3         up  1.00000 1.00000
- @7 G. J, e+ A8 E4 i4 L9 ~-5       0.17578     host storage2                        
% V, M$ @7 z3 r; y7 u2 X+ [# Z: B 1   sas 0.07809         osd.1         up  1.00000 1.00000
* h, X' X! s% c 4   ssd 0.09769         osd.4         up  1.00000 1.00000
) j+ X9 `! c1 j, R-7       0.17578     host storage3                        
5 R; v, c" @9 q 2   sas 0.07809         osd.2         up  1.00000 1.00000
5   ssd 0.09769         osd.5         up  1.00000 1.00000
[root@storage1 ~]# ceph osd crush class ls
[
; w; ]7 r. u4 l3 J    "sas",
# R% x: v/ B& r0 t  n, b    "ssd"
]
; c- c) X3 a) s% N
- e0 @0 z* R: S: t创建个ssd规则：
' O5 G# A6 M' {' @2 _: ?[root@storage1 ~]#  ceph osd crush rule create-replicated rule-ssd default  host ssd
! S2 n) o4 p8 F' i) q[root@storage1 ~]#  ceph osd crush rule create-replicated rule-sas default  host sas

格式如下：
4 ~- F1 \6 L- g$ F$ l" `ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
9 T& y  M# `0 u7 B, }[root@storage1 ~]# ceph osd crush rule ls
replicated_rule
rule-ssd

创建一个使用该rule-ssd规则的存储池：
+ c+ e9 V9 k) \3 y[root@storage1 ~]# ceph osd pool create ssdpool 64 64 rule-ssd
3 K& K' n3 i- J" Cpool 'ssdpool' created
* T9 H/ l0 b( v4 e6 M; j& Q8 I, L+ c
3 X7 e1 H3 |$ g- n$ m创建一个使用该rule-sas规则的存储池：
[root@storage1 ~]# ceph osd pool create saspool 64 64 rule-sas
/ P4 ]* S. ^  @* Lpool 'saspool' created

. S* h/ d0 g7 J3 @! b查看ssdpool的信息可以看到使用的crush_rule 为1，也就是rule-ssd
[root@storage1 ~]# ceph osd pool ls detail | grep ssdpool
pool 6 'ssdpool' replicated size 3 min_size 2 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 219 flags hashpspool stripe_width 0
3 S: L" a  F: v+ Q( o2 T* v[root@storage1 ~]# ceph osd pool ls detail | grep saspool
& V; X$ A: j$ p4 Y- b# z: D  Opool 7 'saspool' replicated size 3 min_size 2 crush_rule 2 object_hash rjenkins pg_num 64 pgp_num 64 last_change 223 flags hashpspool stripe_width 0
! U1 G( l  k6 u) j
) h/ k% L  Y( E- _/ \& w- B

- P: B+ j( V3 I8 w" h