ceph osd 中ssd和hdd磁盘分类和创建规则

admin

该方案的优点：
6 @0 n5 a! A1 G7 }该方案的优点为充分利用SSD设备高性能的优势，将关键性业务或者IO敏感型业务全部放入高性能存储池，为客户提供性能优越的存储服务。
该方案的缺点：
0 a3 t" C8 n! ~/ {) T该方案的缺点为受到成本限制，高性能存储池存储容量规模会比较小，只能针对性地对少数关键性业务或者IO敏感型业务进行服务质量保障，且业务一经规划部署至某个存储池后，不能在两个存储池之间进行自动转换，后期进行调整开销较大。
修改前集群拓扑：
[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
% @1 D1 C' n. t- L4 C-3       0.17578     host storage1                        
2 h5 D/ K( s. L# j. k7 s 0   hdd 0.07809         osd.0         up  1.00000 1.00000
5 D  [9 w3 B6 y 3   hdd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1   hdd 0.07809         osd.1         up  1.00000 1.00000
4   hdd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
2   hdd 0.07809         osd.2         up  1.00000 1.00000
: z7 D- h0 p4 v  J 5   hdd 0.09769         osd.5         up  1.00000 1.00000

7 s. ?* e" G5 x. N查看class类型
[root@storage1 ~]# ceph osd crush class ls
[
    "hdd"
& i9 @! Y( |- n* w& X]

4 @; t/ w+ Y! q, t* Q& O# b删除默认的class
[root@storage1 ~]# for i in {0..5} ; do ceph osd crush rm-device-class osd.$i;done
done removing class of osd(s): 0
- _% J" o/ F; W9 x, Z! gdone removing class of osd(s): 1
done removing class of osd(s): 2
done removing class of osd(s): 3
done removing class of osd(s): 4
done removing class of osd(s): 5
[root@storage1 ~]# ceph osd tree
8 u( @  m8 _1 ]6 t9 u$ MID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
8 w+ g% o% Z3 j) Q-3       0.17578     host storage1                        
0       0.07809         osd.0         up  1.00000 1.00000
2 a, E/ z, F+ r- F3 ` 3       0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
/ q# ~2 m! l! N0 |3 B 1       0.07809         osd.1         up  1.00000 1.00000
4       0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
+ X- q8 J6 W1 ~% c# G 2       0.07809         osd.2         up  1.00000 1.00000
5       0.09769         osd.5         up  1.00000 1.00000
9 p. A% M. R+ E! U- f7 ?
' V- e4 Y# ?. n# a; V# p; n将osd编号0-2标记为SAS
/ x5 j2 T: E4 C+ jfor i in 0 1 2;do ceph osd crush set-device-class sas osd.$i;done
[root@storage1 ~]# ceph osd tree
+ u) U8 Q3 \& r  }, L9 u3 X6 {( kID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
0 l9 ?1 L2 H3 S5 I+ k-1       0.52734 root default                              
-3       0.17578     host storage1                        
2 {6 c( A+ x. A. Q0 m 3       0.09769         osd.3         up  1.00000 1.00000
$ m& g$ w, G, c6 I9 C1 p9 ?  ]0 ? 0   sas 0.07809         osd.0         up  1.00000 1.00000
; L' U$ I0 l( n* t, r9 \-5       0.17578     host storage2                        
4       0.09769         osd.4         up  1.00000 1.00000
2 i/ P# E. ]* B% i# u  L* O 1   sas 0.07809         osd.1         up  1.00000 1.00000
( h! i! f$ r/ Q-7       0.17578     host storage3                        
. q) T! x+ b* w; K0 i 5       0.09769         osd.5         up  1.00000 1.00000
' M1 |7 X  J  i4 r: T2 g  W. f 2   sas 0.07809         osd.2         up  1.00000 1.00000
( U- m# a! L0 h" u0 ~7 ?[root@storage1 ~]# ceph osd crush class ls
[
0 r) p' E/ z- i! p  Z    "sas"
]
, C1 P2 A; u) }- |! \: B
将osd编号3-5标记为ssd
% z- e$ Y: m+ V/ ]& M7 C[root@storage1 ~]#  for i in {3..5} ;do ceph osd crush set-device-class ssd osd.$i;done
* k& w4 V/ N: j7 A. U8 u, Rset osd(s) 3 to class 'ssd'
- |# h+ k# B7 x# ^5 A7 uset osd(s) 4 to class 'ssd'
set osd(s) 5 to class 'ssd'
- D2 Q: F9 ^$ g9 p8 g1 N[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
! y' o* Z( q' }6 R9 b# T-1       0.52734 root default                              
  D" R) P$ W. M/ ~1 G-3       0.17578     host storage1                        
0   sas 0.07809         osd.0         up  1.00000 1.00000
& X" i) [+ I1 p0 J- f) [/ d( L3 b4 O 3   ssd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
: W, l, `; E2 ^8 F( `. T 1   sas 0.07809         osd.1         up  1.00000 1.00000
4   ssd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
# c2 _( V0 A: ]! j0 J& \ 2   sas 0.07809         osd.2         up  1.00000 1.00000
3 C, O( m. M2 j+ g; C/ c 5   ssd 0.09769         osd.5         up  1.00000 1.00000
+ C; W( Y2 l2 K/ p- m4 F[root@storage1 ~]# ceph osd crush class ls
8 K" g, x' ~' v5 h/ n9 f9 E. k[
! l6 e* c9 M4 o3 M5 o" _1 c    "sas",
* ~3 L8 `5 h) S& j- b$ I    "ssd"
& N% t8 s& L1 P7 x! A' _]
1 @, @3 }: I, w. ~% \! n+ s
2 B' a0 n( `' C1 [6 y创建个ssd规则：
[root@storage1 ~]#  ceph osd crush rule create-replicated rule-ssd default  host ssd
[root@storage1 ~]#  ceph osd crush rule create-replicated rule-sas default  host sas

格式如下：
ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
[root@storage1 ~]# ceph osd crush rule ls
9 I( e$ }5 t  X+ g" x7 \replicated_rule
rule-ssd

创建一个使用该rule-ssd规则的存储池：
[root@storage1 ~]# ceph osd pool create ssdpool 64 64 rule-ssd
pool 'ssdpool' created

创建一个使用该rule-sas规则的存储池：
8 G' c( ]- M6 G3 t& e6 h[root@storage1 ~]# ceph osd pool create saspool 64 64 rule-sas
% a1 D4 Y1 m9 j, ppool 'saspool' created
* g8 L; K! Q1 r3 ~% T% M
9 |! e6 z3 _+ @7 e查看ssdpool的信息可以看到使用的crush_rule 为1，也就是rule-ssd
8 w+ e" R, ?: ]6 M& D9 L  j8 W[root@storage1 ~]# ceph osd pool ls detail | grep ssdpool
) u4 R# R9 }( l$ |7 ppool 6 'ssdpool' replicated size 3 min_size 2 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 219 flags hashpspool stripe_width 0
[root@storage1 ~]# ceph osd pool ls detail | grep saspool
pool 7 'saspool' replicated size 3 min_size 2 crush_rule 2 object_hash rjenkins pg_num 64 pgp_num 64 last_change 223 flags hashpspool stripe_width 0
! T0 a8 @# S( q  V; [+ G
4 m  r; c+ y* y2 V( j3 |+ b
" Z( [: d! a2 y7 R1 r4 Q( g
1 S2 ^2 m2 P% M& B) c2 V