ceph osd 中ssd和hdd磁盘分类和创建规则

admin

该方案的优点：
& _: p; z% _! a: m9 }, R该方案的优点为充分利用SSD设备高性能的优势，将关键性业务或者IO敏感型业务全部放入高性能存储池，为客户提供性能优越的存储服务。
: Z8 J+ E0 b' G- l- y% `  p该方案的缺点：
+ l- b: r9 C, V0 r2 T该方案的缺点为受到成本限制，高性能存储池存储容量规模会比较小，只能针对性地对少数关键性业务或者IO敏感型业务进行服务质量保障，且业务一经规划部署至某个存储池后，不能在两个存储池之间进行自动转换，后期进行调整开销较大。
( R1 v8 O, @1 o1 _+ ~% S修改前集群拓扑：
2 l7 r) q% W# L2 {( F[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
2 q. k4 b/ p+ Y2 K) ^' x-3       0.17578     host storage1                        
* }* u2 B3 H# {# V 0   hdd 0.07809         osd.0         up  1.00000 1.00000
3   hdd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1   hdd 0.07809         osd.1         up  1.00000 1.00000
4   hdd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
: N' i8 {9 R2 n 2   hdd 0.07809         osd.2         up  1.00000 1.00000
5   hdd 0.09769         osd.5         up  1.00000 1.00000
$ W, ^; |) C, f& \3 f, Q
查看class类型
[root@storage1 ~]# ceph osd crush class ls
# M; p+ y  h4 D$ x* ?[
- W2 D/ n7 G2 @    "hdd"
5 e) U3 }! ~- e/ o- ?7 \7 O7 B3 g' V]
1 y& z, @/ k$ L3 j- S9 e2 n
删除默认的class
[root@storage1 ~]# for i in {0..5} ; do ceph osd crush rm-device-class osd.$i;done
done removing class of osd(s): 0
done removing class of osd(s): 1
done removing class of osd(s): 2
done removing class of osd(s): 3
done removing class of osd(s): 4
7 b* I. `. T  }5 B. B) w. L6 a( \! F; }done removing class of osd(s): 5
0 k( G8 Z0 d4 x" f1 d[root@storage1 ~]# ceph osd tree
0 Z- T% @, L- \% j1 z8 t& J8 \ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
-3       0.17578     host storage1                        
0       0.07809         osd.0         up  1.00000 1.00000
4 o5 i9 A9 J; o  T 3       0.09769         osd.3         up  1.00000 1.00000
3 O; u$ e2 v& o9 S0 \9 H-5       0.17578     host storage2                        
1       0.07809         osd.1         up  1.00000 1.00000
4       0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
2       0.07809         osd.2         up  1.00000 1.00000
9 D$ p1 S" J, Z! _/ I! ]; k  ?8 T. ` 5       0.09769         osd.5         up  1.00000 1.00000

将osd编号0-2标记为SAS
for i in 0 1 2;do ceph osd crush set-device-class sas osd.$i;done
" [2 @* `- ~% \' d; Q, c0 q5 G[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
4 L4 M- X$ ^1 O- H- m% a-1       0.52734 root default                              
-3       0.17578     host storage1                        
. o& [. {* i  A" A9 t2 } 3       0.09769         osd.3         up  1.00000 1.00000
0   sas 0.07809         osd.0         up  1.00000 1.00000
% G  |, A( b/ W. E- D# i-5       0.17578     host storage2                        
4       0.09769         osd.4         up  1.00000 1.00000
1   sas 0.07809         osd.1         up  1.00000 1.00000
% r3 w2 z& m/ x. B/ O+ l-7       0.17578     host storage3                        
5       0.09769         osd.5         up  1.00000 1.00000
/ H  T& \! q; | 2   sas 0.07809         osd.2         up  1.00000 1.00000
& z, F2 C. l5 }7 {# I[root@storage1 ~]# ceph osd crush class ls
5 a2 K6 l1 C3 |6 G' q[
6 z& \; R3 q4 \) [. J    "sas"
]
0 @+ f& g' a5 {! v
) H2 R4 s0 p$ m; b8 _- x将osd编号3-5标记为ssd
[root@storage1 ~]#  for i in {3..5} ;do ceph osd crush set-device-class ssd osd.$i;done
set osd(s) 3 to class 'ssd'
set osd(s) 4 to class 'ssd'
4 l, _) t7 F: Jset osd(s) 5 to class 'ssd'
[root@storage1 ~]# ceph osd tree
9 t5 `% f/ W5 jID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
/ R9 T9 ?1 y0 }# D& k7 [8 q-1       0.52734 root default                              
-3       0.17578     host storage1                        
0   sas 0.07809         osd.0         up  1.00000 1.00000
3   ssd 0.09769         osd.3         up  1.00000 1.00000
- J4 A8 i* t+ r/ A) F-5       0.17578     host storage2                        
7 G4 P! W# q5 H9 G 1   sas 0.07809         osd.1         up  1.00000 1.00000
4   ssd 0.09769         osd.4         up  1.00000 1.00000
. {, J! d4 W2 ]- p( a-7       0.17578     host storage3                        
2   sas 0.07809         osd.2         up  1.00000 1.00000
2 `! u/ O& b2 Y+ o) i2 p* u 5   ssd 0.09769         osd.5         up  1.00000 1.00000
) b1 n) H4 R7 |8 `$ F2 v- Z[root@storage1 ~]# ceph osd crush class ls
[
    "sas",
& A7 E2 R# s$ L: k4 P    "ssd"
]

3 ?$ G, N# C& K创建个ssd规则：
$ b  U2 p- [/ G1 u$ Q9 J/ o5 Z[root@storage1 ~]#  ceph osd crush rule create-replicated rule-ssd default  host ssd
% Q$ d' G+ Z! z6 N$ O[root@storage1 ~]#  ceph osd crush rule create-replicated rule-sas default  host sas

格式如下：
ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
9 \$ N$ I* x! w. k[root@storage1 ~]# ceph osd crush rule ls
replicated_rule
/ C* e: y2 {% _% j& F* U4 trule-ssd

创建一个使用该rule-ssd规则的存储池：
2 C% t8 [, P* C& u( L[root@storage1 ~]# ceph osd pool create ssdpool 64 64 rule-ssd
pool 'ssdpool' created

  D- E# S( Z/ Q- U9 \& i9 H创建一个使用该rule-sas规则的存储池：
0 I4 D- F1 I1 t9 c0 M[root@storage1 ~]# ceph osd pool create saspool 64 64 rule-sas
% O1 ~9 o0 z& m: w5 ]pool 'saspool' created

3 V3 ?9 k6 U- Q3 w+ J9 R查看ssdpool的信息可以看到使用的crush_rule 为1，也就是rule-ssd
; g+ z$ f% e! W[root@storage1 ~]# ceph osd pool ls detail | grep ssdpool
pool 6 'ssdpool' replicated size 3 min_size 2 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 219 flags hashpspool stripe_width 0
' R$ c4 |5 g+ B$ S& K$ M[root@storage1 ~]# ceph osd pool ls detail | grep saspool
pool 7 'saspool' replicated size 3 min_size 2 crush_rule 2 object_hash rjenkins pg_num 64 pgp_num 64 last_change 223 flags hashpspool stripe_width 0
" ~: f# f5 A* t

) Z/ Z! @( z  t4 C% `
5 W9 G/ g* S: d  i& J