ceph osd 中ssd和hdd磁盘分类和创建规则

admin

该方案的优点：
" f! X& [$ L6 D9 B2 w9 C4 H  ^* K: g该方案的优点为充分利用SSD设备高性能的优势，将关键性业务或者IO敏感型业务全部放入高性能存储池，为客户提供性能优越的存储服务。
该方案的缺点：
该方案的缺点为受到成本限制，高性能存储池存储容量规模会比较小，只能针对性地对少数关键性业务或者IO敏感型业务进行服务质量保障，且业务一经规划部署至某个存储池后，不能在两个存储池之间进行自动转换，后期进行调整开销较大。
. X( }: m- h  M* h- ~& e修改前集群拓扑：
. [6 q. k, e4 W* A9 S" i) p# n[root@storage1 ~]# ceph osd tree
2 L5 f8 s) J2 u9 _ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
$ M' i/ x, W4 \! f- E  C-1       0.52734 root default                              
# t) |" l1 i4 Z& T8 L' ^% a-3       0.17578     host storage1                        
0   hdd 0.07809         osd.0         up  1.00000 1.00000
3   hdd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1   hdd 0.07809         osd.1         up  1.00000 1.00000
8 U' w5 y7 F! t* m; ` 4   hdd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
2   hdd 0.07809         osd.2         up  1.00000 1.00000
/ s+ O) S# J# ` 5   hdd 0.09769         osd.5         up  1.00000 1.00000

查看class类型
7 F+ r' x5 W" Q[root@storage1 ~]# ceph osd crush class ls
[
    "hdd"
6 q- b# {% A: L# Z+ X5 G% g9 e4 M]

. y7 Y( l7 k3 |! w& S) `删除默认的class
[root@storage1 ~]# for i in {0..5} ; do ceph osd crush rm-device-class osd.$i;done
done removing class of osd(s): 0
3 V6 |- M& `$ }3 k. o$ `done removing class of osd(s): 1
1 a& N% \3 j' Edone removing class of osd(s): 2
, v6 k8 R; I. a$ V) ^' m5 j" [done removing class of osd(s): 3
done removing class of osd(s): 4
done removing class of osd(s): 5
[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
-1       0.52734 root default                              
-3       0.17578     host storage1                        
0       0.07809         osd.0         up  1.00000 1.00000
, T" z6 v: h# g 3       0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1       0.07809         osd.1         up  1.00000 1.00000
4       0.09769         osd.4         up  1.00000 1.00000
" k) v6 o/ F+ A+ b9 f-7       0.17578     host storage3                        
2       0.07809         osd.2         up  1.00000 1.00000
! ?2 t/ d4 H8 |! c 5       0.09769         osd.5         up  1.00000 1.00000
1 H3 r% l% g  b3 ~) m  F
将osd编号0-2标记为SAS
for i in 0 1 2;do ceph osd crush set-device-class sas osd.$i;done
  a% G  y3 s: {+ B, h[root@storage1 ~]# ceph osd tree
ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
% x# X& O' A, z" e4 M2 H- H1 j2 i-1       0.52734 root default                              
1 T; W; r- O& u" ?6 R, @* t, a-3       0.17578     host storage1                        
! I/ |1 s  h$ |/ H. x: m; b 3       0.09769         osd.3         up  1.00000 1.00000
0   sas 0.07809         osd.0         up  1.00000 1.00000
. }8 q! d5 K5 o# ]3 H$ `-5       0.17578     host storage2                        
* x, y  w5 N0 u( G3 Y. |  w 4       0.09769         osd.4         up  1.00000 1.00000
! |5 y1 I. n. A, ? 1   sas 0.07809         osd.1         up  1.00000 1.00000
-7       0.17578     host storage3                        
3 @3 E  Y: k+ U* A& W3 B 5       0.09769         osd.5         up  1.00000 1.00000
2   sas 0.07809         osd.2         up  1.00000 1.00000
' T6 Z% n( Q! H[root@storage1 ~]# ceph osd crush class ls
" S/ R3 N; o; {1 Z, {% K. H[
! W! m% k7 U& H1 B1 J  j    "sas"
]

将osd编号3-5标记为ssd
[root@storage1 ~]#  for i in {3..5} ;do ceph osd crush set-device-class ssd osd.$i;done
. z- X+ A: e& u! Y4 gset osd(s) 3 to class 'ssd'
6 ?; U! x) x/ W( D0 ?set osd(s) 4 to class 'ssd'
! H7 v; |& u9 D& b/ _6 u  Aset osd(s) 5 to class 'ssd'
* }1 T" O3 k+ S6 P4 g& X) a$ Z[root@storage1 ~]# ceph osd tree
, d5 V( @2 ~$ M/ {ID CLASS WEIGHT  TYPE NAME         STATUS REWEIGHT PRI-AFF
/ I) x' A9 s# |( I. {: m-1       0.52734 root default                              
# O/ }9 ?2 U+ f1 m-3       0.17578     host storage1                        
0   sas 0.07809         osd.0         up  1.00000 1.00000
! f, n# {& Y/ ~+ [% o, c 3   ssd 0.09769         osd.3         up  1.00000 1.00000
-5       0.17578     host storage2                        
1   sas 0.07809         osd.1         up  1.00000 1.00000
1 A1 l" ]+ B* b 4   ssd 0.09769         osd.4         up  1.00000 1.00000
-7       0.17578     host storage3                        
5 J7 P/ e5 F: h" R! o0 Y6 b 2   sas 0.07809         osd.2         up  1.00000 1.00000
5 A4 ~/ y' w9 n( r/ v 5   ssd 0.09769         osd.5         up  1.00000 1.00000
5 k' c0 o: F9 Y[root@storage1 ~]# ceph osd crush class ls
# \; o& l3 e# K* W' U[
    "sas",
    "ssd"
]
$ D/ r6 \) p' ^6 H
创建个ssd规则：
) m& _% p. x$ _" Y8 p[root@storage1 ~]#  ceph osd crush rule create-replicated rule-ssd default  host ssd
[root@storage1 ~]#  ceph osd crush rule create-replicated rule-sas default  host sas

格式如下：
7 f8 T$ ~0 X5 `ceph osd crush rule create-replicated <rule-name> <root> <failure-domain> <class>
[root@storage1 ~]# ceph osd crush rule ls
! Q$ s5 E  V) ~, V+ C0 F* O8 ireplicated_rule
rule-ssd
* E8 X4 n  @0 f: {
创建一个使用该rule-ssd规则的存储池：
[root@storage1 ~]# ceph osd pool create ssdpool 64 64 rule-ssd
pool 'ssdpool' created
/ b  S+ a6 S% d! L
$ \# F8 A' y) b# V# N9 `创建一个使用该rule-sas规则的存储池：
: _" U: w- p$ f  _$ G[root@storage1 ~]# ceph osd pool create saspool 64 64 rule-sas
3 m# D0 m* |& m% s2 P" {7 |pool 'saspool' created

查看ssdpool的信息可以看到使用的crush_rule 为1，也就是rule-ssd
4 l& z) J1 ~7 T5 c. _[root@storage1 ~]# ceph osd pool ls detail | grep ssdpool
; j/ G+ C! i- p& t. bpool 6 'ssdpool' replicated size 3 min_size 2 crush_rule 1 object_hash rjenkins pg_num 64 pgp_num 64 last_change 219 flags hashpspool stripe_width 0
+ m% d# O4 ?% ^3 M; c9 n4 z/ ~0 m1 ^[root@storage1 ~]# ceph osd pool ls detail | grep saspool
8 c  f! K: N8 I! Y+ N) R1 zpool 7 'saspool' replicated size 3 min_size 2 crush_rule 2 object_hash rjenkins pg_num 64 pgp_num 64 last_change 223 flags hashpspool stripe_width 0
7 M. u* {9 V& R) W
  V4 ~7 h$ \7 |' e; p- _2 D9 n
0 c1 s2 t8 {0 Z" Z' ~( v
& v0 u1 E4 _! ^- j