Ceph Pool操作总结集

admin

Ceph Pool操作总结一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size(副本数)、Placement Groups、CRUSH Rules、快照、所属者等。
& v3 p: L. N) w
+ w. t7 \+ i( a, r  ]/ c打印pool列表
! v3 `$ i9 J2 O3 r+ @& ?* ]
ceph osd lspools
7 z" z# @0 K" |4 S
创建pool

通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：

; f2 h# T  D  f- j( P  }若少于5个OSD， 设置pg_num为128。

' {3 X" \; S' y& o0 b5~10个OSD，设置pg_num为512。

6 }. s' B0 U& U1 G* @- [+ O* s+ p: h8 U10~50个OSD，设置pg_num为4096。

- x2 |5 ]# x4 T# l0 N7 Y超过50个OSD，可以参考pgcalc计算。
5 w5 ?. n# o$ R0 P# W& b- G
本文的测试环境只有2个OSD，因此设置pg_num为128。

' {! J- u# {9 h( d/ xosd pool default pg num = 128

osd pool default pgp num = 128

创建pool语法:
7 h5 n% T* m5 ?% T
+ e: ]+ c3 J6 A2 u5 R8 Kceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
4 Y/ u* p- p# d- W+ u% J
[crush-ruleset-name] [expected-num-objects]

ceph osd pool create {pool-name} {pg-num}  {pgp-num}  erasure \
; @7 V# s4 e* Q% l
( ]' s& \4 G  a! Z* H( {' ?( [[erasure-code-profile] [crush-ruleset-name] [expected_num_objects]

5 B6 O& u3 {+ N+ O4 R7 l+ S0 v创建一个test-pool，pg_num为128：

ceph osd pool create test-pool 128
% d5 Y6 `3 x+ R' b9 P( _
: V0 U4 \' T4 D; L0 y( K: B设置pool配额
2 `* R' F# F* K
1 y6 v9 `( T8 a0 q6 [3 w, y  |支持object个数配额以及容量大小配额。
4 Y/ T5 ]! |4 o7 I$ l8 Q: U
) l2 {) a( C( N" @- E: A6 O设置允许最大object数量为100：
) w- y: V( f# i, Z
ceph osd pool set-quota test-pool max_objects 100

设置允许容量限制为10GB:
' x9 f' ^: h3 z! H* H5 b
' R5 f. _; `" d2 Y$ b& lceph osd pool set-quota test-pool max_bytes $((10 * 1024 * 1024 * 1024))

取消配额限制只需要把对应值设为0即可。

. H: F' r( e8 \; B. u, c" V重命名pool
/ [+ W2 d- l5 t* e
ceph osd poolrename test-pool test-pool-new
. Q* e9 r/ ?# G: m) r
删除pool

删除一个pool会同时清空pool的所有数据，因此非常危险。(和rm -rf /类似)。因此删除pool时ceph要求必须输入两次pool名称，同时加上--yes-i-really-really-mean-it选项。
* e! s4 m. w) u+ U+ |
8 e  c0 z9 A2 j  N6 M7 qceph osd pool delete test-pool test-pool --yes-i-really-really-mean-it

查看pool状态信息
2 `2 T  O, r) c
7 ]0 |. ~( e5 g9 O8 u# W5 N# ]rados df
  u. v2 W5 y( k1 b' [1 D
5 X) ^0 n" m( V: `创建快照
) {. `0 z4 }9 V# h2 |
) Z  B( |& [+ U8 Z$ U# g+ t3 Zceph支持对整个pool创建快照(和Openstack Cinder一致性组区别?)，作用于这个pool的所有对象。但注意ceph有两种pool模式：
2 g7 i5 O4 S* L3 m5 L8 J
Pool Snapshot，我们即将使用的模式。创建一个新的pool时，默认也是这种模式。

Self Managed Snapsoht，用户管理的snapshot，这个用户指的是librbd，也就是说，如果在pool创建了rbd实例就自动转化为这种模式。
' g4 [* S- I; S4 \5 G7 h# c# I
' I4 i, l5 U- r* `' R0 }这两种模式是相互排斥，只能使用其中一个。因此，如果pool中曾经创建了rbd对象(即使当前删除了所有的image实例)就不能再对这个pool做快照了。反之，如果对一个pool做了快照，就不能创建rbd image了。
4 {3 D( s% N  N7 m( P
/ x5 }, o+ }/ Sceph osd pool mksnap test-pool test-pool-snapshot

. w3 U  C0 y- ?删除快照

ceph osd pool rmsnap test-pool test-pool-snapshot

- ]; I" O8 I( Z: g- Q5 M设置pool

8 i0 B% T5 `) a通过以下语法设置pool的元数据：
" W! ]0 y+ ]8 [; s, c
ceph osd pool set {pool-name} {key} {value}
% g/ P0 D8 X! I9 P. {
比如设置pool的冗余副本数量为3:

ceph osd pool set test-pool size 3

2 @+ k! k2 U  A5 G其他配置项参考文档。

通过get操作能够获取pool的配置值,比如获取当前pg_num：
* g& K5 d% ]3 Z8 G
& F* {  E8 _  t" T7 Q  Bceph osd pool get test-pool pg_num

获取当前副本数:

* u/ y! S( U: N" L( V# h2 a( eceph osd pool get test-pool size