Ceph Pool操作总结集

admin

Ceph Pool操作总结一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size(副本数)、Placement Groups、CRUSH Rules、快照、所属者等。

7 E3 k4 f! F; _9 K& v4 R打印pool列表

ceph osd lspools
# V: Y: r2 j2 y# t
* S* B) ]) o! D. S  t0 l创建pool
8 m. m/ c& w9 G& W3 K6 n$ y
通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：

若少于5个OSD， 设置pg_num为128。
) x+ F7 m3 W/ G3 C. j
5~10个OSD，设置pg_num为512。
  A& ?1 z& X+ j# a% w
# }9 a: W9 l. ?( S10~50个OSD，设置pg_num为4096。
  |; ?( d8 i2 f  R& ~
' i2 ]# x- h: g. K3 |, E超过50个OSD，可以参考pgcalc计算。
+ }8 s5 r) q/ g. w7 |
$ Z1 c+ ^; K& n& t' d  `本文的测试环境只有2个OSD，因此设置pg_num为128。
6 x2 ^- w, |" t) S: G
osd pool default pg num = 128
/ l3 i6 B9 z: R) D5 V' G* l8 t
) K2 p; R5 d, Y3 j" }- {osd pool default pgp num = 128

: x& {4 _! y4 i6 Q* q3 q8 o) I! G创建pool语法:
. S: I( i: e  h: e
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
  [/ \1 ~. ]3 e
[crush-ruleset-name] [expected-num-objects]
2 ^/ l! n+ }' C8 K& L$ L
ceph osd pool create {pool-name} {pg-num}  {pgp-num}  erasure \

' b$ @- F$ Z9 F) J7 {. t! A. y  @, f[erasure-code-profile] [crush-ruleset-name] [expected_num_objects]

3 M% W* v, w2 B0 N6 g2 A) _创建一个test-pool，pg_num为128：
$ X' y2 |. Q  ^5 h! \3 K
' E8 b! E3 g# t' yceph osd pool create test-pool 128

设置pool配额
2 R# Q1 ~* {8 t
& G, y: i. T$ Y) }3 b* r+ a) n支持object个数配额以及容量大小配额。
* W& p4 a- d4 |) N+ U1 A6 Z/ c
7 j. C6 N; ~2 U6 l* T: t% ]设置允许最大object数量为100：

- u9 j; e: ]  Sceph osd pool set-quota test-pool max_objects 100
/ P) Q) W& E# v) m( X
设置允许容量限制为10GB:

ceph osd pool set-quota test-pool max_bytes $((10 * 1024 * 1024 * 1024))

取消配额限制只需要把对应值设为0即可。

重命名pool
& G- d9 q0 Z, C, ]9 W
& ]4 [7 x3 e3 H) ], h/ bceph osd poolrename test-pool test-pool-new
; z) `* C8 e4 Y% J
( X( E7 ~, B, r1 h) r删除pool

删除一个pool会同时清空pool的所有数据，因此非常危险。(和rm -rf /类似)。因此删除pool时ceph要求必须输入两次pool名称，同时加上--yes-i-really-really-mean-it选项。

; r9 K- ^. P* v9 J2 {ceph osd pool delete test-pool test-pool --yes-i-really-really-mean-it
7 o2 G% X! r* s9 _9 A, _1 c9 I* `
查看pool状态信息
$ K, M5 |3 q! ^, ^" |2 Q6 @
rados df

) K& E# M' A$ [6 w) C! u- A, j& Q- [创建快照

  \- ?, s4 |+ [ceph支持对整个pool创建快照(和Openstack Cinder一致性组区别?)，作用于这个pool的所有对象。但注意ceph有两种pool模式：
: S$ ?7 }( E# e& `3 J: i7 b- I. r
2 u; g4 I& |5 ]- Z+ gPool Snapshot，我们即将使用的模式。创建一个新的pool时，默认也是这种模式。
- @; }/ s3 V5 \) A
1 p$ Z/ [% n4 K/ N% F% y3 rSelf Managed Snapsoht，用户管理的snapshot，这个用户指的是librbd，也就是说，如果在pool创建了rbd实例就自动转化为这种模式。

这两种模式是相互排斥，只能使用其中一个。因此，如果pool中曾经创建了rbd对象(即使当前删除了所有的image实例)就不能再对这个pool做快照了。反之，如果对一个pool做了快照，就不能创建rbd image了。
+ J- G" u  P( N( |+ C4 l9 R
6 u4 _  U4 u( l& I/ w1 @3 Iceph osd pool mksnap test-pool test-pool-snapshot
5 r' {9 n4 m1 r+ }' k
5 [* L% P) W% V7 R2 F% k* O删除快照

( P: H3 a$ j) A2 Y! g+ gceph osd pool rmsnap test-pool test-pool-snapshot

2 m1 j2 b2 N7 N' U2 G4 y  z& i+ U设置pool

通过以下语法设置pool的元数据：
/ n% W& ]+ a# M7 Q
ceph osd pool set {pool-name} {key} {value}

比如设置pool的冗余副本数量为3:

0 n- k+ O  u2 p5 n& A, @- ^# Rceph osd pool set test-pool size 3

2 z4 I/ p2 j4 E  E1 p7 k) K其他配置项参考文档。

% j6 W: Z4 L* Z. H3 U% F1 H4 d  B通过get操作能够获取pool的配置值,比如获取当前pg_num：
( x: C, p4 Y& G! b* I( W* f
$ l: `7 n6 h, `5 B8 q+ Q4 Xceph osd pool get test-pool pg_num
) w6 r; ]5 Z+ x; n( [9 B
9 F  r( h/ `) T0 e获取当前副本数:

( w- I+ g8 \) R# ]  c# \* mceph osd pool get test-pool size
2 O' ~) F% e. \  v5 L