Ceph Pool操作总结集

admin

Ceph Pool操作总结一个ceph集群可以有多个pool，每个pool是逻辑上的隔离单位，不同的pool可以有完全不一样的数据处理方式，比如Replica Size(副本数)、Placement Groups、CRUSH Rules、快照、所属者等。

打印pool列表

ceph osd lspools
# E0 r+ u4 [8 g& A7 Q2 F
% K: u; f7 ]" o% k0 V' t创建pool
( Y- X7 Z$ C6 q# d1 T) m4 `2 w( l6 V
通常在创建pool之前，需要覆盖默认的pg_num，官方推荐：

9 S- l# L- C# B7 a0 e若少于5个OSD， 设置pg_num为128。

9 S; `; W3 h, W5~10个OSD，设置pg_num为512。

10~50个OSD，设置pg_num为4096。

超过50个OSD，可以参考pgcalc计算。

本文的测试环境只有2个OSD，因此设置pg_num为128。

( y# ~( b6 B% h* p1 w( C# mosd pool default pg num = 128
& q' `/ x5 m% e# ?9 v
osd pool default pgp num = 128

' J3 u6 {1 ]5 O* j创建pool语法:
- \, G' e" S1 C  J# R6 \$ h7 }
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \

[crush-ruleset-name] [expected-num-objects]
2 l) f) d! {. {: R& V% r! K% e
& u& X- R7 G8 }* b/ Cceph osd pool create {pool-name} {pg-num}  {pgp-num}  erasure \
8 x4 `/ J+ q  L
0 {: C) V" |- t[erasure-code-profile] [crush-ruleset-name] [expected_num_objects]

% X% j* b$ Q6 m- \' {% z. S* R创建一个test-pool，pg_num为128：
, U. j* ~& v: N, ?5 s' r* J
ceph osd pool create test-pool 128
4 c3 ^1 F; H) r8 c3 o
设置pool配额
( [  k, l; j9 m' e/ [" r* A1 X" }
( Q. N0 W: ]2 \1 _' t6 X支持object个数配额以及容量大小配额。
8 y! k5 |; C7 R$ O1 V+ N$ J2 r
' ^/ ^( [- U; K+ d. v设置允许最大object数量为100：

ceph osd pool set-quota test-pool max_objects 100
( A2 q8 Y9 U" t2 ~4 ?9 B8 c
% [( R; ~: l2 b4 A设置允许容量限制为10GB:
5 k% o& P0 R8 H* \# {
: R$ g; _/ s- u0 r, v8 ?ceph osd pool set-quota test-pool max_bytes $((10 * 1024 * 1024 * 1024))
( E6 l7 w% S$ z% N  J4 N. q
6 d2 g4 K0 t8 [) i! v1 c* _) z取消配额限制只需要把对应值设为0即可。
& C& t) C% s7 ]5 m7 G# \
5 I2 `5 l* e. \/ H  |4 Z1 q# b重命名pool

8 n' |" [, m7 V/ E1 {ceph osd poolrename test-pool test-pool-new
. a/ R8 |/ y  g  t
  z# t* W4 @: p2 A+ J+ G删除pool
2 u" _, q! u: l6 f# e3 d
; @" j! O  V- ^1 C- ?. w8 s删除一个pool会同时清空pool的所有数据，因此非常危险。(和rm -rf /类似)。因此删除pool时ceph要求必须输入两次pool名称，同时加上--yes-i-really-really-mean-it选项。

ceph osd pool delete test-pool test-pool --yes-i-really-really-mean-it
: o8 D3 t1 z# U+ g
查看pool状态信息
1 R  W& V; U/ U( J4 k0 U8 K! V
rados df

. |% `! n6 n$ m" o8 @- t3 u# }创建快照
2 {8 a9 N! |& K' q6 {* M8 ~' f1 P
ceph支持对整个pool创建快照(和Openstack Cinder一致性组区别?)，作用于这个pool的所有对象。但注意ceph有两种pool模式：
! q( N6 A" m9 a% d% p) |
' V% c8 z0 m- h. uPool Snapshot，我们即将使用的模式。创建一个新的pool时，默认也是这种模式。

Self Managed Snapsoht，用户管理的snapshot，这个用户指的是librbd，也就是说，如果在pool创建了rbd实例就自动转化为这种模式。

2 O2 A7 Q  _( B2 }% u1 o$ P这两种模式是相互排斥，只能使用其中一个。因此，如果pool中曾经创建了rbd对象(即使当前删除了所有的image实例)就不能再对这个pool做快照了。反之，如果对一个pool做了快照，就不能创建rbd image了。

, }+ O3 f5 u/ t5 Z5 H& r- z+ cceph osd pool mksnap test-pool test-pool-snapshot

删除快照

; I6 F7 ~6 t2 T2 mceph osd pool rmsnap test-pool test-pool-snapshot
0 D9 Z$ I) ]* y2 I( t  R" y
2 _" U" p3 ~$ H. b( z设置pool
/ F% j; N* ]3 h& e
- Y1 C- H: y4 Q( L# Z通过以下语法设置pool的元数据：

ceph osd pool set {pool-name} {key} {value}

5 N9 X! v% m$ K3 W比如设置pool的冗余副本数量为3:

( V" [8 l0 h3 m- ?ceph osd pool set test-pool size 3
6 A3 _, Q; D" H' n8 w
5 F" f1 I0 U. r, A' N; u0 K* X9 a1 H其他配置项参考文档。

/ W  h6 O+ M( A通过get操作能够获取pool的配置值,比如获取当前pg_num：
( [3 ^( ^& c' y3 h. I+ }9 l" D
ceph osd pool get test-pool pg_num

获取当前副本数:

ceph osd pool get test-pool size
2 U, p5 B& F) H0 \& n; p
# U) i2 P$ d! h( j/ C* c