在openstack中对接ceph存储的纠错码池方式

admin

在 OpenStack 中使用 Ceph 纠删码（Erasure Coding, EC）池，通常涉及到以下几个步骤：
1. 配置 Ceph 集群以支持纠删码首先，确保你的 Ceph 集群已经配置并支持纠删码。这通常涉及到以下几个步骤：
a. 创建纠删码池在 Ceph 中，你可以创建一个使用纠删码的池。例如，使用 jerasure 和 reed_sol_van 算法创建一个纠删码池：
0 u  m2 J( Y' c

+ N  e) B  s4 D9 C% A( O
4 h/ k+ Q7 [: r9 ^( X



  i9 z3 O: {; b+ w6 u) _3 u
ceph osd pool create ec_pool 128 128 erasure code_profile ec_profile
ceph osd erasure-code-profile set ec_profile jerasure yel error_domain=1 k=6 m=2 ruleset-failure-domain=host crush-root=default
. `& T. s- m, n; I! g% A
" @8 `5 K% h6 i* ]9 X. y' j8 L- D
. p# u. n1 A- d! y9 [这里，k=6 表示数据块数量，m=2 表示校验块数量，error_domain=1 表示每个主机最多有一个故障域。
b. 验证池配置确认池已正确配置为纠删码：

% Q9 x* h  H; g7 O
; ^, L/ J: Q! a. M  u


3 q( ?' m4 F/ S& q" x* I  O
8 H8 \' K  H& T# \+ |* P! H( q! b
0 a; M' [% l  a. @# l0 iceph osd pool get ec_pool erasure_code_profile   
7 u2 r* y) R4 S$ [. i% Y( q

2. 在 OpenStack 中配置 Ceph 和使用纠删码池在 OpenStack 中使用 Ceph 纠删码池，你需要在 Cinder 和 Nova 中配置 Ceph 以使用这个新的池。
( g2 i( m$ R/ Z& Wa. 修改 Cinder 配置文件编辑 Cinder 的配置文件（通常是 /etc/cinder/cinder.conf），并添加或修改以下设置：
8 v  T2 N9 S: J
/ V* e% |! k5 o0 F  k  C$ E: s" k
+ G8 m0 E5 @+ m' u& S6 a. o

) l- t6 D: r% O) z+ M
0 E5 ]- {+ N+ c* i" t5 [
  {4 [# ?7 C6 \% u* @

, S8 R' P/ G* l: `" U. r


[cinder]
9 h# _  C/ F3 u+ {6 _" P0 ovolume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = ec_pool
/ E0 Y. D: o+ X9 G& ~, c8 Orbd_user = cinder-user
0 ~/ h. }7 @- n" D6 @; D% trbd_secret_uuid = <secret-uuid>   


确保 rbd_secret_uuid 是你的 Ceph 认证密钥的 UUID。你可以使用以下命令生成 UUID 长字符串：



# g2 M+ P* z' a/ l' `
( q& J' K: U! j! g" y( Y. k7 r

7 I" Y4 V6 e% o% S
* y5 e' T; |' f0 N$ puuidgen
3 L0 `5 \) F. t6 }: A3 ^& Y( m
$ l. ]3 z" C* f

5 H' O# _& u2 J- G$ Rb. 配置 Ceph 认证密钥生成 Ceph 认证密钥并将其添加到 Cinder 和 Nova 的配置中：

' W7 Z8 C& d6 c3 P: L6 U! ]9 M  H

- c. v! H- E) D+ X! o


+ c; b& X+ W: R& V
" P( ~2 q! \! P" l/ Uceph auth get-key client.cinder-user | base64


将输出添加到 Cinder 和 Nova 的配置文件中：

# a6 Y8 M: w: Z$ K. P3 O

& s, J) N2 D% Z* a* ~" t8 f




2 l2 h1 [. i9 n# Y* a( w

. V$ b  Z8 i5 B9 L1 X[DEFAULT]
# O: |7 ]" U- Z2 y! orbd_secret_uuid = <secret-uuid>     ###from uuidgen
( a( j' s2 S2 srbd_user = cinder-user
rbd_ceph_conf = /etc/ceph/ceph.conf
4 f/ X3 U8 U+ Z/ d- v3 V0 _4 n+ {

/ I' F7 ^6 M; k, o: o  ~% ^7 o& fc. 重启 Cinder 服务以应用更改

" C' {! \0 z7 U
- b- ~. R) d5 t' n2 E


# w+ V- d/ U! o0 E4 }. S) \
systemctl restart openstack-cinder-api.service openstack-cinder-volume.service openstack-cinder-scheduler.service

# _# J* ?* ]+ k* ~1 v1 g7 Q
- j4 t+ f! D6 q8 {7 i" V* h3. 验证配置确认 Cinder 可以正常使用纠删码池：
/ M7 L, @6 ^3 u0 c





% w  ~# Z" _5 Y7 f6 H9 s+ C4 ?
openstack volume create --image <image-id> --size 10 <volume-name>

# d, L% Q7 K) @1 V- x  g
检查卷是否正确创建在 EC 池中：


: l; S# s. t6 `
" k  ^$ F& v" q2 s+ }# t9 i

$ k( X1 p! A; [1 M- m2 s

rbd ls -p ec_pool --id cinder-user --keyfile=/etc/ceph/ceph.client.cinder-user.keyring | grep <volume-name>
0 c9 `6 l% I$ \! R

4. 在 Nova 中使用 Ceph 块存储（可选）如果需要在 Nova 中使用 Ceph 块存储，确保 Nova 的配置也指向正确的 Ceph 用户和密钥。这通常涉及到编辑 /etc/nova/nova.conf 并添加类似的 RBD 设置。
0 R$ I% Z) w- B! J) W' \5. 重启相关服务（如果需要）根据需要重启 Nova 服务：


* ?$ r! j4 E9 ], a. K& i: V


8 d# u4 I+ \0 ?3 Y4 N' K% ~4 S

systemctl restart openstack-nova-compute openstack-nova-api openstack-nova-scheduler openstack-nova-conductor
3 o) K7 i# `6 ?1 I8 l

9 o# ?# F8 ~+ O" f: \7 v, [+ n通过以上步骤，你应该能够在 OpenStack 中成功配置和使用 Ceph 的纠删码池

配置完成。
! V- W2 f9 e3 K