在openstack中对接ceph存储的纠错码池方式

admin

在 openstack 中使用 Ceph 纠删码（Erasure Coding, EC）池，通常涉及到以下几个步骤：
1. 配置 Ceph 集群以支持纠删码首先，确保你的 Ceph 集群已经配置并支持纠删码。这通常涉及到以下几个步骤：
a. 创建纠删码池在 Ceph 中，你可以创建一个使用纠删码的池。例如，使用 jerasure 和 reed_sol_van 算法创建一个纠删码池：
% M! ?  P2 n; p4 ?/ B0 i+ h& {
# l' G7 }* d  @+ m4 x

& T, `* g+ f: `- I0 [) T) {0 t

9 D3 E+ ?+ _- ~: _) `
8 O5 p& X  j/ W) Q$ J2 q
) ~* N" l. U1 x8 l/ F7 c
ceph osd pool create ec_pool 128 128 erasure code_profile ec_profile
1 ^4 p* f: T4 Eceph osd erasure-code-profile set ec_profile jerasure yel error_domain=1 k=6 m=2 ruleset-failure-domain=host crush-root=default
' D& ]6 A5 P; V3 w* @, t

这里，k=6 表示数据块数量，m=2 表示校验块数量，error_domain=1 表示每个主机最多有一个故障域。
b. 验证池配置确认池已正确配置为纠删码：

! x2 j% j% ]2 u& H; p0 ^! k5 ~
# r1 e8 S) u: f0 o+ Z' z
, q6 @& o) C6 A- F0 C  O
; a' ~5 h& ?" m% J/ t7 s1 Y) o
4 }2 H9 `( c' [1 ^

ceph osd pool get ec_pool erasure_code_profile   


6 {' m% z: }" \7 }2. 在 OpenStack 中配置 Ceph 和使用纠删码池在 OpenStack 中使用 Ceph 纠删码池，你需要在 Cinder 和 Nova 中配置 Ceph 以使用这个新的池。
; a1 [; q; Z/ p1 A3 la. 修改 Cinder 配置文件编辑 Cinder 的配置文件（通常是 /etc/cinder/cinder.conf），并添加或修改以下设置：




' f& K2 P6 U' h' L1 x. N


; i8 S! x' Z. [: {2 l7 G, K" O
# K4 _0 h; s- }" ?. Q( R
* t7 q) [  f( g7 n) p: D
8 i; J! M8 C" F) [% h4 r* M7 |
[cinder]
volume_driver = cinder.volume.drivers.rbd.RBDDriver
0 A: }. z5 f0 v( n+ d& r5 n; brbd_pool = ec_pool
# _' A3 x" X" @0 y$ |) G3 F' erbd_user = cinder-user
0 @* b" H7 s: c2 Prbd_secret_uuid = <secret-uuid>   
: s* K7 W2 q: X. B' z
6 y' _. l; J# G* s* V0 {
确保 rbd_secret_uuid 是你的 Ceph 认证密钥的 UUID。你可以使用以下命令生成 UUID 长字符串：


/ w5 I  l8 y" `+ X% o5 T% }3 L



) O! R( k' I  z
uuidgen

0 i* e4 V$ Z+ n' S+ y% \
/ l: l1 \, T+ @
1 W+ V% ]3 n, w' c. {3 }0 ?b. 配置 Ceph 认证密钥生成 Ceph 认证密钥并将其添加到 Cinder 和 Nova 的配置中：

4 |( L# r7 O/ s9 D( b  X5 i! O

( L. g' M9 Z3 U1 F5 _3 b, s, [


& W; T# i6 G* W, m( W
ceph auth get-key client.cinder-user | base64
" e  [% m( Z: X9 c) `* n

# d7 f7 K- T- `) Z0 m4 K/ W将输出添加到 Cinder 和 Nova 的配置文件中：
8 t* R0 M% |. d4 r$ N3 l
3 v# K2 o6 s" V  y$ `
) h6 Q: c3 M( t: ?& Y, g( l- e: v


2 Y$ g+ p" A, d
$ D3 n$ I" o( O

! O: w" m! H- r' N4 ^

7 l1 e' D% D* f# F$ E% H[DEFAULT]
) u4 R# j) ~7 e9 e  Orbd_secret_uuid = <secret-uuid>     ###from uuidgen
rbd_user = cinder-user
- E9 _* Q( ?: zrbd_ceph_conf = /etc/ceph/ceph.conf
+ y8 s; F- v) y, z
/ A9 y) f4 V$ v$ s  N
c. 重启 Cinder 服务以应用更改


* L! Q9 n3 Q* |

7 ]0 M8 Y! g" N! J- C8 V" q( \
, q4 G# i  b5 g
systemctl restart openstack-cinder-api.service openstack-cinder-volume.service openstack-cinder-scheduler.service

7 Y3 J- z) K' G; \6 M8 p$ u2 T
; X9 Q  q" S) ^# P0 {: j3. 验证配置确认 Cinder 可以正常使用纠删码池：

! p& P$ b  `; g


4 u+ `8 U2 `/ M4 E+ G6 L8 O8 d4 q+ `
! S4 b  {3 F% @7 f! N' k+ [& W
( O1 [% w, N3 C& D9 w  x0 K9 a
openstack volume create --image <image-id> --size 10 <volume-name>

; U4 m& {8 j# Y( ^7 v; V
2 Y3 N* e6 p) y( ^检查卷是否正确创建在 EC 池中：







rbd ls -p ec_pool --id cinder-user --keyfile=/etc/ceph/ceph.client.cinder-user.keyring | grep <volume-name>
$ j) P- V' C1 `/ \6 S0 ?9 H9 I
) o1 F4 d" m1 w) K* F+ ~; C
4 S4 f1 g! F5 R1 E" [9 n* O4. 在 Nova 中使用 Ceph 块存储（可选）如果需要在 Nova 中使用 Ceph 块存储，确保 Nova 的配置也指向正确的 Ceph 用户和密钥。这通常涉及到编辑 /etc/nova/nova.conf 并添加类似的 RBD 设置。
5. 重启相关服务（如果需要）根据需要重启 Nova 服务：
# L  N1 F' k+ v. O
% a( m& x! c9 X) R

6 v4 y. |. h7 t& y0 B



systemctl restart openstack-nova-compute openstack-nova-api openstack-nova-scheduler openstack-nova-conductor


通过以上步骤，你应该能够在 OpenStack 中成功配置和使用 Ceph 的纠删码池

# H6 M7 |' V# u6 H$ A- M配置完成。