Ceph对接Openstack

admin

具体操作
- b% v, b; D4 ?" c1 d
, V; p4 q( d0 ?: d. R6 y8 W创建存储池
6 @4 u8 T; z0 ]# B, j针对Openstack的3个不同服务，需要把存储资源池隔离开，也就是每个服务一个Pool：

// 创建volumes池，对应Cinder服务
  H5 \) t' ~9 G( r2 oceph osd pool create volumes 128

2 }  o& j! c# X5 f// 创建images池，对应Glance服务
* b: z+ Y- u8 j! i5 X$ Iceph osd pool create images 128

// 创建vms池，对应Nova服务
ceph osd pool create vms 128
3 w& h0 q2 ~, y/ D1 Y* K, Y
4 a8 E( ^( F- g- p$ H// 创建backups池，对应Cinder-backup服务。但这个backup在同一Ceph集群中，意义不大，既然是做备份的话，就应该跨集群或者跨机房、跨区域来达到备份容灾的目的。
ceph osd pool create backups 128
4 Q1 M+ ]5 v* t

' z  x# m7 t* x5 i7 Q安装Ceph相关包
在glance-api的主机上安装python-rbd包

yum install python-rbd


: \) b1 w* }' w9 L+ w" j' D6 I3 b在nova-compute、cinder-volume、cinder-backup节点上安装ceph-common包

yum install ceph-common
$ Y( ]! t3 ]+ q% k7 j- c2 m/ f6 V安装完ceph包之后，需要将ceph集群的ceph.conf copy到所有client端。
# i6 n6 ^& W- C% v$ U. R
如果在Ceph的配置中打开了auth认证，就需要做如下的操作；如果Ceph中的auth都是设置的none，也就是关闭的话，可以不做如下操作。


, O( d* {/ o0 Z5 ]
在ceph中创建了cinder、glance等用户，并做了权限控制

* Y8 x: L7 \5 P5 k; _3 wceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'
ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'
$ D; |# I6 F1 i0 w$ Y$ Y* I7 h$ v

( U! r$ j! _0 V7 p( Q将上面生成的keyring文件，保存在相应的节点上，并修改为相应的权限

% o" ^+ }- s. E, G// 注意替换所有的server为相应的主机名
- I" V! @1 q/ i+ z# \! l$ pceph auth get-or-create client.glance | ssh {glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring
ssh {glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring
  E( @  ~5 L" \9 X1 Vceph auth get-or-create client.cinder | ssh {cinder-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
) \  L) s7 q7 m" X3 z6 xssh {cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
ceph auth get-or-create client.cinder-backup | ssh {cinder-backup-server} sudo tee /etc/ceph/ceph.client.cinder-backup.keyring
' Z8 Y9 J3 r  c( ^; Hssh {cinder-backup-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring
  _+ R" y: j; `% q% N

在nova-compute节点上保存和cinder-volume相同的keyring

ceph auth get-or-create client.cinder | ssh {nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
5 I/ W2 B6 ^7 V/ k0 s1 W0 _
! j9 v0 k& U2 Q. m. E, H- u
在libvirt上添加secret key

" C0 p% v5 {" _// 获取cinder keyring，并保存到一个临时文件中
ceph auth get-key client.cinder | ssh {nova-compute-node} tee client.cinder.key
  ], G$ U) i& W
6 D1 M9 Y. s$ G2 l" O// 生成一个UUID
uuidgen
' l  ]  c0 h( l) ~% S% z457eb676-33da-42ec-9a8c-9293d545c337
, W3 l2 Q3 F. n1 b
// 修改secret.xml文件，注意替换下面的uuid
/ [, Y( u! T* e0 C0 A+ {$ m. jcat > secret.xml <<EOF
<secret ephemeral='no' private='no'>
  <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
3 j9 s& l1 r2 T' N9 n  k  <usage type='ceph'>
    <name>client.cinder secret</name>
, k6 B7 {: j5 H7 G2 I: J  </usage>
0 X! u" Z6 F0 L+ z7 g3 T/ k, n</secret>
EOF
! O" i* H' i, p! Y
! T9 W5 A1 m' B; j# L; p( Ksudo virsh secret-define --file secret.xml
Secret 457eb676-33da-42ec-9a8c-9293d545c337 created

( t5 ?' x, u$ r8 j// 设置libvirt的secret key，并删除之前的key临时文件
2 S- D# T8 T+ lsudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml
# Y4 V$ {$ r- o2 f
7 @" r/ {. i: F8 w. Z
在三大模块中增加ceph相关配置
Glance配置

// 在/etc/glance/glance-api.conf中添加如下：
* X& k/ B5 K7 f1 ^2 {% J
// 在DEFAULT域中增加：
: O4 `# `+ h& k) {9 a$ O9 Y[DEFAULT]
default_store = rbd

, U0 i8 E2 l  i- @2 G// 在glance_store域中增加如下，如果没有glance_store域，直接创建：
( w% \1 g6 W$ D8 ~2 ~( G- w7 o[glance_store]
stores = rbd
rbd_store_pool = images
rbd_store_user = glance
rbd_store_ceph_conf = /etc/ceph/ceph.conf
rbd_store_chunk_size = 8


1 h) G: B6 |0 r- Q  zCinder配置
5 q  L( B" n; d2 s% M1 a
+ p+ \' h$ e/ l// 在/etc/cinder/cinder.conf中添加如下：

$ a( P( A* ]# O5 ~, l// 在DEFAULT域中增加：
5 o5 d1 W& f  d/ q[DEFAULT]
enabled_backends = ceph
( f7 |+ M/ J$ y% ?) b! ?/ {" ~
+ ^: c9 `, L4 V8 r1 U// 在ceph域中增加如下，如果没有ceph域，直接创建：
[ceph]
! K1 x& K5 ~- M$ _" Pvolume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
rbd_ceph_conf = /etc/ceph/ceph.conf
rbd_flatten_volume_from_snapshot = false
) Q# k5 Z) p) ?: X: Y8 |# Srbd_max_clone_depth = 5
3 t) Q; G4 R- E, C# qrbd_store_chunk_size = 4
rados_connect_timeout = -1
glance_api_version = 2

3 ~, E& O- h5 w# m; o// 如果使用了ceph auth，还需增加：
, t# T+ J4 B5 W$ f$ grbd_user = cinder
: i& \8 I5 \& Z; _8 u9 Brbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337


5 X  W. P; |0 r! I0 yCinder-backup配置
/ E# G8 L5 W$ D) k4 N4 W& [
// 在/etc/ceph/ceph.conf中添加如下：
backup_driver = cinder.backup.drivers.ceph
4 }7 H6 A) X/ _' H% J# B0 M& G: Qbackup_ceph_conf = /etc/ceph/ceph.conf
9 s; J( k7 _$ Z% }. xbackup_ceph_user = cinder-backup
backup_ceph_chunk_size = 134217728
! h/ U1 }; \6 o6 H% a  y; Abackup_ceph_pool = backups
backup_ceph_stripe_unit = 0
backup_ceph_stripe_count = 0
restore_discard_excess_bytes = true


计算机点Nova配置
% W1 t, i' s# ~6 l( p- c0 `
// 在/etc/nova/nova.conf中添加如下：
& T, A4 _3 I# y0 l) }9 ~[libvirt]
images_type = rbd
images_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
9 V( I+ ~0 e6 Y6 i" Z8 L3 V( V4 M. ?rbd_user = cinder
/ S) C2 `; J/ s- Irbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337
# [# o* X: V: k5 mdisk_cachemodes="network=writeback"