Ceph对接Openstack

admin

具体操作
( B! m9 T" `5 o' [
创建存储池
针对Openstack的3个不同服务，需要把存储资源池隔离开，也就是每个服务一个Pool：

// 创建volumes池，对应Cinder服务
% C$ X% ^* O! V$ Aceph osd pool create volumes 128
) a: u) k5 \0 b$ d7 }9 B: e% H$ ~0 A  d
// 创建images池，对应Glance服务
ceph osd pool create images 128

% a4 W9 O2 f! A// 创建vms池，对应Nova服务
ceph osd pool create vms 128

// 创建backups池，对应Cinder-backup服务。但这个backup在同一Ceph集群中，意义不大，既然是做备份的话，就应该跨集群或者跨机房、跨区域来达到备份容灾的目的。
ceph osd pool create backups 128
) x( U- K" z; a( a9 L

安装Ceph相关包
在glance-api的主机上安装python-rbd包

; E5 V+ }$ r+ Y9 V; u. r, ^yum install python-rbd

  {+ A3 _  d0 L1 U7 ?# \
在nova-compute、cinder-volume、cinder-backup节点上安装ceph-common包
, |( @, F3 y$ S! J$ U1 a( ^; M
% u  M7 Q7 {4 c. tyum install ceph-common
6 \5 |+ y* C' [& M+ a7 Y9 E安装完ceph包之后，需要将ceph集群的ceph.conf copy到所有client端。

" p, A5 O7 p1 R如果在Ceph的配置中打开了auth认证，就需要做如下的操作；如果Ceph中的auth都是设置的none，也就是关闭的话，可以不做如下操作。


! k2 ^+ f: M: V" X+ _) }5 h
在ceph中创建了cinder、glance等用户，并做了权限控制

: B' i$ ^2 l  X3 C, hceph auth get-or-create client.cinder mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rx pool=images'
ceph auth get-or-create client.glance mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=images'
ceph auth get-or-create client.cinder-backup mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=backups'
  X; c. k8 E5 }2 {

将上面生成的keyring文件，保存在相应的节点上，并修改为相应的权限

// 注意替换所有的server为相应的主机名
2 g8 L! j" A. f9 A9 Cceph auth get-or-create client.glance | ssh {glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring
% l/ s+ Y( h8 S- s5 }' Issh {glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyring
" E0 L" z8 n. {8 C& {ceph auth get-or-create client.cinder | ssh {cinder-volume-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
. }5 t& a" G" c9 Mssh {cinder-volume-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder.keyring
ceph auth get-or-create client.cinder-backup | ssh {cinder-backup-server} sudo tee /etc/ceph/ceph.client.cinder-backup.keyring
9 A8 a0 r4 u/ D8 c1 l  ?! qssh {cinder-backup-server} sudo chown cinder:cinder /etc/ceph/ceph.client.cinder-backup.keyring

/ [6 [* {3 p! ]9 b% L* d) n/ e" r
在nova-compute节点上保存和cinder-volume相同的keyring

+ r6 g% t4 E3 t- W4 x9 u1 c- h0 d% Uceph auth get-or-create client.cinder | ssh {nova-compute-server} sudo tee /etc/ceph/ceph.client.cinder.keyring
* W( G7 |5 ^# h4 O2 Y4 z9 q2 p0 W1 q

% s/ V6 j8 j" J  V% G: Q/ d在libvirt上添加secret key

// 获取cinder keyring，并保存到一个临时文件中
ceph auth get-key client.cinder | ssh {nova-compute-node} tee client.cinder.key
) b* B. [; k+ u% U/ [  w$ q  W$ Y
// 生成一个UUID
uuidgen
+ c/ _: _4 k0 |0 }0 v457eb676-33da-42ec-9a8c-9293d545c337
8 h% s; {$ D; C7 y$ m
4 q% b3 N( r5 ]2 \// 修改secret.xml文件，注意替换下面的uuid
cat > secret.xml <<EOF
3 a& \$ f( t4 r, Z( c2 v/ u2 e<secret ephemeral='no' private='no'>
3 R+ o1 H: T/ a8 L  Z# Z, K  <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid>
  <usage type='ceph'>
" I8 [& h! |  c    <name>client.cinder secret</name>
0 ~/ u" g. S3 a9 E* y/ q. U8 L# g  </usage>
</secret>
4 B! ^* E8 A  p) j& yEOF

+ y7 H- \7 l6 M) q2 B  Csudo virsh secret-define --file secret.xml
1 z2 L  m2 F  \! k8 ASecret 457eb676-33da-42ec-9a8c-9293d545c337 created
, W) r+ M7 |! [9 ]3 e2 l0 Q
$ @6 z( S0 e& j; m- N8 }// 设置libvirt的secret key，并删除之前的key临时文件
7 _  q! W) p' K8 Csudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml


在三大模块中增加ceph相关配置
Glance配置
* a: Q+ x% N- r- ?8 z- @
4 j/ K% T9 k( t// 在/etc/glance/glance-api.conf中添加如下：
: n6 {6 M: w+ s
# q; M4 M( ]' F, ~// 在DEFAULT域中增加：
! x8 T# p/ c& X[DEFAULT]
  }* ]6 @& _# s2 L) {# {: z0 _8 R6 f& rdefault_store = rbd

; S4 Z% ]: T  e- M1 j  K// 在glance_store域中增加如下，如果没有glance_store域，直接创建：
- f% C2 {" z/ W: Z4 }/ R[glance_store]
stores = rbd
rbd_store_pool = images
2 B6 P/ D- O( |& n0 orbd_store_user = glance
6 H# X( L; F( k6 }7 a  Zrbd_store_ceph_conf = /etc/ceph/ceph.conf
$ ~0 G& ^$ F8 s7 t8 srbd_store_chunk_size = 8

* P& E7 G+ a( X. V: P0 ~1 q
Cinder配置
  _5 G) e: ?. e0 x7 z
// 在/etc/cinder/cinder.conf中添加如下：
2 h7 a; X2 q% n
// 在DEFAULT域中增加：
[DEFAULT]
enabled_backends = ceph

2 a1 u, k. Q) \0 ~* K// 在ceph域中增加如下，如果没有ceph域，直接创建：
[ceph]
9 l% p+ a. t/ W% evolume_driver = cinder.volume.drivers.rbd.RBDDriver
rbd_pool = volumes
7 h8 W% O# ^& irbd_ceph_conf = /etc/ceph/ceph.conf
+ T" d* q& v; x: X- d  Yrbd_flatten_volume_from_snapshot = false
rbd_max_clone_depth = 5
7 b; H# s1 ?* T6 M$ w6 w& @rbd_store_chunk_size = 4
rados_connect_timeout = -1
% P; u+ ^  Y7 h& k+ p) q; xglance_api_version = 2

/ ^9 r* |$ O& k// 如果使用了ceph auth，还需增加：
rbd_user = cinder
rbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337


9 y5 y0 Q! m9 Z- g" N5 FCinder-backup配置
1 U' _1 K& G" r0 z. Y
, x, [! O0 d% B+ {6 k% I1 w// 在/etc/ceph/ceph.conf中添加如下：
backup_driver = cinder.backup.drivers.ceph
, o$ A7 h. M7 L& z( dbackup_ceph_conf = /etc/ceph/ceph.conf
backup_ceph_user = cinder-backup
( p: G- a& Y; J; _0 D/ ]9 N# l, dbackup_ceph_chunk_size = 134217728
% v0 D- V( M- H# ]3 q( \backup_ceph_pool = backups
backup_ceph_stripe_unit = 0
- j& U6 y) T1 l. ^* ibackup_ceph_stripe_count = 0
: O+ D. G/ K7 [! ?* y! rrestore_discard_excess_bytes = true


1 v7 v: q7 e9 c# b3 {& m1 C计算机点Nova配置

+ |! g* K) M" g& K# h// 在/etc/nova/nova.conf中添加如下：
[libvirt]
images_type = rbd
" L: X& z# b3 ]5 S2 L: i7 Dimages_rbd_pool = vms
images_rbd_ceph_conf = /etc/ceph/ceph.conf
% W1 [$ \% h/ S$ x% Q3 v$ a5 h( ^8 prbd_user = cinder
4 k! T' E( C6 t+ J, [9 urbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337
+ h) _( r5 a+ \  a" J% ?/ hdisk_cachemodes="network=writeback"