Cinder配置多Ceph后端步骤

admin

1. 检查cinder当前backend配置

使用cinder service-list，查看cinder-volume服务的Host字段格式。

旧版格式：

  e, Z, J+ X" y0 d

新版格式：

旧版中Host字段是cinder-volume服务所在节点的HOSTNAME，新版中Host字段是HOSTNAME@BACKEND。

如果是旧版，需要先修改为新版，见步骤2。

如果是新版，不需要修改，直接执行步骤3。

0 r" z3 [! }8 U5 z4 \: {( T/ d. c

2. 修改旧版backend配置为新版

编辑/etc/cinder/cinder.conf文件，删除其中原有的ceph backend相关配置：

[backcolor=rgb(245, 245, 245) !important][url=]

                               
登录/注册后可看大图

[/url]
[DEFAULTrbd_store_chunk_size = 4rbd_max_clone_depth = 5rbd_flatten_volume_from_snapshot = truerbd_ceph_conf = /etc/ceph/ceph.confrbd_pool = volumesrados_connect_timeout = -1volume_driver = cinder.volume.drivers.rbd.RBDDriver[backcolor=rgb(245, 245, 245) !important][url=]

                               
登录/注册后可看大图

[/url]
3 `; k1 N+ t; {: h7 i
3 N/ U" I5 I  Y8 c; ~, ?1 \6 H

添加如下配置：

[backcolor=rgb(245, 245, 245) !important][url=]

' b) W" B% X$ h. }5 B# G1 R                               
登录/注册后可看大图

[/url]
5 J! c" ]+ h( O, \[DEFAULTenabled_backends = ceph[cephrbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=cephvolume_driver = cinder.volume.drivers.rbd.RBDDriver[backcolor=rgb(245, 245, 245) !important][url=]

0 v9 z9 e: P$ H+ W) W                               
登录/注册后可看大图

[/url]

/ y" G) F2 o9 n7 A' w7 I( b

重启cinder-volume服务：

# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 7
) W8 O0 i) V% d/ i( V$ V

执行cinder service-list，查看cinder-volume的Host字段是否变为新版格式。

然后更新已经创建的volume的host属性：

# cinder-manage volume update_host --currenthost HOSTNAME --newhost HOSTNAME@BACKEND
+ Z7 E+ ]) b' h+ q

例如：

# cinder-manage volume update_host --currenthost node-1.domain.tld --newhost node-1.domain.tld @ceph

查看volume 的os-vol-host-attr:host属性已经变为HOSTNAME@BACKEND#RBD的格式：

' F. l# e8 w8 g8 c7 w2 S- h9 T; l- b3 h6 j

到此，旧版配置格式已经改成新版配置格式，进行步骤3添加另一个ceph后端。

3. 添加一个ceph后端

将新的ceph集群的配置文件复制到所有openstack节点（包括控制节点和计算节点）。

注意：不同ceph集群依靠配置文件的名字区分，如：已有ceph集群的配置文件为/etc/ceph/ceph.conf，如果新集群全用SAS盘，配置文件可以命名为:/etc/ceph/ceph-sas.conf。

然后编辑/etc/cinder/cinder.conf，添加新的ceph backend，编辑完后的相关配置如下：

[backcolor=rgb(245, 245, 245) !important][url=]

: r# q/ Z# Z; [1 u' D7 s                               
登录/注册后可看大图

[/url]
[DEFAULTenabled_backends = ceph,ceph-sas[cephrbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=cephvolume_driver = cinder.volume.drivers.rbd.RBDDriver[ceph-sasrbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph-sas.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=ceph-sasvolume_driver = cinder.volume.drivers.rbd.RBDDriver[backcolor=rgb(245, 245, 245) !important][url=]

                               
登录/注册后可看大图

[/url]

重启cinder-volume服务：

# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 7

执行cinder service-list命令，可以看到每个后端对应一个cinder-volume服务：

2 u, h) o  ^- p- o! e) W) b& e# V

4. 配置volume-type

对于每个ceph后端，创建一个volume type，并将volume type关联配置文件中的volume_backend_name：

# cinder type-create ceph# cinder type-key ceph set volume_backend_name=ceph# cinder type-create ceph-sas# cinder type-key ceph-sas set volume_backend_name=ceph-sas
, u# l; ?: ]9 B& T! o

然后执行cinder type-list可以看到配置的volume type：

- i  P' O9 r- \; K) ?

5. 创建卷

此后创建卷时，可以指定volume type，将卷创建到指定的ceph后端：

# cinder create 10 --name vol-01 --volume-type ceph-sas
2 n  T/ a" T3 W8 {

前端也可选则volume type：

+ Z) c* W! D7 @: w9 c

注：如果不指定volume type，cinder-scheduler会忽略volume type，按默认的调度器从所有cinder-volume调度。