找回密码
 注册
查看: 4178|回复: 1

cinder对接多个ceph存储

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2021-2-5 08:00:08 | 显示全部楼层 |阅读模式

1. 检查cinder当前backend配置

使用cinder service-list,查看cinder-volume服务的Host字段格式。

旧版格式:

新版格式:

旧版中Host字段是cinder-volume服务所在节点的HOSTNAME,新版中Host字段是HOSTNAME@BACKEND。

如果是旧版,需要先修改为新版,见步骤2。

如果是新版,不需要修改,直接执行步骤3。

" |# z. ^1 N) c4 g9 C% v8 u

2. 修改旧版backend配置为新版

编辑/etc/cinder/cinder.conf文件,删除其中原有的ceph backend相关配置:

[DEFAULT]rbd_store_chunk_size = 4rbd_max_clone_depth = 5rbd_flatten_volume_from_snapshot = truerbd_ceph_conf = /etc/ceph/ceph2.confrbd_pool = volumesrados_connect_timeout = -1volume_driver = cinder.volume.drivers.rbd.RBDDriver
0 @( r) E) r  g- Z4 T( F. P

添加如下配置:

[DEFAULT]enabled_backends = ceph2[ceph2]rbd_pool = volumes  (cephpool-name)rbd_ceph_conf = /etc/ceph/ceph2.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=ceph2volume_driver = cinder.volume.drivers.rbd.RBDDriver: X8 w- S$ Y5 d) d* r

重启cinder-volume服务:

# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 7
7 E* w- @8 V" o+ {

执行cinder service-list,查看cinder-volume的Host字段是否变为新版格式。

然后更新已经创建的volume的host属性:

# cinder-manage volume update_host --currenthost HOSTNAME --newhost HOSTNAME@BACKEND
, u" b; K: r9 b

例如:

# cinder-manage volume update_host --currenthost node-1.domain.tld --newhost node-1.domain.tld @ceph
# y7 q2 R, n5 |6 F

查看volume 的os-vol-host-attr:host属性已经变为HOSTNAME@BACKEND#RBD的格式:

到此,旧版配置格式已经改成新版配置格式,进行步骤3添加另一个ceph后端。


- o, X" u' `- d- U* V

3. 添加一个ceph后端

将新的ceph集群的配置文件复制到所有openstack节点(包括控制节点和计算节点)。

注意:不同ceph集群依靠配置文件的名字区分,如:已有ceph集群的配置文件为/etc/ceph/ceph.conf,如果新集群全用SAS盘,配置文件可以命名为:/etc/ceph/ceph-sas.conf。

然后编辑/etc/cinder/cinder.conf,添加新的ceph backend,编辑完后的相关配置如下:

[DEFAULT]enabled_backends = ceph,ceph-new[ceph]rbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=cephvolume_driver = cinder.volume.drivers.rbd.RBDDriver[ceph-new]rbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph-new.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=ceph-newvolume_driver = cinder.volume.drivers.rbd.RBDDriver( Z/ j  ?0 C& ^3 O* u

重启cinder-volume服务:

# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 7$ y  O# h; S" S1 H. G' H7 w5 i

执行cinder service-list命令,可以看到每个后端对应一个cinder-volume服务:

! q0 _7 q5 y% r' m* ^

4. 配置volume-type

对于每个ceph后端,创建一个volume type,并将volume type关联配置文件中的volume_backend_name:

# cinder type-create ceph1# cinder type-key ceph set volume_backend_name=ceph1# cinder type-create ceph-new# cinder type-key ceph-new set volume_backend_name=ceph-new* g+ K, ~# J7 ^1 ~. [* _

然后执行cinder type-list可以看到配置的volume type:

# k. ~9 @2 s+ L- f: }! D

5. 创建卷

此后创建卷时,可以指定volume type,将卷创建到指定的ceph后端:

# cinder create 30 --name vol-01 --volume-type ceph-new8 k# \) T: [1 L# T9 D, ]8 }. \

前端也可选则volume type:

注:如果不指定volume type,cinder-scheduler会忽略volume type,按默认的调度器从所有cinder-volume调度。

* k! H, s& \) s7 _3 P- m) v/ W

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2021-2-5 08:00:09 | 显示全部楼层
1. 检查cinder当前backend配置
使用cinder service-list,查看cinder-volume服务的Host字段格式。
旧版格式:
新版格式:
旧版中Host字段是cinder-volume服务所在节点的HOSTNAME,新版中Host字段是HOSTNAME@BACKEND。
如果是旧版,需要先修改为新版,见步骤2。
如果是新版,不需要修改,直接执行步骤3。
) K2 q3 r7 {5 x
2. 修改旧版backend配置为新版
编辑/etc/cinder/cinder.conf文件,删除其中原有的ceph backend相关配置:
[url=]https://common.cnblogs.com/images/copycode.gif[/url]
& l' j& `; {9 q9 y& k/ s[DEFAULT]rbd_store_chunk_size = 4rbd_max_clone_depth = 5rbd_flatten_volume_from_snapshot = truerbd_ceph_conf = /etc/ceph/ceph.confrbd_pool = volumesrados_connect_timeout = -1volume_driver = cinder.volume.drivers.rbd.RBDDriver[url=]https://common.cnblogs.com/images/copycode.gif[/url]* Z: D9 ]  i$ ^; W
/ n/ K! {" G. n# x
添加如下配置:
[url=]https://common.cnblogs.com/images/copycode.gif[/url]
/ e+ Z0 e* W0 |9 X2 q[DEFAULT]enabled_backends = ceph[ceph]rbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=cephvolume_driver = cinder.volume.drivers.rbd.RBDDriver[url=]https://common.cnblogs.com/images/copycode.gif[/url]. J3 [. z7 e/ C! u! c* K4 O  ?
( ?. ?7 b7 K+ y  ?0 H) U
重启cinder-volume服务:
# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 7
4 z% D1 F3 l2 B, n# d$ v; N. a
执行cinder service-list,查看cinder-volume的Host字段是否变为新版格式。
然后更新已经创建的volume的host属性:
# cinder-manage volume update_host --currenthost HOSTNAME --newhost HOSTNAME@BACKEND4 j6 ~& C' U% C7 a5 {
例如:
# cinder-manage volume update_host --currenthost node-1.domain.tld --newhost node-1.domain.tld @ceph
$ U$ i! V, w' U* y7 D; |! R3 \
查看volume 的os-vol-host-attr:host属性已经变为HOSTNAME@BACKEND#RBD的格式:
到此,旧版配置格式已经改成新版配置格式,进行步骤3添加另一个ceph后端。
3 J  Q. }, L; H
3. 添加一个ceph后端
将新的ceph集群的配置文件复制到所有openstack节点(包括控制节点和计算节点)。
注意:不同ceph集群依靠配置文件的名字区分,如:已有ceph集群的配置文件为/etc/ceph/ceph.conf,如果新集群全用SAS盘,配置文件可以命名为:/etc/ceph/ceph-sas.conf。
然后编辑/etc/cinder/cinder.conf,添加新的ceph backend,编辑完后的相关配置如下:
[url=]https://common.cnblogs.com/images/copycode.gif[/url]
' V& Q' k4 r' [& ?8 ~& X: o5 _! d[DEFAULT]enabled_backends = ceph,ceph-sas[ceph]rbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=cephvolume_driver = cinder.volume.drivers.rbd.RBDDriver[ceph-sas]rbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph-sas.confrbd_flatten_volume_from_snapshot = truerbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1glance_api_version = 2volume_backend_name=ceph-sasvolume_driver = cinder.volume.drivers.rbd.RBDDriver[url=]https://common.cnblogs.com/images/copycode.gif[/url]
+ S, u' m. n$ ]" D* ?
& u" z/ \& f* G5 e9 e/ E
重启cinder-volume服务:
# service cinder-volume restart                    # 对于Ubuntu 14.04# systemctl restart openstack-cinder-volume        # 对于CentOS 75 n7 e' ?8 E5 [
执行cinder service-list命令,可以看到每个后端对应一个cinder-volume服务:

0 f( C: b/ J& a4 l, r- H$ _8 c$ q: \
4. 配置volume-type
对于每个ceph后端,创建一个volume type,并将volume type关联配置文件中的volume_backend_name:
# cinder type-create ceph# cinder type-key ceph set volume_backend_name=ceph# cinder type-create ceph-sas# cinder type-key ceph-sas set volume_backend_name=ceph-sas! D$ g% Q% ?$ K
然后执行cinder type-list可以看到配置的volume type:
2 {0 E- E3 c) W8 |1 e7 W8 I
5. 创建卷
此后创建卷时,可以指定volume type,将卷创建到指定的ceph后端:
# cinder create 10 --name vol-01 --volume-type ceph-sas
; f4 w% {) S9 V( `& }4 c
前端也可选则volume type:
注:如果不指定volume type,cinder-scheduler会忽略volume type,按默认的调度器从所有cinder-volume调度。
& [7 z7 a  g& F, A. y2 r# K1 S9 s
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 02:05 , Processed in 0.019128 second(s), 21 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表