kvm虚机使用ceph rbd块设备作为后端存储

admin

1.KVM的Qemu与Ceph RBD块存储进行对接
1.1.Qemu与RBD块存储对接的架构图
Qemu本身并不是KVM的一部分，而是一整套完整的虚拟化解决方案，它是纯软件实现的，包括处理器虚拟化、内存虚拟化以及各种虚拟设备的模拟，但因为是纯软件模拟，所以性能相对比较低。而广义的KVM实际上包含两部分，一部分是基于LINUX内核支持的KVM内核模块，另一部分就是经过简化和修改Qemu。KVM内核模块模拟处理器和内存以支持虚拟机的运行，Qemu主要处理I/O以及为用户提供一个用户空间工具来进行虚拟机的管理。两者相互结合，相辅相成，构成了一个完整的虚拟化平台。
2 n  C% ?4 E- f# [' n3 I* |
Qemu主要是用来虚拟各种资源的，例如网卡、硬盘等等，我们可以将Qemu产生的数据存储在Ceph集群的RBD块存储中。

Qemu通过librbd驱动组件与Ceph集群的librados建立连接，将数据通过RBD块存储写入到OSD中。
: S5 ~# E6 e3 s2 k/ u. S& L2 N; r
# z0 |7 a5 |/ u+ u1 n; `% [: I
# q/ A1 z% @5 s, k: M. r4 x
Qemu与Ceph RBD块存储对接，其实就是在Ceph集群的RBD资源池中创建了一块存储卷，属于RBD类型，这块卷创建完后，KVM在创建虚拟机的时候就可以使用这块卷来持久化虚拟机的数据。
. Z  [7 J( V0 ?0 f& A8 b
4 T5 W* R8 N( ~官方文档：https://docs.ceph.com/en/quincy/rbd/qemu-rbd/

1.2.配置KVM服务器连接Ceph集群
/ x* ^; A3 C; K7 H( y8 l$ L. dQemu是在KVM服务器中直接创建的，因此需要配置KVM的服务器连接到Ceph集群，使用Ceph集群的RBD块存储。

. \& i& v+ q0 X; o' {1.安装ceph相关命令
[root@kvm ~]# yum -y install ceph-common
: V- K9 b9 ]3 c# W: x( C
2.拷贝ceph的配置文件
3 s6 _( G) I, X2 E8 A6 T[root@kvm ~]# scp -rp root@ip:/etc/ceph /etc/
1 ]+ s9 Q# G; U. i( {
. v* E' }- I1 u/ y! E& C3.查看集群的状态
[root@kvm ~]# ceph -s
    cluster 70d27aec-742e-4a95-b000-cf37ebba35d0
     health HEALTH_OK
: i! f2 A; g& H, d' P     monmap e3: 3 mons at {compute1=17.24.14.5:6789/0,compute2=17.24.14.6:6789/0,compute3=17.24.14.7:6789/0}
* E4 }& S" E4 x            election epoch 352, quorum 0,1,2 compute1,compute2,compute3
$ v+ g, a# V: P% l0 C6 b9 L* R     osdmap e29566: 131 osds: 128 up, 128 in
7 B7 n) R/ N& X7 Z* h9 e            flags sortbitwise,require_jewel_osds
      pgmap v191784797: 10240 pgs, 1 pools, 99538 GB data, 25555 kobjects
            291 TB used, 174 TB / 465 TB avail
               10234 active+clean
                   5 active+clean+scrubbing+deep
                   1 active+clean+scrubbing
. K3 o7 ?; l' `! q3 B) T9 K
5 a3 H1 I2 V! K$ t$ N, `1.3.在Ceph集群中为KVM创建一个资源池
# z+ `* y& n" U$ W( Y% _. m; {! O[root@kvm ~]# ceph osd pool create kvm_rbd 32 32
$ W  L6 ^5 v2 L9 Y; @pool 'kvm_rbd' created

1.4.使用Qemu在RBD块存储中创建卷
0 V% G) e! e! d& D1）在RBD中创建卷

命令：qemu-img create -f raw rbd:{资源池名称}/卷名 大小
/ D7 {) h/ N5 a5 n+ G
' z& y; Q. S* _1 M/ s) j+ r[root@kvm ~]# qemu-img create -f raw rbd:kvm_rbd/vs-centos7.img 500G
9 D3 V# Y: l/ S$ F  n) r& W  DFormatting 'rbd:kvm_rbd/vs-centos7.img', fmt=raw size=5368709120000 cluster_size=0
! H; `& P5 d, T
5 L$ i' h; e  w# z+ u' F) l7 e8 a
2）查看创建的Qemu卷
9 N/ M+ y5 ?$ @" p) X- O
0 v/ I3 ~" y# U[root@kvm ~]# qemu-img info rbd:kvm_rbd/vs-centos7.img
image: rbd:kvm_rbd/vs-centos7.img
3 i  B( s; Z9 \0 y5 l  A8 Tfile format: raw
virtual size: 500.0G (536870912000 bytes)
disk size: unavailable
4 x7 y' @' s8 u. Q
2 c6 s; x! e. h; U这个卷其实就是资源池中创建的一个块设备。

[root@kvm ~]# rbd -p kvm_rbd ls
vs-centos7.img

[root@kvm ~]# rbd info kvm_rbd/vs-centos7.img
7 u0 `+ a# z1 m: yrbd image 'vs-centos7.img':
% \$ F1 X8 _, d' Y) |        size 500 GiB in 1280 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
9 U& W  B5 S+ S- r) t6 w; Z6 c        id: 19a9415778427
        block_name_prefix: rbd_data.19a9415778427
        format: 2
        features: layering
        op_features:
        flags:
" I8 o( x1 T# ?5 S+ x8 }        create_timestamp: Wed Apr 20 22:14:33 2022
. {% Q$ A# S7 l        access_timestamp: Wed Apr 20 22:16:43 2022
5 s8 ?& p2 C2 |8 S- Q  y        modify_timestamp: Wed Apr 20 22:14:33 2022

. r/ l+ ?$ b* p+ [0 ?, o; {1.5.扩容卷的空间
[root@kvm ~]# qemu-img resize rbd:kvm_rbd/vs-centos7.img 6G
0 J" ~6 D. a- l: B& G/ ~Image resized
! _3 \$ o& p3 \( \# b
2.Libvirt使用Qemu为KVM虚拟机提供存储
: S- B' c0 ^; t: u5 `% e, ?4 SQemu已经通过RBD创建出来一个块存储，现在还无法为虚拟提供使用，想要让虚拟机的数据持久化到RBD块存储中，还需要配置Libvirt驱动，由Libvirt通过Qemu读取到Ceph集群的块存储，从而将Qemu在RBD中创建的块设备添加到虚拟机中，充当虚拟机的硬盘，持久化产生的数据。
) {& A" \( W' J
官方文档：https://docs.ceph.com/en/quincy/rbd/libvirt/


1 P0 Q% ]) U! r1 X! S1 M
KVM与Ceph对接，其实就是在Ceph的RBD资源池中创建一个KVM虚拟机可以使用的块设备，然后将块设备添加到虚拟机中进行使用，针对虚拟机的系统盘，也可以通过工具导入到Ceph的块存储中。

大致实现步骤：

2 l2 C( p7 u% g) {8 x2 ^1）在Ceph集群中创建一个资源池作为Qemu卷存储的块存储资源池。

2）创建一个用户用于Libvirt访问Ceph集群的块设备。

8 j0 K1 u8 f# t3）创建一个Qemu存储卷。
/ {" j' R% p! p! [
" [  \1 A& Z3 i5 L4）在KVM中创建Secret证书，存放访问Ceph集群的用户认证信息。

5）编辑虚拟机应用RBD块存储中的Qemu卷，存储虚拟机的数据。
9 c" u. T  x0 F  M! j/ }* X1 a' a
7 u3 V/ O  Z; F% H其中1/2/3步骤都可以不做，在前面配置Qemu的到时候已经完成了，这里为了全面实现步骤，会全部都进行操作。
9 ~) U5 ?$ H( T9 i8 A: h
3 T" ?3 w5 G1 m9 Q) X4 F( k2.1.在Ceph集群中创建资源池
2 K8 H! {' }9 Y" @! k' d1.创建资源池
9 ]. ]# m: b; }- P" ~[root@ceph-node-1 ~]# ceph osd pool create kvm-libvirt-pool 16 16
pool 'kvm-libvirt-pool' created

2.将资源池初始化成RBD类型
# m3 b+ Z1 f- V7 W# w4 `[root@ceph-node-1 ~]# rbd pool init kvm-libvirt-pool

2.2.创建用于KVM访问RBD块存储的用户
[root@ceph-node-1 ~]# ceph auth get-or-create client.kvm-libvirt mon 'profile rbd' osd 'profile rbd pool=kvm-libvirt-pool'
& P: S3 @5 ?0 R5 |[client.kvm-libvirt]
        key = AQBaK2BinaBzJxAAO8GmydNxxxxx2BUFhdw==
% }+ a, c; ?& I: O  a5 j% D
2.3.创建Qemu卷
+ w3 G' B3 ~% K4 Y[root@kvm ~]# qemu-img create -f raw rbd:kvm-libvirt-pool/vs-centos-1-data.img 500G
Formatting 'rbd:kvm-libvirt-pool/vs-centos-1-data.img', fmt=raw size=536870912000 cluster_size=0

[root@kvm ~]# qemu-img info rbd:kvm-libvirt-pool/vs-centos-1-data.img
' \' o$ l* m: Ximage: rbd:kvm-libvirt-pool/vs-centos-1-data.img
file format: raw
' i6 x# S3 I' cvirtual size: 500.0G (536870912000 bytes)
disk size: unavailable
3 d; @2 C, N( G' P
2.4.将Ceph的认证用户写入到KVM的Secret中
首先将认证用户的名称写入到一个XML文件中，通过virsh命令的secret-define参数将带有用户名称的XML导入到KVM虚拟化中，此时会在KVM中生成一个Secret，每个Secret都有一个UUID，这个UUID可以理解成是Secret的名称，此时Secret中已经有用户名的信息了，最后再通过secret-set-value参数将认证用户的KEY写入到Secret中。

' _! z: T5 ^: T, g2 F$ x用户名称和Key都写入到Secret后，虚拟机在连接Ceph集群时，直接指定Secret的UUID即可使用。

1.编写带有认证用户名称的xml
[root@kvm ~]# cat secret.xml
<secret ephemeral='no' private='no'>
! D9 h% I: r: M8 `; ~        <usage type='ceph'>
                <name>client.kvm-libvirt secret</name>
        </usage>
0 n1 X3 I& U  L& c* g0 ]</secret>
, F/ V) g/ z3 V$ A1 j% M* b#name中就是认证用户的名称
) [. g1 H5 ~6 N% V2 j
  S8 c: E' s' ]+ G! L) x2.将认证用户的xml文件导入到KVM中生成一个Secret
2 }" |6 ^: b8 K  N( S[root@kvm ~]# virsh secret-define --file secret.xml
生成 secret 66d9bec3-cbd7-4161-9614-1d0bc81c5e82

3.将认证用户的Key写入到Secret中
[root@kvm ~]# virsh secret-set-value --secret 66d9bec3-cbd7-4161-9614-1d0bc81c5e82 --base64 AQBaK2BinaBzJxAAO8GmydNIxGc2fVn2BUFhdw==
secret 值设定
#--secret：secret的uuid
#--base64：用户的key

7 h1 d; n4 W# e4 ?4.查看生成的Secret信息
: T3 t. ]! R8 u1 e[root@kvm ~]# virsh secret-list
UUID                                  用量
--------------------------------------------------------------------------------
; g2 F" s+ P0 X5 C' F1 \2 B+ Q 66d9bec3-cbd7-4161-9614-1d0bc81c5e82  ceph client.kvm-libvirt secret
[root@kvm ~]# virsh secret-dumpxml 66d9bec3-cbd7-4161-9614-1d0bc81c5e82
* f# n; r% A8 O8 L3 \1 C<secret ephemeral='no' private='no'>
5 b9 G8 P- B- T, \6 i  s0 b  <uuid>66d9bec3-cbd7-4161-9614-1d0bc81c5e82</uuid>
9 _' K, t8 {) }" w" d) T  <usage type='ceph'>
    <name>client.kvm-libvirt secret</name>
  </usage>
</secret>

, d& V& p& U6 S& D: k2.5.在虚拟机中应用RBD块存储中创建的块设备
+ L" m4 |7 q+ n. d  p需要编辑虚拟机的配置文件，在配置文件中添加新硬盘的信息，添加的硬盘就是Ceph RBD中Qemu创建的卷，也是块设备。

( m3 G8 ?* I1 a1 H' R  O# Z1）先停止运行虚拟机

虚拟机添加硬盘需要重启才能生效，可以先停止运行，添加完硬盘后再启动虚拟机。

[root@kvm ~]# virsh destroy vs-centos-1
域 vs-centos-1 被删除
* o& P  x  q2 ^& H
2）调整虚拟机的配置文件增加硬盘
8 y0 b, F; h9 P' \
在<devices>模块中添加一组<disk>，<disk>就是用来配置硬盘的信息。
$ U0 s8 f6 e  x+ W! v: ~" G1 `/ q
7 Z3 [) P: x: g* f在<source>中配置硬盘的来源，我们是Ceph集群的RBD块存储提供的硬盘，因此在protocol中要填写rbd，name中填写块设备的名称。
1 `: E* s& l0 ?% O' s2 j
在<auth>中配置认证用户的Secret，在username中填写认证用户的名称、uuid填写secret的uuid。

' M( X  |# ?, r5 Q[root@kvm ~]# virsh edit vs-centos-1
    <disk type='network' device='disk'>
      <source protocol='rbd' name='kvm-libvirt-pool/vs-centos-1-data.img'>
+ v- u$ A  O* n1 V0 j/ k           <host name='192.18.0.20' port='6789'/>
6 @, d  x8 ^5 r2 _           <host name='192.18.0.21' port='6789'/>
           <host name='192.18.0.22' port='6789'/>
      </source>
/ h- q# i1 V( ^/ X2 R, w      <auth username='kvm-libvirt'>
           <secret type='ceph' uuid='66d9bec3-cbd7-4161-9614-1d0bc81c5e82'/>
      </auth>
      <target dev='vdb' bus='virtio'/>
    </disk>
6 q( l# Y8 ]$ |

1 V( o# f9 ?; H1 C
2 ]2 ]5 B6 }0 X0 o5 t3 T3）启动虚拟机观察硬盘是否添加成功

两种方式可以查看虚拟机的硬盘，更倾向于后者，清晰明了。
& Y- {* B5 J. N+ J% @6 P( D0 d2 T6 ]
[root@kvm ~]# virsh qemu-monitor-command --hmp vs-centos-1 'info block'
  X6 q3 G/ j9 r& i7 k4 Kdrive-virtio-disk0: removable=0 io-status=ok file=/var/lib/libvirt/images/vs-centos-1.img ro=0 drv=qcow2 encrypted=0 bps=0 bps_rd=0 bps_wr=0 iops=0 iops_rd=0 iops_wr=0
0 h4 _. ^" R% j1 s; ^+ S! Vdrive-virtio-disk1: removable=0 io-status=ok file=rbd:kvm-libvirt-pool/vs-centos-1-data.img:id=kvm-libvirt:key=AQBaK2BinaBzJxAAO8GmydNIxGc2fVn2BUFhdw==:auth_supported=cephx\\;none:mon_host=192.168.20.20\\:6789\\;192.168.20.21\\:6789\\;192.168.20.22\\:6789 ro=0 drv=raw encrypted=0 bps=0 bps_rd=0 bps_wr=0 iops=0 iops_rd=0 iops_wr=0
+ }: M- L& X3 F9 X8 edrive-ide0-0-0: removable=1 locked=0 tray-open=0 io-status=ok [not inserted]
  \) I: l' G# w9 n
* t$ o% v" d$ F# O[root@kvm ~]# virsh domblklist vs-centos-1
目标     源
. P4 M3 x4 Q0 [9 s# z/ Q- B------------------------------------------------
# y8 N! o" F6 N% @2 o# T$ fvda        /var/lib/libvirt/images/vs-centos-1.img
% r! B' t& Z, N2 x8 g4 F; R% |8 ~vdb        kvm-libvirt-pool/vs-centos-1-data.img
/ ~! V3 V5 d5 F: ~- c, Thda        -
& s" f3 D* ?9 k3 g1 g! v
2.6.虚拟机使用RBD块存储提供的硬盘
% {/ H( e* q' ]% L# J* k' M+ T0 FRBD块存储提供的硬盘已经挂载到虚拟机中了，下面进入虚拟机中使用该硬盘。

由块存储提供的硬盘建议不分区，直接将整个盘进行挂载，后期扩容时非常方便。

lsblk
mkfs.xfs /dev/vdb
& g9 L+ y+ Y$ G2 u" x4 Bmkdir /data
mount /dev/vdb /data
df -hT
! Z/ c5 s' \! _; y$ pcd /data
5 N# J9 @9 H/ s; c: U# r1 _# d. {* P$ ]touch file{1..5}.txt
2 e0 J! P3 k& `6 G/ G* A1 |ll


此时KVM虚拟机已经和Ceph集群的RBD块存储对接完成，由RBD块存储为虚拟机提供硬盘存储数据。
! g/ Q" x/ e' D$ `/ e  F


2.7.RBD提供给KVM虚拟机的硬盘扩容方法
' E2 {3 @% c6 ?1）扩容RBD块存储中块设备的空间
1 v$ O! L5 \- @( M
: M7 X2 Q! w+ }将原来的5G扩容到7G。
% o% v4 {5 {6 T5 S+ w% N, u9 @
[root@kvm ~]# qemu-img resize rbd:kvm-libvirt-pool/vs-centos-1-data.img 7G
Image resized.
* g9 N% Y. n$ B4 N  r
; _) i* Z: M+ G; p/ D/ {: m2）重启虚拟机

KVM虚拟机硬盘空间扩容后，需要重启虚拟机才能识别到扩容后的空间大小。

[root@kvm ~]# virsh destroy vs-centos-1
6 v9 _; x9 r' l# G$ A域 vs-centos-1 被删除

[root@kvm ~]# virsh start vs-centos-1
; k) R' P4 ^, }' T域 vs-centos-1 已开始

2 Y: [) ^7 h) |7 W6 I
3）查看硬盘空间是否生效
7 _: x6 p, z/ a- H1 Z. D8 y* T! R4 Z
& O, u+ r! g# e+ R: \磁盘空间已生效。
  [: g9 Z  Y" c! |; w
$ J  e. S7 N6 f- o: ]- N

  z% j5 v( _/ g( d$ _* e- \; z8 e2 B3.将现有虚拟机本地的系统盘迁移到Ceph集群进行存储
5 A& O+ _! r7 q: P6 n) A首先将本地的系统盘导入到Ceph集群的RBD存储资源池中，形成一个新的块设备文件，然后来编辑虚拟机的配置文件，调整系统盘的信息即可完成迁移。

3.1.将本地的系统盘导入到Ceph集群的RBD中
8 O& R! m$ A4 M5 @命令格式：qemu-img convert -f qcow2 {本地数据盘路径} -O raw {rbd存储资源池块设备路径}

+ K$ N, }' e2 f. c2 t[root@kvm ~]# qemu-img convert -f qcow2 /var/lib/libvirt/images/virtual-host.img -O raw rbd:kvm-libvirt-pool/vs-centos-1-sys.img

查看导入到RBD块存储的系统盘。
0 |9 W! B9 x8 t: P$ m& e, l
[root@kvm ~]# rbd -p kvm-libvirt-pool ls
) h* H' t+ q1 h3 Ivs-centos-1-data.img
/ q9 u8 n& I& ~+ N) mvs-centos-1-sys.img
  g) v- ^  ~* s9 l% L" r
[root@kvm ~]# rbd info kvm-libvirt-pool/vs-centos-1-sys.img
$ z9 c* O. F2 r) i9 ~! U' b( Frbd image 'vs-centos-1-sys.img':
        size 10 GiB in 2560 objects
; W& j4 o  I0 u/ S* X        order 22 (4 MiB objects)
- t0 G' F; \9 A        snapshot_count: 0
$ U6 r- J( U+ V/ K2 @        id: 19a5d559f577b
        block_name_prefix: rbd_data.19a5d559f577b
6 x! A9 r+ c9 d5 p4 E        format: 2
        features: layering
        op_features:
' T  Z- @( m0 N* Z        flags:
        create_timestamp: Thu Apr 21 13:06:56 2022
        access_timestamp: Thu Apr 21 13:06:56 2022
! V' w& U2 w  ~        modify_timestamp: Thu Apr 21 13:08:58 2022

3.2.修改虚拟机的配置文件调整系统盘的路径
直接将现有系统盘的配置信息修改成下面的内容。

[root@kvm ~]# virsh edit vs-centos-1
- d- s5 i$ P* q1 e$ T    <disk type='network' device='disk'>
8 S/ \$ g& j) f2 E! c      <driver name='qemu'/>
; R5 K6 v0 T2 t. s      <auth username='kvm-libvirt'>
        <secret type='ceph' uuid='66d9bec3-cbd7-4161-9614-1d0bc81c5e82'/>
      </auth>
      <source protocol='rbd' name='kvm-libvirt-pool/vs-centos-1-sys.img'>
5 o# c9 v' @0 z2 f) A+ B' K        <host name='192.168.20.20' port='6789'/>
  _; R% c: C; _0 d+ t9 ?        <host name='192.168.20.21' port='6789'/>
" r  s, }3 o: z# h& _+ r. k0 b7 U        <host name='192.168.20.22' port='6789'/>
      </source>
3 u% K1 U" \4 I7 d! @      <target dev='vda' bus='virtio'/>
8 O3 B5 X" g, ^; T7 ^! X, @" h    </disk>



3.3.重启虚拟机
[root@kvm ~]# virsh destroy vs-centos-1
域 vs-centos-1 被删除

[root@kvm ~]# virsh start vs-centos-1
8 T$ v7 C5 ?2 ~* R& b  E域 vs-centos-1 已开始
4 L3 ^  R, S4 g5 A1 G( F
$ S! s" c7 N9 x) n; H# ~$ `, z5 C6 n  V3.4.验证虚拟机是否可用
9 N2 W3 x: z( G  h安全没问题。
- A' l1 l& d8 P1 B% H
4 E; R& L# d% b$ J3 t6 {3 ^

6 E/ M/ b: M7 c* u' O. ], F5 |1 `- C, `4.实现类似云平台秒级部署虚拟机
/ {+ S, y; c  Z/ H在很多云平台中，例如阿里云、腾讯云等等，都是秒级就能够购买启动虚拟机，这是如何实现的呢？其实很简单，本章节就来实现如何在云平台秒级部署和启动虚拟机。

秒级部署启动虚拟机实现非常简单，其实就是将一个已经存在主机操作系统的块设备创建一个快照，并将快照启用保护模式，每当需要部署启动一个新的虚拟机时，就在快照的基础上创建一个链接镜像，链接镜像也相当是一块块设备，虚拟机会去应用这个块设备文件，从而完成虚拟机的快速部署。

如果快照丢失，就意味着链接镜像无法使用，从而导致虚拟机无法运行。

4.1.将现有虚拟机的系统镜像块设备创建一个快照
将系统盘对应的块设备创建一个快照并设置成保护模式。

- A+ t$ K5 Y) z5 c% c7 ~[root@ceph-node-1 ~]# rbd snap create kvm-libvirt-pool/vs-centos-1-sys.img@centos-template
[root@ceph-node-1 ~]# rbd snap protect kvm-libvirt-pool/vs-centos-1-sys.img@centos-template

7 H- N% F' D  W5 V% N4 Q4.2.为新虚拟机提供克隆镜像
" d$ O/ D/ l+ C8 r4 }9 u* U/ s7 K为即将要创建的虚拟机提供一个可以独立使用的系统镜像，需要在快照的基础上为新的虚拟机创建出克隆镜像，这个克隆的镜像就是一个块设备，可以立即开箱即用，挂载到虚拟机之后就可以运行出一个操作系统。
: i4 T1 v/ l9 x' Y, a! D
[root@ceph-node-1 ~]# rbd clone kvm-libvirt-pool/vs-centos-1-sys.img@centos-template kvm-libvirt-pool/clone-vm-1.img
[root@ceph-node-1 ~]# rbd clone kvm-libvirt-pool/vs-centos-1-sys.img@centos-template kvm-libvirt-pool/clone-vm-2.img
* O' T1 r4 _, M2 E0 l7 j1 ?8 l0 n

4.3.通过虚拟机文件准备多个虚拟机
- f( M4 J+ n; M; r+ _KVM的虚拟机配置文件都位于/etc/libvirt/qemu/这个目录中，通过配置文件就可以快速创建出一个全新的虚拟机。

  Y8 v) a  }% H3 C: W+ N进入到虚拟机的配置文件目录，将现有的配置文件多拷贝几份，一个配置文件相当于一个虚拟机。
; ?9 n0 U5 y0 C) l# k6 h3 m
, N8 ?: U3 \  ^, ?# e/ n/ L, K[root@kvm qemu]# cd /etc/libvirt/qemu/
[root@kvm qemu]# cp vs-centos-1.xml clone-vm-1.xml
[root@kvm qemu]# cp vs-centos-1.xml clone-vm-2.xml


4.4.编辑虚拟机的配置文件
8 a4 B7 Z- x$ H7 Q. }' V, k' K4 y# D) }在拷贝的虚拟机配置文件中将以下这些配置删除，否则会有问题。

4 ^3 ^9 m! c# c7 j+ ?<uuid>940a207d-a412-4f34-b1ba-c2ee8898f02b</uuid>

<mac address='52:54:00:eb:f6:97'/>

<address type='pci' domain='0x0000' bus='0x00' slot='0x03' function='0x0'/>
" b! j' n. j9 E4 `# _- V6 P3 ~0 S
4.4.1.vs-centos-1虚拟机的配置文件
: v! w4 l- g# V0 L) o, \  _6 D[root@kvm qemu]# vim clone-vm-1.xml
. e4 }( o: J0 z<!--
: V! _  A5 f5 f- P& x7 x+ i! rWARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
2 l- b/ D  {6 ]3 |' t7 oOVERWRITTEN AND LOST. Changes to this xml configuration should be made using:
; l: b! ?. l+ q) q5 F  virsh edit vs-centos-1
or other application using the libvirt API.
, L1 Q1 m% |% H-->

: `+ P5 j2 }8 D4 H& f* S$ f' r<domain type='kvm'>
  <name>clone-vm-1</name>                                                                        <!--虚拟机的名称-->
* s5 Z' B# p+ n6 j6 W! g: B  <memory unit='KiB'>1048576</memory>
0 Y- D: L4 T* Z: C5 U# I3 M  <currentMemory unit='KiB'>1048576</currentMemory>
7 ~' I  J2 T7 Q0 J: ]- ~" y  <vcpu placement='static'>1</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
$ ]# Z" Z& X& K9 X! d. y- J8 Z    <boot dev='hd'/>
8 Z- x% W/ h: U) P* z& Z  </os>
  <features>
    <acpi/>
    <apic/>
  </features>
  <cpu mode='custom' match='exact' check='partial'>
' ]3 y- s) |: K* M) H5 W& Q    <model fallback='allow'>Nehalem-IBRS</model>
+ P4 [9 d  S/ Y( e  </cpu>
  <clock offset='utc'>
5 i, u( V* m, l/ F+ j2 S7 i' X3 g    <timer name='rtc' tickpolicy='catchup'/>
    <timer name='pit' tickpolicy='delay'/>
    <timer name='hpet' present='no'/>
  </clock>
7 N# g% q1 e" F/ C% E  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
) v9 t8 f6 R) _  @$ v  <on_crash>destroy</on_crash>
. w7 p& R$ @+ s+ O0 K  <pm>
    <suspend-to-mem enabled='no'/>
( I( B9 q7 _; K( N( L9 H9 R/ q& s    <suspend-to-disk enabled='no'/>
  </pm>
  <devices>
0 c7 T" `, L, r; B    <emulator>/usr/libexec/qemu-kvm</emulator>
: `$ o' L- l0 q' T/ V# A1 `    <disk type='network' device='disk'>
) a* x6 g! ]. x      <driver name='qemu'/>
, O6 v2 J1 @& ?) h1 l' b      <auth username='kvm-libvirt'>
" y' w$ n( b7 J1 `5 i/ @# G/ R2 [        <secret type='ceph' uuid='66d9bec3-cbd7-4161-9614-1d0bc81c5e82'/>
      </auth>
      <source protocol='rbd' name='kvm-libvirt-pool/clone-vm-1.img'>                        <!--填写克隆的系统镜像块存储路径-->
- L" Z- z% h9 N5 N        <host name='192.168.20.20' port='6789'/>
' h$ O/ _% W. h3 |# y1 ]! ]        <host name='192.168.20.21' port='6789'/>
" ?3 d4 O7 l: o        <host name='192.168.20.22' port='6789'/>
      </source>
      <target dev='vda' bus='virtio'/>
    </disk>
  k# K) w# U/ x. _) e    <disk type='file' device='cdrom'>
      <driver name='qemu' type='raw'/>
      <target dev='hda' bus='ide'/>
      <readonly/>
! l8 A+ [+ v  C0 Y+ ]      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
    </disk>
    <controller type='usb' index='0' model='ich9-ehci1'>
, C& N: u! y9 k( G- c/ ]6 }9 t      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>
    </controller>
9 m! q6 g  ^5 G# B    <controller type='usb' index='0' model='ich9-uhci1'>
9 D! f1 @! b* g9 H$ [      <master startport='0'/>
+ N7 j7 I3 l% L) F6 G( ?      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci2'>
9 ~1 V  g! ~. d" g: ~* |9 V      <master startport='2'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>
4 @; H. ?3 P1 X& ^# T    </controller>
- p+ p' `6 A1 U, ~; d* k; I    <controller type='usb' index='0' model='ich9-uhci3'>
# }9 A1 c6 `7 H) }* {3 H4 u- Y      <master startport='4'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>
    </controller>
    <controller type='pci' index='0' model='pci-root'/>
    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
    </controller>
    <controller type='virtio-serial' index='0'>
" ?! a8 `( s' m: v      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </controller>
( ?' U/ q9 Z+ }5 a; J3 C    <interface type='network'>
1 u' U3 M/ n8 \5 {* ]7 {      <source network='default'/>
      <model type='virtio'/>
    </interface>
    <serial type='pty'>
      <target type='isa-serial' port='0'>
        <model name='isa-serial'/>
      </target>
    </serial>
    <console type='pty'>
      <target type='serial' port='0'/>
; C2 p4 ~& v- S& ]5 p$ S2 k8 e0 H    </console>
6 J( _/ c! \% f1 Q; }8 `    <channel type='unix'>
      <target type='virtio' name='org.qemu.guest_agent.0'/>
      <address type='virtio-serial' controller='0' bus='0' port='1'/>
    </channel>
    <input type='tablet' bus='usb'>
! M0 |% @- N! ^6 l% ^      <address type='usb' bus='0' port='1'/>
. [8 c. f3 A' \    </input>
3 \* k: b' m" k    <input type='mouse' bus='ps2'/>
    <input type='keyboard' bus='ps2'/>
; c. g6 ]9 X/ P' M    <graphics type='vnc' port='5901' autoport='no' listen='0.0.0.0' passwd='123456'>                <!--修改VNC的端口号-->
: E2 H5 }/ I3 M0 q0 g) O% E3 d      <listen type='address' address='0.0.0.0'/>
7 A0 @/ Q5 Z) e; O/ s! K    </graphics>
; @* V& ~4 ^( [2 C4 f    <video>
+ I/ c$ K- D+ i      <model type='cirrus' vram='16384' heads='1' primary='yes'/>
8 l- |9 g; W! X4 u3 j1 @      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
4 C3 b7 h' X6 R! U    </video>
) z  v# |) R' m" D) F    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
    </memballoon>
  x0 s7 o; O% x6 y7 I( r  </devices>
7 ?  n5 Q8 s4 c0 o" A; b# i</domain>

4.4.1.vs-centos-2虚拟机的配置文件
% B+ L+ B- ?# r& B[root@kvm qemu]# vim clone-vm-2.xml
<!--
     WARNING: THIS IS AN AUTO-GENERATED FILE. CHANGES TO IT ARE LIKELY TO BE
. l; L- f+ X" Q+ i4 [OVERWRITTEN AND LOST. Changes to this xml configuration should be made using:
% B* C, Q+ Y/ [5 l. |# C' [" Q  Y  virsh edit vs-centos-1
' z3 Q6 t( q1 t' k; h) _/ eor other application using the libvirt API.
-->

<domain type='kvm'>
  <name>clone-vm-2</name>                                                                        <!--虚拟机的名称-->
  <memory unit='KiB'>1048576</memory>
  <currentMemory unit='KiB'>1048576</currentMemory>
" K8 l& F2 f" p1 @  <vcpu placement='static'>1</vcpu>
  <os>
    <type arch='x86_64' machine='pc-i440fx-rhel7.0.0'>hvm</type>
    <boot dev='hd'/>
& h& F# M. s' E9 n) M  j  </os>
  I5 d; R9 W5 M! U+ z  <features>
    <acpi/>
    <apic/>
+ R! ?0 A! F8 e3 h  </features>
  <cpu mode='custom' match='exact' check='partial'>
0 s3 C: s2 |* e) m* a. F( P1 C, |    <model fallback='allow'>Nehalem-IBRS</model>
& }2 Q, }  H8 L' L% Z' G  </cpu>
! O1 Z0 |' G3 Z; y! t# a, c) [  <clock offset='utc'>
/ J$ [7 W9 Q. b* o" Q4 ^    <timer name='rtc' tickpolicy='catchup'/>
  ^5 g8 n/ ]/ B9 ]    <timer name='pit' tickpolicy='delay'/>
- a) C: B- n6 m* G& f4 u    <timer name='hpet' present='no'/>
  </clock>
9 E5 K7 Q) t9 Z  <on_poweroff>destroy</on_poweroff>
  <on_reboot>restart</on_reboot>
& I' a- s9 C6 d0 m3 y  <on_crash>destroy</on_crash>
) I3 T2 w7 x% C8 K  <pm>
    <suspend-to-mem enabled='no'/>
- Q1 K2 c# a0 p. r1 j2 q8 p    <suspend-to-disk enabled='no'/>
4 }& z. c9 b9 G  </pm>
4 P3 b' }; Z0 N0 K* y* S  <devices>
    <emulator>/usr/libexec/qemu-kvm</emulator>
    <disk type='network' device='disk'>
      <driver name='qemu'/>
      <auth username='kvm-libvirt'>
        <secret type='ceph' uuid='66d9bec3-cbd7-4161-9614-1d0bc81c5e82'/>
/ a: l, o! C0 I. ]& V+ ?5 b0 f5 O      </auth>
2 {! x0 n% ]; F6 I      <source protocol='rbd' name='kvm-libvirt-pool/clone-vm-2.img'>                        <!--填写克隆的系统镜像块存储路径-->
        <host name='192.168.20.20' port='6789'/>
        <host name='192.168.20.21' port='6789'/>
        <host name='192.168.20.22' port='6789'/>
      </source>
; z0 _, ?# C8 e& T! C' b      <target dev='vda' bus='virtio'/>
    </disk>
    <disk type='file' device='cdrom'>
8 t# ~, @$ c- T- H! n& y      <driver name='qemu' type='raw'/>
+ Q9 @) t4 Z. v      <target dev='hda' bus='ide'/>
      <readonly/>
! j+ `& \7 p; U! O* t      <address type='drive' controller='0' bus='0' target='0' unit='0'/>
9 N- d/ J4 r; f# Q8 ]    </disk>
1 M7 m3 V$ g& `2 Y1 |, [$ r0 ]9 I    <controller type='usb' index='0' model='ich9-ehci1'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x7'/>
. C1 x' S; n# B: R) z; W5 X6 p    </controller>
    <controller type='usb' index='0' model='ich9-uhci1'>
# s$ A0 N: n1 x      <master startport='0'/>
" w/ S6 a; G) T/ R- j5 g: ]      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x0' multifunction='on'/>
    </controller>
    <controller type='usb' index='0' model='ich9-uhci2'>
      <master startport='2'/>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x1'/>
; |3 D: d* l" ^, P8 n6 p    </controller>
    <controller type='usb' index='0' model='ich9-uhci3'>
: D7 b) U7 e; i2 s0 q/ |1 M      <master startport='4'/>
9 v" l8 Q/ X" p  v" H- I- z      <address type='pci' domain='0x0000' bus='0x00' slot='0x04' function='0x2'/>
    </controller>
* \8 f/ u& m3 D+ Q6 Z    <controller type='pci' index='0' model='pci-root'/>
: r4 }4 E' |9 @    <controller type='ide' index='0'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x01' function='0x1'/>
9 ?: {+ p1 I; N7 N/ F, }4 t    </controller>
$ S% [2 @( @( f$ m; ]    <controller type='virtio-serial' index='0'>
7 s# z# v3 Z8 w" i2 ~& r4 S0 @      <address type='pci' domain='0x0000' bus='0x00' slot='0x05' function='0x0'/>
    </controller>
    <interface type='network'>
( @. ~9 E% I# K( i* f+ m. q      <source network='default'/>
      <model type='virtio'/>
    </interface>
0 P7 P1 s) I+ m5 S0 P' l4 Z  _4 |    <serial type='pty'>
      <target type='isa-serial' port='0'>
        <model name='isa-serial'/>
) m! E1 E& y: u# k# F      </target>
    </serial>
! }2 y. n6 e* k1 k0 O6 o    <console type='pty'>
3 s3 p' Y0 W4 S4 L% N7 M" F      <target type='serial' port='0'/>
    </console>
    <channel type='unix'>
      <target type='virtio' name='org.qemu.guest_agent.0'/>
      <address type='virtio-serial' controller='0' bus='0' port='1'/>
    </channel>
    <input type='tablet' bus='usb'>
      <address type='usb' bus='0' port='1'/>
4 s& _% Q2 p' Q) y; R3 h9 Q; D    </input>
# t- n+ T# J# r2 u6 K5 ]0 G    <input type='mouse' bus='ps2'/>
9 ?0 {0 x7 m1 ?# k/ J' ^" m: B3 n5 ]    <input type='keyboard' bus='ps2'/>
    <graphics type='vnc' port='5902' autoport='no' listen='0.0.0.0' passwd='123456'>                <!--修改VNC的端口号-->
% m6 v+ ^2 O# B. P3 n+ g" r- ]# e      <listen type='address' address='0.0.0.0'/>
    </graphics>
    <video>
      <model type='cirrus' vram='16384' heads='1' primary='yes'/>
3 v  m; r1 e! _& {; u; g      <address type='pci' domain='0x0000' bus='0x00' slot='0x02' function='0x0'/>
    </video>
    <memballoon model='virtio'>
      <address type='pci' domain='0x0000' bus='0x00' slot='0x07' function='0x0'/>
! M& Y( m: r$ V# B: v$ c, k    </memballoon>
  </devices>
</domain>
+ c: G3 E( w' }6 d+ M
9 [) f9 r8 _% Y7 M% O$ g8 L8 p1 Y
4.5.将虚拟机配置文件导入到虚拟化平台
3 F& U. x2 `/ n" j* Y[root@kvm qemu]# virsh define clone-vm-1.xml
定义域 clone-vm-1（从 clone-vm-1.xml）
9 y7 U% h. d! q, t! J1 q
[root@kvm qemu]# virsh define clone-vm-2.xml
* c- M; o# F/ v. T& Q定义域 clone-vm-2（从 clone-vm-2.xml）
2 P% o5 ]7 P, N

; F+ R" X7 W8 k2 D导入虚拟机后，虚拟机并不会运行，而是出于挂起状态，等待管理员手动启动。

[root@kvm qemu]# virsh list  --all
Id    名称                         状态
# i9 d: R" p3 u, C# N----------------------------------------------------
7     vs-centos-1                    running
-     clone-vm-1                     关闭
-     clone-vm-2                     关闭

4.6.启动虚拟机验证是否能够秒级使用
[root@kvm qemu]# virsh start  clone-vm-1
! u( x2 m1 u* A1 l/ y5 a5 h9 |域 clone-vm-1 已开始

) N9 j4 I0 a9 B8 z7 V0 b  _, I" J[root@kvm qemu]# virsh start  clone-vm-2
域 clone-vm-2 已开始
" c! W0 O4 o. T- E

! [1 K+ W' ?0 Z/ I9 k4 A* p待后期更新。

0 @; q1 q' H; u9 ~7 L! w1 A8 z

admin

一、将客户端(宿主机或kvm虚拟机)和ceph存储进行连通

7 f+ A# d+ F2 j8 v) r; |0 x1.客户端安装ceph包：yum install ceph  或 yum install ceph-common.x86_64（yum search ceph查询包名）

2.将ceph存储节点/etc/ceph目录下ceph.conf和ceph.client.admin.keyring拷贝到客户端的/etc/ceph目录下
$ a7 z8 _: X( V/ V& u
3.检查连通性：在客户端执行ceph命令，如ceph -s，能看到ceph集群信息，说明客户端和ceph存储已连通
/ O) Q9 T8 i+ F
二、创建rbd盘并挂载给虚拟机
& m8 D& t: _+ Y/ T
( W* H, f$ ]7 x1、创建一个ceph user，下面的例子中使用client.libvirt用户和libvirt-pool池

ceph auth get-or-create client.libvirt mon 'profile rbd' osd 'profile rbd pool=libvirt-pool'
# m5 k0 n' d" u* g* L2 Z
) h( M; H! o2 [( j7 l+ Y验证有效：ceph auth ls|grep client.libvirt

; F: P. O; G/ x( I. F7 r
; o4 ~" ]1 R$ W
备注：以上命令，如果宿主机和ceph存储已连通，以上命令可在宿主机上执行，否则需在ceph存储上执行
# _0 }. @4 w$ Z2 b
9 ~0 `+ p8 g% S3 x9 B2.创建secret.xml

cat > secret.xml <<EOF
# c6 d9 U4 s. h! J* q. S, _  t
  |) c  M8 W6 b7 Z; ]<secret ephemeral='no' private='no'>
2 {1 T$ c8 l3 }  ~# Y0 h
        <usage type='ceph'>
3 c2 X% |, ]' E- O
+ Y& y, S, I0 `' x$ f                <name>client.libvirt secret</name>
$ _$ [# J3 g5 h+ \, q
+ ?8 H7 D( w: ]& l1 B        </usage>

</secret>

EOF
! ~9 _& L# Y* r
1 ^) }0 t; B; d% H) L备注：以上命令在宿主机上全部复制并粘贴，最后回车

3.生成uuid

sudo virsh secret-define --file secret.xml
% @/ }# ^, \  W7 {: F$ R+ \. v
7 c$ \  f+ k. e# n{uuid of secret}
7 A2 I2 G, J; [8 q2 H/ O6 k8 {5 p
4.获取client.libvirt的key并保存到文件

ceph auth get-key client.libvirt | sudo tee client.libvirt.key

5、设置secret的uuid
# a+ I) {' H7 F% U3 f2 ~3 i( k+ C
sudo virsh secret-set-value --secret {uuid of secret} --base64 $(cat client.libvirt.key) && rm client.libvirt.key secret.xml
6 Y, b0 q6 r' U# \( o! y
9 \; [0 l1 L+ T& `, v$ L将变量替换成实际的uuid和key
2 q* y0 h+ Z7 g. y; X, V$ u, R
$ f7 T1 s# z% Y* U# Z6、创建池libvirt-pool

ceph osd pool create libvirt-pool 64 64

2 J% K2 B( Y0 ^* L7、创建rbd盘

rbd create --size 10G libvirt-pool/test1 --image-feature layering

查询存储池中的块：rbd ls libvirt-pool

8、关闭虚拟机，编辑虚拟机配置文件，并添加磁盘信息
( j% `8 g: |, A* f$ w; d2 l1 V
关闭虚拟机：virsh shutdown vm

编辑虚拟机：virsh edit vm

3 i5 [1 s8 \3 _" H6 i1 }2 h  }在disk标签下增加如下信息：

' a# v0 W+ c% y5 u& H<disk type='network' device='disk'>
3 q; P  G2 y8 q& G  n& {
. b9 t3 n& J. i. B2 P9 K      <driver name='qemu' type='raw'/>
- [8 O; R: r  d
      <auth username='libvirt'>
3 Y) V, l# w4 s7 E5 J+ z! c3 M: U0 w9 X  y% |
        <secret type='ceph' uuid='{uuid of secret}'/>
- e/ w3 H; {6 n- t
7 w" G, Y3 S4 h( ?1 v      </auth>

' y6 L5 x6 X( E3 I0 d      <source protocol='rbd' name='libvirt-pool/rbd_name'>
$ l/ ^( Y1 r8 n5 r5 U; v  r4 z% v
        <host name='10.25.72.142' port='6789'/>

/ O; A6 t: ~1 S        <host name='10.25.72.143' port='6789'/>
1 T' Y" S* @) j
        <host name='10.25.72.144' port='6789'/>

      </source>

" L7 O1 F8 V% ?      <target dev='vde' bus='virtio'/>
( S, e! {% Y; l4 @7 r3 o5 P
5 c8 p  A9 |& Y4 p$ x/ ]* q    </disk>

% U4 f. K! e# s: O& H! Y备注：
2 q/ c' o& @" v) D
6 ~+ ~4 r) V/ R  C需要修改上面5个参数：

1）username是建好的用户名：libvirt

4 I2 u" V0 j9 R$ S8 ^# Z7 ?" [- Q2）uuid替换成第3步生成的uuid
# P* f5 g3 L1 N, e
3）host name后的ip为mon的ip和端口

, N  k( A) h8 kmon的ip和端口，可以在/etc/ceph/ceph.conf中查看，可添加多个mon的ip


- Y0 c) C' {1 ]  i
4）target dev为挂载后显示的盘符，例子中是vde，挂载后显示的盘符是/dev/vde
5 s% q  `# Y) r
6 z3 S3 j3 T. C+ H5）libvirt-pool/rbd_name是创建的rbd盘
: n( i: t; t; T# ]1 {4 A# A2 t
, [) n6 x/ Y  `  X/ O! @9、查看虚拟机挂载的磁盘

6 h  @0 {2 S' G8 R* L& B4 Jvirsh domblklist {vm-domain-name} --details
- J# v/ R, `3 `; r7 w3 D
10、虚机开机，即可使用挂载的rbd盘

virsh start vm