|
|
迁移类型：8 ^- g9 O; \: c7 g# B, A" E' Y; X# U
*非在线迁移 (有时也称之为‘迁移’)。也就是在迁移到另外的计算节点时的这段时间虚拟机实例是处于宕机状态的。在此情况下，实例需要重启才能工作。
# f% Q. `, i8 B$ ]5 d3 Z
0 | u" k6 H; v; a7 p) e*在线迁移 (或 '真正的在线迁移')。实例几乎没有宕机时间。用于当实例需要在迁移时保持运行。在线迁移有下面几种类型：2 P$ y8 B0 T9 `4 Z& I! I
- ]+ S6 \! Q9 R! A* 基于共享存储的在线迁移。所有的Hypervisor都可以访问共享存储。
6 ]. t* f- l) U! k8 X0 l' n7 S/ P0 Z7 f- Q
* 块在线迁移。无须共享存储。但诸如CD-ROM之类的只读设备是无法实现的。
2 z# f4 V3 B: D5 }4 R3 j* y Z: x0 N( D O1 Y0 \
* 基于卷的在线迁移。实例都是基于卷的而不是临时的磁盘，无须共享存储，也支持迁移(目前仅支持基于libvirt的hypervisor)。
1 r2 @0 B. q* L& N& H: |. }- W什么是热迁移7 Z+ t' ~! e+ w3 j- ?3 ]
热迁移（Live Migration，又叫动态迁移、实时迁移），即虚拟机保存/恢复(Save/Restore)：将整个虚拟机的运行状态完整保存下来，同时可以快速的恢复到原有硬件平台甚至是不同硬件平台上。恢复以后，虚拟机仍旧平滑运行，用户不会察觉到任何差异。
+ L. `1 Z, |' H
9 ]# [8 P% v9 Q4 |* D0 eopenstack热迁移9 P6 J7 @( L: i3 b2 F: E, q
OpenStack有两种在线迁移类型：live migration和block migration。Livemigration需要实例保存在NFS共享存储中，这种迁移主要是实例的内存状态的迁移，速度应该会很快。Block migration除了实例内存状态要迁移外，还得迁移磁盘文件，速度会慢些，但是它不要求实例存储在共享文件系统中。
- N" t" K/ M& p4 O& u1 |NFS允许一个系统在网络上与他人共享目录和文件。通过使用NFS，用户和程序可以像访问本地文件一样访问远端系统上的文件。! N$ q; J1 M- ^# l
8 a+ ~3 m3 F j; X( P2 v# Y迁移步骤6 _& h1 [! C- Y: { R2 |
, C! l! G# K$ X* D2 O( I迁移前的条件检查
0 i. f' B4 B# K( B8 M2 ~动态迁移要成功执行，一些条件必须满足，所以在执行迁移前必须做一些条件检查。
$ P3 k) M, C$ {6 H Q/ Y0 q* g权限检查，执行迁移的用户是否有足够的权限执行动态迁移。5 Y2 S. c( x& u
A4 N/ g% Z5 L A' _$ o
参数检查，传递给 API 的参数是否足够和正确，如是否指定了 block-migrate 参数。
5 i1 e! w# F/ O! d# @5 J
$ G" U' V& O" @( e/ w. b检查目标物理主机是否存在。. z0 L* _" t; U# `
- V( l" C4 [) f6 g; a检查被迁移的虚拟机是否是 running 状态。
4 G5 N% d, [$ e' I5 p2 p, e! G# Y% ^6 K' s
检查源和目的物理主机上的 nova-compute service 是否正常运行。
- \% T' _3 m: Z7 A% Q
- \$ v( c% }4 H" {; I检查目的物理主机和源物理主机是否是同一台机器。
3 n$ e! S/ U3 V- f* k E- k6 N
/ n$ k. ~) I3 E3 b( o* n检查目的物理主机是否有足够的内存(memory)。4 q5 E/ o' l/ i$ Q
1 [2 c, ^$ J. D u$ k检查目的和源物理主机器 hypervisor 和 hypervisor 的版本是否相同。
( u `% c% s3 o" |/ I( [
( V( X) `4 n5 v) D) y迁移前的预处理& A9 G1 s6 c$ X- x6 N5 D
在真正执行迁移前，必须做一下热身，做一些准备工作。: `3 n. B# J6 N" w. V# o, U U
* 在目的物理主机上获得和准备虚拟机挂载的块设备(volume)。) X6 T; i, Z7 {, E, H
7 y6 t% I0 Q0 t- X6 [% Z; w" z3 F* o
* 在目的物理主机上设置虚拟机的网络(networks)。
- T l7 E T# l0 Z3 T p
" P$ j0 D1 ^! K7 m3 g! R4 L4 g* 目的物理主机上设置虚拟机的防火墙(fireware)。- P- M1 t* x: J1 g( `5 _6 ~* C
迁移) F1 W+ |& M- c5 m( `
条件满足并且做完了预处理工作后，就可以执行动态迁移了。主要步骤如下：3 @( R& k% O+ z0 c, Y
调用 libvirt python 接口 migrateToURI，来把源主机迁移到目的主机。' _% U1 C4 h' [! t/ e9 I
dom.migrateToURI(CONF.live_migration_uri % dest,logical_sum,None,CONF.live_migration_bandwidth)
! `# H0 I1 e9 jlive_migration_uri：这个 URI 就是在 3.2.2 里介绍的 libvirtd 进程定义的。
9 q E/ E1 V! a3 M5 flive_migration_bandwidth：这个参数定义了迁移过程中所使用的最大的带宽。/ M( b1 D- H$ L% F2 L5 E4 G
以一定的时间间隔（0.5）循环调用 wait_for_live_migration 方法，来检测虚拟机迁移 的状态，一直到虚拟机成功迁移为止。( s T: W8 ^, f% C: t* s
迁移后的处理
# W/ |7 N# l4 w, o+ A; z当虚拟机迁移完成后，要做一些善后工作。
7 r$ S, Q% K9 G5 g在源物理主机上 detach volume。 p, _, Q" ]4 J3 G& f
7 L. W( b1 [* q# D, t T! q9 Y4 c在源物理主机上释放 security group ingress rule。8 _$ N# F8 I) K: ]6 L% ? g/ F
0 t5 b6 t! B- F5 c7 _2 U; g7 H
在目的物理主机上更新数据库里虚拟机的状态。: x, q' y5 H/ ]
" g2 u, I5 X. u! V: g c2 Z5 I
在源物理主机上删除虚拟机。9 A$ q, j% ~3 Y- E/ r. H! ^
+ b/ o$ m1 P4 g7 R" B0 K9 H
上面四步正常完成后，虚拟机就成功的从源物理主机成功地迁移到了目的物理主机了: d1 i3 @3 m2 X; i" c5 U
+ m8 u; o( Q% @% T. P) |3 k+ VLive Migration 的实现
: e7 Q5 [, K6 M" e9 m6 ~/ g, o- o- V( W G; m% e) ?, K# k; h6 ?8 L$ P3 w
热迁移条件：' I2 Q- u3 x v" l
2 g* k. ?5 v4 W& |0 E% m: ?2 n
1.计算节点之间可以通过主机名互相访问
& u7 i, f% ^ h+ ~
! j2 } s, r+ U7 ?- W2.计算节点和控制节点的nova uid和gid保持一致
9 C! [1 S! l. M2 \9 R: [8 C+ X, J3 \+ f( l
3.vncserver_proxyclient_address和vncserver_listen 监听的是本地IP0 u+ G) g& Y: M; S T
0 y; k! K2 a4 s8 V4.必须有共享存储，实例存放在共享存储中，且每个计算节点都可以访问共享存储。否则只能使用块迁移
& S. H+ y5 _: U7 |3 v7 n4 o$ \! b' K6 E配置
# O, |1 n9 n# B4 `' U+ a) t, E# i# H6 @, _7 V' G/ o' X5 `7 P2 x1 C
添加live_migration_flag* w# w. n: V: o$ a5 l
) V+ ] P3 S9 h4 B
修改nova的配置文件，在[libvirt] 段下 添加如下字段
" V& B0 w7 t& ~7 [# z
% L4 p& u5 v1 N4 X2 W
' J% }/ c3 R& r: w& Mlive_migration_flag="VIR_MIGRATE_UNDEFINE_SOURCE,VIR_MIGRATE_PEER2PEER,VIR_MIGRATE_LIVE,VIR_MIGRATE_PERSIST_DEST,VIR_MIGRATE_TUNNELLED"
7 r2 U" ?4 q# P3 ^( c修改libvirt配置
$ J* {8 H$ R* S" N) n$ f* Z
5 l- d0 E+ n7 l* n' r$ t配置versh免密码连接，修改/etc/libvirt/libvirtd.conf
# N+ @+ h7 @ ?6 M
' v3 q, }( u7 R. ]添加如下配置2 V1 p; g8 Q' q7 H T7 H& |7 ]
- ?9 W- s- `: a5 T ~/ w. C' T# X9 Y" {) H& C
1 _: F9 O" B! w0 s/ m3 ?* C
listen_tls = 0
}0 ` \) K- t* q+ L$ K* x) i- W5 K6 \* K: T
listen_tcp = 1
# [; ]9 V6 y# L! L1 X$ ]2 y1 K$ k% N& y! c/ {: r: n
tcp_port = "16509"9 { n: k& |0 o7 y R' }
4 F" h# z& O+ v5 clisten_addr = "172.16.201.8" #根据自己的计算节点IP改写* g$ k8 o2 A" u/ Z
) U e% K! a( a& Q8 [& v7 }auth_tcp = "none"
) b# S3 o% V% _% g. `5 {8 _4 }8 M& W5 I
5 R0 ?+ e6 n+ v& W1 L1 E/ B
) `" K: w4 l3 s2 ^! C修改/etc/sysconfig/libvirtd 添加如下参数8 I, C0 P* g; ^/ e% V: ]
; l3 R! @/ s! I' N! g5 [6 O7 m( P" ]& \4 e( t; v; F+ }% _6 v
, n/ ?1 K* V; A h5 ILIBVIRTD_CONFIG=/etc/libvirt/libvirtd.conf; f; X& e& h4 z" G( }
% F& x4 P! @0 r2 F% kLIBVIRTD_ARGS="--listen"
/ f( m0 L* Q3 A: ^% T& _3 C6 k
/ O( K9 v9 L' j7 M# T0 k' c
1 O7 W7 i9 R# i/ g- J; Y& W7 s1 j; @2 a6 `
重启libvirt2 Y, v3 P# f% A
# i! [1 ]! i( @
+ C3 G' g. V3 esystemctl restart libvirtd.service
! X5 ^! V( |; }# E" a- d0 T, a! L" H查看监听端口：. t t, v+ C- C2 D8 n1 M
# M _# ~4 O: w, P: |+ E7 t
Q+ B$ W9 c9 g, p. N& O* A
1 d9 u6 K1 o; q- B
[root@compute1 ~]# netstat -lnpt | grep libvirtd
+ s8 y/ }, Q( c% D! n/ y& ?/ W0 [' ~8 v# W! J( K5 x, p
tcp 0 0 172.16.206.6:16509 0.0.0.0:* LISTEN 9852/libvirtd; u, D! P* Y; O4 ^3 b+ _" g# q
测试：/ U- m# u4 v [; t/ ]* v! L0 s- |# }& G
6 H2 Q1 _5 w8 ^ Q/ c% N7 `0 m# }" o6 d, Q1 p" Z
在compute1节点上：
; y; l- A2 x& B' R1 a# z& S. Y8 s' G7 Y
virsh -c qemu+tcp://compute2/system) T) g5 r5 Z: P2 b2 i- q
$ T* U; t( W' J+ N% Q& {4 k5 l5 d0 d在compute2节点上* `" i: Y1 L8 u8 U
& c; v1 E; [9 T8 ` z; [virsh -c qemu+tcp://compute1/system) L5 u Z, D* W; P
) L/ X1 i( e9 B& t
- { Y% ?$ J% P6 f' J6 c! |$ t$ D% r3 A2 p& D* n) {
如果能无密码连接上去，表示配置没问题
/ O- s/ I6 |, g动态迁移
" {6 k2 H1 G0 \; a% l$ x4 Q8 H/ Q. ]0 D f6 K% n; v$ ~; n1 a
查看所有实例
4 o0 F* T! L) onova list( M* ~0 Z$ H$ X. J! M
% `3 V0 ? R' z查看需要迁移虚拟机实例2 c0 u* ~" S5 A
nova show f3d749ba-98e1-4624-9782-6da729ad164c
+ s: N9 {# R2 }3 z" W0 f! t/ j t; C( E' O$ E
查看可用的计算节点
! h a% w1 l' ]4 |" \5 h# T5 i# pnova-manage service list7 x+ @3 h A0 A; Z! g' Q, b
3 V6 [% q1 M# G8 X6 g8 }" i
查看目标节点资源; N1 g2 C( m) t. R
nova-manage service describe_resource computer1
+ i" ]1 _% r3 c* T- T# ~ {) ?
9 z* Z# y7 v7 N p开始迁移，正常无任何回显7 c/ t6 B$ k) c" `8 Q" O
6 q' B5 ^8 X5 j
nova live-migration 8da00f69-05f6-4425-9a8a-df56b79a474f computer1
7 c: @( R3 _7 X0 n( H3 O* {" D+ C( H5 ^
也可以通过dashboard 节点迁移
' k; ?! K) D$ h+ q8 H/ D4 g用节点迁移需要使用admin管理员用户执& i4 s2 c* W* e* R
冷迁移配置
# ~& f4 {" e/ z7 x/ F" ^7 h; Q# r+ s冷迁移需要启动nova账户，并配置ssh 免密码认证
" H* u$ Z% E# j2 s
$ h4 w, B: S* x4 X$ y) p( ?
; y. b9 {+ e; Busermod -s /bin/bash nova
! N6 {* d) L- [% d+ W4 _& O! M7 ^! Q0 {
su - nova
' s) P9 h; H3 V8 b
7 s: P8 \ b8 C. o' D3 Y( A- ?/ [ssh-keygen -t rsa
) r$ z/ ]6 S( u" F/ k! X9 ^7 z2 b: M a5 Y3 g, q
#生成密钥
|6 y q5 u- _, Q
' X2 p/ d; D1 j0 |; g4 _- Z% n; l( icp -fa id_rsa.pub authorized_keys
t! _6 R: I4 A" F将密钥复制到所有计算节点的/var/lib/nova/.ssh下，并设置权限为nova用户* q! O0 N6 E1 I+ `1 C
6 l$ y+ a: P9 r* w) F- P- ?: Q6 O编辑/etc/nova/nova.conf的配置文件，修改下面参数) c, s h# O% @2 f& _6 L/ V
5 B {; L; q. Q& N# ]( v2 t" N' Z" h
! T( f/ G; q9 K- Y# |) W" g
allow_resize_to_same_host=True ! y N' [& N1 T/ R; R
5 y9 X3 w- H3 a& |, [; p, x
scheduler_default_filters=RetryFilter,AvailabilityZoneFilter,RamFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter,ServerGroupAntiAffinityFilter,ServerGroupAffinityFilter # m# d: t/ z; z& _% h; z+ O: D
在计算节点重启nova服务
) i( _; {% y% t, o$ P/ A) Z# |
3 v: S/ A1 t! a) y. g o9 t7 z7 z* i
# A3 w! D% s8 u5 }systemctl restart openstack-nova-compute R# ^/ U# }* \4 _2 y% r
在controller节点重启nova 相关服务5 R, d a; Z, k% | u! v
i3 ^) W) s+ D9 `6 e! b& b0 U$ y7 F9 W% n
systemctl restart openstack-nova-api.service openstack-nova-scheduler.service
: [2 S" G* E* g" U( H$ R学习提高自己，能力证明自己，技能创造价值 |
|
发表于 2017-7-9 10:57:46
发表于 2023-2-23 23:58:01