Linux下使用Xen搭建虚拟机

admin

一、安装前检查
1）查看你的主机cpu是否支持虚拟化：输入命令 cat /proc/cpuinfo | grep flags ，查看结果中有没有 pae ，若有则支持半虚拟化，再看有没有 vmx(intel) 或 svm((amd) ，若有，则支持全虚拟化。
2 )查看虚拟化是否打开：
+ D* C3 _7 W. x' c- J# D6 kgrep -E 'svm|vmx' /proc/cpuinfo
) [: H, `" n2 S" i1 i8 ^/ C& d
如果有返回。就说明你的cpu打开虚拟化
 
- }8 x* L1 f; a二、Xen的安装步骤如下所示
( D# C% ~, r2 z5 I3 S- j首先使用rpm –qa|grep xen检查系统是否已经安装了xen相关程序包
安装Xen 
5 Q2 f( c! _% U) l" G5 I* o; E
安装有几种方式，可供选择，你只需选择其中之一即可。

% l* f* X6 o: w
方式一：类windows安装。
类似windows下的安装。具体操作为：
  l. m6 V; G8 A/ l2 f+ r1 l用鼠标点击左上角  应用程序 -> 添加或删除软件 -> 虚拟化，选中安装即可。

- g( C+ e! g1 q9 j8 h7 t
方式二：命令行安装。
0 S$ G4 S1 g4 p  D9 V/ m+ x
5 s8 w' T0 U+ C: ^7 ~# yum -y install xen*
* [! e$ ]$ t4 ?( k
安装XEN需要的服务

& K2 d/ G4 D: c+ ?2 j" r! D- I+ W- L#yum -y install virt-manager
) _* `4 y. e% E  N: Q8 y1 V5 h安装虚拟化管理程序包

# yum -y install kernel-xen*
0 D/ [. C6 z, U/ i
安装XEN的相关内核
5 n: o% M- u. t; v5 l+ Z
方式三：源码包安装
1，下载。可以到www.xensource.com。
8 t3 X2 N, n% [3 s( L8 p2，解压。tar
+ c0 U, W* Y/ _: ^3，进入目录。cd
4，make KERNELS="Linux-2.6-xen0 linux-2.6-xenU" world
4 s! G2 W; r! z7 }+ H" Y/ ]这一步需要一些第三方包，如python。需要什么就安装什么就可以。编译完成后，会在dist目录生成需要安装的东西。
5，make install
- K1 r! R( [2 a4 s! q. q如果以上步骤出错，请Google或Baidu之。安装完毕后，你会发现在/boot下新安装了三个东西：xen-3.1.0.gz，vmlinuz-2.6.18-xen0和vmlinuz-2.6.18-xenU。xen-3.1.0.gz是hyperviser，或者叫VMM；内核xen0是运行在domain0的，内核xenU运行在其它的domain。
" n( c, n* v7 v9 d5 |" v
+ V" E% C& {9 \+ c; {
二、检测
0 @& j9 g7 x; s; q. s: W, y
1、检查xen内核文件

7 k% |: @" X3 r! I  B+ o+ F- H安装是否正常：文件位于/boot
0 l1 ~  C$ J8 r- A8 n: i4 p
# ls -lh /boot

2、修改系统启动内核为支持xen的kernel
# vi /etc/grub.conf
6 Z3 p0 m, C0 {把default改成0，表示启动第一个内核

3、重新启动主机（reboot）
. u( A- f" P8 e! t- C
4、检查系统是否已经成功加载支持虚拟化的kernel

(1) 执行# uname –a

" k* |6 ?/ I4 I) a0 bLinux slave1 2.6.18-371.4.1.el5xen #1 SMP Thu Jan 30 08:58:16 EST 2015 x86_64 x86_64 x86_64 GNU/Linux 表示已安装成功
& [2 _, u5 f4 ?5 I! Q; R
9 G6 h7 |6 X7 b/ c(2) xen启动停止命令 xend start|stop|restart

 
' Z% W% g% ~$ q! T三、创建虚拟机
 
1 Z% G* C* f! N, ]1、创建镜像文件 dd if /dev/zero of=/home/test/vm.img bs=1M count=10240
% P( j1 E0 b& n% f) c2、创建配置文件 vm.cfg
. G0 w* ?5 a* `/ {# o& Sname = "test01" maxmem = 1024 memory = 1024 vcpus = 1 builder = "hvm" kernel = "/usr/lib/xen/boot/hvmloader" boot = "d" pae = 1 acpi = 0 apic = 0 arch = "x86_64" localtime = 0 on_poweroff = "destroy" on_reboot = "restart" on_crash = "restart" device_model = "/usr/lib64/xen/bin/qemu-dm" sdl = 0 vnc = 1 vncunused = 1 vncconsole = 1 vncdisplay = 4 disk = [ "file:/home/test/vm.img,hda,w","file:/root/CentOS-6.4-x86_64-minimal.iso,hdc:cdrom,r"] vif = [ "mac=00:16:3e:5d:11:22,bridge=xenbr0,script=vif-bridge" ] parallel = "none" nographic = 0 serial = "pty"
  }8 h  j# X9 m6 p3、创建虚拟机 vm create /home/test/vm.cfg
4、xm list 查看虚拟机
; @" V" F( a& @$ _7 g" {, E4 I0 h2 c5、查看防火墙状态：service iptables status
0 L) H9 B+ Z: s* ^  @3 F' T; h6、查看开放的端口：netstat -tunlp 将设置的端口加入到开发端口中vi /etc/sysconfig/iptables
: [7 ~* t6 Z6 @7、service iptables restart 重新启动
! E$ M" B  c% q* i) L+ F% X8、使用vnc 登陆虚拟机安装相应的系统
4 V% c0 G8 h# v$ b7 w* l

admin

1.创建虚拟机映像

dd if=/dev/zero of=xen.img bs=1M count=16000
$ O! n9 G* g$ M
dd if=/dev/zero of=xen2.img bs=1M count=16000

mkfs -t ext3 xen.img

mkfs -t ext3 xen2.img

mount -o loop /domU/xen.img /mnt
* I! \0 l5 L9 j1 G' N
/ M( ?  x& r- [# ?/ s& E9 V/ Mcp -ax /{bin,dev,etc,lib,lib64,opt,root,sbin,usr,var} /mnt

0 a- U5 s7 r  J2 i/ K$ ?mkdir /mnt/{home,proc,selinux,srv,sys,tmp}
- \' w$ m: q+ V+ ?
创建swap盘

' `; o2 i+ n0 [9 o1 A2 F3 V, kmkswap /slview/swap1.img
! [# u; ^' a, C! {: a5 V$ {
vi /mnt/etc/fstab

2 Z. t0 F! q5 X+ K, d/dev/hda1               /                       ext3    defaults        1 1

5 ~% f: q+ f8 q# |, c9 D4 etmpfs                   /dev/shm                tmpfs   defaults,size=1024m        0 0

  h1 @! e8 l" k& ~0 k5 [6 p7 Adevpts                  /dev/pts                devpts  gid=5,mode=620  0 0

sysfs                   /sys                    sysfs   defaults        0 0
- q4 i& X4 _9 N# @5 K
proc                    /proc                   proc    defaults        0 0
4 n5 P' n* V' o7 h, z8 E; S
/dev/sdg           swap                    swap   defaults         0 0

---edit network

) s' |/ `5 G8 ?& Y$ R; Dvi /mnt/etc/sysconfig/network

' j- O; q7 w' S" B1 Y% D---edit ifcfg-eth0
3 b1 M; ]0 D. y7 {& r% A* G$ R
vi /mnt/etc/sysconfig/network-scripts/ifcfg-eth0
/ I: C! y$ m8 l9 m2 E$ ^  `; m- u
DEVICE=eth0
2 \0 v& L8 f. L9 }0 E# @BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.24.210
NETMASK=255.255.255.0
NETWORK=192.168.24.0
# _" d$ S5 g0 Y8 OBROADCAST=192.168.24.255
* j  W# I8 o/ {- i" X
3 D8 l8 \2 Y" [! x2 l( o-----gen   initrd
6 J2 G& l% N. q. c3 Y# j& h
mkinitrd -v -f --fstab /mnt/etc/fstab --with xenblk \
, w' H4 B$ t7 p7 G8 _
: L3 i6 c( s4 f4 V- V' Y--with xennet --preload xenblk --preload xennet \

initrd-2.6.18-194.el5xen.wd.img `uname -r`
, H' o4 ?. [6 i. R
, K; D8 Q4 ~% Rumount /mnt

4 K! V6 K1 o7 h. V! c- G4 J; s" w---在/etc/inittab
( O/ V* X# C2 D, b7 B2 T) c
$ _4 T$ h- t6 s7 B# e% Nco:2345:respawn:/sbin/agetty xvc0 9600 vt100-nav
% ^0 x/ W! N, _* d% W- w" C
>init q
6 i) f1 ^' l$ ^( P5 d3 P
>ln -s /dev/console /dev/xvc0

$ r& s4 E/ C' [0 A8 S---创建内网网桥
; z' }! w# P/ x. f  B& y
vi ifcfg-xenbr2
DEVICE=xenbr2
- C9 d7 U' k+ _* Q3 YBOOTPROTO=static
ONBOOT=yes
6 B$ l: U# V5 b1 K& m% h/ @* g( GTYPE=Bridge
启动网桥
9 t! p3 ^3 Q% H: |5 o, V( ]ifup xenbr2

! E$ z' c, R9 `! i----编辑虚拟机配置文件
, T. {3 n' A1 c  t. I
name="oradb1"
kernel="/boot/vmlinuz-2.6.18-238.el5xen"
ramdisk="/boot/initrd-2.6.18-238.el5xen.wd.img"
memory="2048"
# g; m" q$ i1 ~/ v- Jvcpus = 2
vif=['mac=00:16:3e:2e:40:cf,bridge=xenbr0','mac=00:16:3e:2e:a9:41,bridge=xenbr1']
+ l$ C0 a0 z+ b/ @# r* [8 D3 Qdisk=['tap:aio:/slview/db1.img,sda1,w','tap:aio:/slview/vot1.img,sdb,w!','tap:aio:/slview/vot2.img,sdc,w!','tap:aio:/slview/ocr1.img
,sdd,w!','tap:aio:/slview/ocr2.img,sde,w!','tap:aio:/root/data1.img,sdf,w!','tap:aio:/slview/swap1.img,sdg,w','tap:aio:/slview/ocr3.
img,sdh,w!','tap:aio:/slview/flash1.img,sdi,w!','tap:aio:/slview/flash2.img,sdj,w!','tap:aio:/root/data2.img,sdk,w!']
root="/dev/sda1 rw"

) H! y' ^, i; T5 y网桥配置：

修改 Xend 配置文件 /etc/xen/xend-config.sxp ，取消下面两行的注释:

(network-script network-bridge)

(vif-script vif-bridge)

使用brctl show来查看网桥

DomU的config中设置vif = ['bridge=xenbr0']

' [1 k: p- o6 h6 I3 H* I存储配置

+ P: Y+ n6 X0 P- D$ _, _8 ][root@db6 xen]# cat oralinux
. s* t+ I! |, `( N- e. R
name    = "oravm1"
$ ]- {9 x# ^6 e$ s3 R6 e, F
kernel  = "/boot/vmlinuz-2.6.18-194.el5xen"
/ c. j9 {* p# y4 L1 E! e
ramdisk = "/boot/initrd-2.6.18-194.el5xen.wd.img"

" A0 D1 d2 E8 m6 M% S" E: \memory  = "256"

vcpus   = 2

) j% F0 i6 g7 ~$ c' {( {9 |' l( g* v* Fvif     = [ 'ip=192.168.1.140,bridge=xenbr0','ip=192.168.100.140,bridge=xenbr1' ]

disk    = [ 'file:/domU/xen.img,hda1,w','file:/domU/sdb.img,sdb,w!','file:/domU/sdc.img,sdc,w!','phy:/dev/mapper/oradata1,sdn,w!' ]
& f& C! e3 f* F( y3 Y# A% \
root    = "/dev/hda1 ro "
* R% d& D$ E" c9 k* h4 Y
------------------------------------------------------虚拟机-----------------
9 l5 l" g* b- ~
& Q% Q8 x4 ?1 j2 z6 a+ S( U强制多虚拟机共享存储
! V; S! L7 f+ d$ @4 a, A. h
phy:/dev/sda,sda,w!  加叹号
+ B0 ]- j9 I: B& Q! r7 k
需要让xend为两块网卡创建bridge，需要修改/etc/xen/xend-config.sxp，将(network-script 'network-bridge')

改为：

8 B6 `4 e4 p/ f1 E( i(network-script 'my_network_script')

my_network_script是我们自己的脚本，创建/etc/xen/scripts/my_network_script内容如下：

* v- ^: b- o5 u#!/bin/sh
2 p- |+ f7 U2 L6 r: W
dir=$(dirname "$0")

"$dir/network-bridge" "$@" vifnum=0 netdev=eth0 bridge=xenbr0
8 u% B: n; H8 H
"$dir/network-bridge" "$@" vifnum=1 netdev=eth1 bridge=xenbr1
; t6 V  }# T+ V8 j; J4 ?; v$ R" }9 \
将my_network_script加上执行权限：
$ n+ C* z$ ~" q
3 C+ _: C2 j/ t) M# W2 Tchmod a+x /etc/xen/scripts/my_network_script
& U& t7 S, o0 S( X& c, ]" {! f
# x: s5 p5 @: l+ Z% ]重启服务器，可以用ifconfig看到xend创建的4个网络接口

可以看到虚拟交换机上的连接如下：
[root@rac2 xen]# brctl show
bridge name     bridge id               STP enabled     interfaces
xenbr0          8000.feffffffffff       no              vif1.0  dom1的eth0
                                                        peth0  主机的物理网卡0
9 k- B! z2 P; q2 L) f                                                        vif0.0  Dom0的eth0
xenbr1          8000.feffffffffff       no              vif1.1  Dom1的eth1
                                                        peth1  主机的物理网卡1
% r0 O( L( x* _" z' v+ y& s                                                        vif0.1  Dom0的eth1
# K5 a  ^: L% N* d
编辑虚拟机配置文件：

Error: Device 2048 (vbd) could not be connected. Failed to find an unused loop device

Error: Device 2064 (vbd) could not be connected. losetup -r /dev/loop8 /domU/sdb.img failed
. ~% f9 w3 O, M! I" P! ]5 }
2 M9 l. j, J1 p( X: |  ^- ?>losetup -a 查看loop设备使用情况
6 a4 E  A( T% h; a. ^! \
再卸载 loop 模块  rmmod loop

>vi /etc/modprobe.conf
5 i& h( @! a: A, X9 J' d
, N" w5 A* u$ r- \( B6 W* Foptions loop max_loop=16
! ]+ r! b. J. }, V! y$ S6 `+ W
再重新加载 loop 模块检查是否生效
/ k" ]& [" v& x+ `
6 b9 x8 e$ w$ X" F" w9 n/ q9 ]modprobe loopdmesg | grep loop               # 应当能见到 loop: loaded (max 16 devices)
( @' _& A8 M4 w- v+ e: [2 a2 N
4 A& m" x5 a. n( g& p) P% C$ M最后建立 loop 设备文件
# S5 T; l' [7 b) f
5 q- `4 {: H: K- Vls -d /dev/loop*
( R* V( t, C- ~# U. l3 q$ J" h9 q
/ `; e# _: w! i* R# G2 |& Xmknod -m0660 /dev/loop9 b 7 8   
: m5 U  |8 s. h$ Q: a3 m( I) O2 P
1 e" x8 c% W3 S; b/ Achown root:disk /dev/loop9
; g/ m( ~) i/ o- V% F0 n7 r
mknod loop8 b 7 8
  [$ O' ?# w; r( X8 K% e
mknod loop9 b 7 9

9 _3 h/ N/ k0 KQ: ADDRCONF(NETDEV_UP): vif1.0: link is not ready

2 F( e5 _1 ~5 X9 n  @0 sA: 将/dev/sda1改为/dev/hda1
, H) f" Y/ M; w, ~: q
/ V& R" u7 Y8 U) W9 y, MQ： 使用vnc报以下错误
5 x9 |  M1 i* [7 l[root@db1 ~]# su - grid
4 _7 X( y. C, i: U; ]# c7 C-bash-3.2$ xclock
Xlib: connection to ":1.0" refused by server
$ H1 K& M' C* {. ~, ?Xlib: No protocol specified
2 G8 {+ W/ ^& r( SError: Can't open display: :1.0

A: 用root帐号执行下列命令既可
( t4 p6 a, \9 Z. w; N+ l$ dxhost + localhost

Q：fdisk分区表无法保存
A：
chmod 755 *.img
file:/slview/db1.img 改成tape:aio:/slview/db1.img

Q：mkrootdev: expected fs options
; x2 n  v) K4 n2 E  q$ ^" |    mount: missing mount point
  F8 w  A' D$ M* H! l    setuproot: moving /dev failed No such file or directory
    setuproot: error mounting /proc: No such file or directory
    setuproot: error mounting /sys: No such file or directory
5 ]' I% X% e! N/ U    switchroot: mount failed: No such file or directory
A：mkinitrd, /fstab内容
$ `( p) v( G" X7 K0 B/ R7 L) J5 X
# q, ]7 J  U1 {& o* \Q: /sbin/hwclock: error while loading shared libraries: libaudit.so.0: cannot open shared object file: Permission denied
# \! h1 Z7 K6 J. J7 c( L9 ~
A: 关闭selinux