cloud-init制作Centos7镜像

admin

一、环境说明
你需要准备一台KVM机器，用于制作初始的centos7镜像。建议最终将ISO镜像转为QCOW2。

二、配置好网络
ISO镜像的centos7系统刚装好，网络可能不通，所以要检查网络。
ping 外网检测

# ping www.baidu.com

• 1
  9 ^) ]* e/ G4 {7 [6 X# z

如果未能ping通，请依次检测ip，route

# vi /etc/sysconfig/network-script/ifcfg-eth0

• 1
  8 G- e) o$ O4 H* R

可以先将dhcp动态分配IP改为静态IP

#cgls #BOOTPROTO=dhcpBOOTPROTO=staticIPADDR=172.16.5.133GATEWAY=172.16.1.1NETMASK=255.255.0.0ONBOOT=yes

重启网卡使其生效

# service network restart

• 1
  

检查路由

# route -n

Kernel

IP routing table

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface0.0.0.0         172.16.1.1      0.0.0.0         UG    100    0        0 eth0169.254.169.254 172.16.88.100   255.255.255.255 UGH   100    0        0 eth0172.16.0.0      0.0.0.0         255.255.0.0     U     100    0        0 eth0

如果你缺失第一个路由，是肯定无法ping通外网的这里写代码片
添加dns

# vim /etc/resolv.conf

nameserver

114.114.114.114nameserver 8.8.8.8

• 2
  

添加路由

# route add default gw 172.16.1.1

• 1
  # f1 H5 d3 Y( X' c3 \

试一下ping百度

# ping www.baidu.com

成功之后我们可以开始下一步操作。

三、安装相应的包
安装ACPI服务
这个服务是控制重启和关闭实例

# yum -y install acpid

# systemctl enable acpid

配置获取元数据
一个实例必须与元数据服务进行交互任务后再启动。 例如：必须得到实例 ssh公钥并运行脚本的用户数据。 为了确保实例执行这些任务，推荐安装一个cloud-init包。
6 i* V1 n3 t3 F) _* U' ]5 L$ I使用cloud-init获取公钥，cloud-init包将从元数据服务器和一个帐户的关键的地方自动获取公钥 。
安装cloud-init。

# yum -y install cloud-init

cloud-init通过编辑/etc/cloud/cloud.cfg，对镜像进行定制。我们现在暂时不修改这个文件，将其他配置弄完再进行定制。

安装cloud-utils-growpart允许分区调整

# yum -y install cloud-utils-growpart

实例需要访问元数据服务, 必须禁用默认zeroconf路线。

# echo "NOZEROCONF=yes" >> /etc/sysconfig/network

配置控制台
. j9 r4 B/ m0 O+ b' i  F如果希望在仪表盘界面查看nova控制台的日志，需要做以下配置：

# vi /etc/default/grub

修改GRUB_CMDLINE_LINUX为以下内容

GRUB_CMDLINE_LINUX="crashkernel=auto console=tty0 console=ttyS0,115200n8"

保存更改

# grub2-mkconfig -o /boot/grub2/grub.cfg

出现以下内容，配置结束。

Generating grub configuration file ...Found linux image: /boot/vmlinuz-3.10.0-229.14.1.el7.x86_64Found initrd image: /boot/initramfs-3.10.0-229.14.1.el7.x86_64.imgFound linux image: /boot/vmlinuz-3.10.0-229.4.2.el7.x86_64Found initrd image: /boot/initramfs-3.10.0-229.4.2.el7.x86_64.imgFound linux image: /boot/vmlinuz-3.10.0-229.el7.x86_64Found initrd image: /boot/initramfs-3.10.0-229.el7.x86_64.imgFound linux image: /boot/vmlinuz-0-rescue-605f01abef434fb98dd1309e774b72baFound initrd image: /boot/initramfs-0-rescue-605f01abef434fb98dd1309e774b72ba.imgdone
% `7 B0 _+ Z1 B! ]$ n* I+ F/ u

三、进行定制
修改配置项，修改之前说两句。
阅读cloud-init官方文档，读几遍，确保你知道你在配置些什么，以及这些配置项是如何生效的，模块频率是怎样。
Users and Groups模块的模块频率是每个实例执行一次，也就是说你制作的镜像起了云主机之后，再修改这个模块配置重启机器是不再生效了。
与Users and Groups模块的模块频率相似的还有Write_files、Set Passwords模块。
Bootcmd模块的模块频率是每个实例可以执行多次，也就是说，起了云主机之后，再修改这个模块配置重启机器之后也会生效。
与Bootcmd模块的模块频率相似的还有Runcmd。

vi /etc/cloud/cloud.cfg

将locale_configfile: /etc/sysconfig/i18n之前的配置替换为以下内容。

groups:  - centosusers:  - name: demo    expiredate: 2016-09-01    groups: centos    homedir: /home/bh    lock_passwd: false    passwd: $6$dfdfsdsf$y9obLvZMtAb.uWTIU1OTrZqZImHvCCs01ntDFwO0DnfFxXtgaLq2YoMK6yJ0KjfI260DH0Pv7T6Sj9TXVuUag0  - name: root    ssh_authorized_keys:      - ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDYbA+xgxzm3pySQfW6oh7yr4xYD6n6T/upHuWAdVp/sU2ukeoDU/U6qPBpJuMVRzfaT6pyJEgK7gknaKu/GZxMfnA/9Dt5JJln6PmstWZoWclmxvS7MPCqeL0+ESFvMx64UZFIePbClb5kh1UFggQ5WwDvAIC+1HysI3qGOIZ/RoYUrOHNdgQJzV8xcpWLeDKF2MBNQt/Pyzl+WLxoTN6cd4XlrA9E729t8OwrK5mvTe9CUpWKYELGV6bfqNLGNcUT5LYx9tqyanB4KA1eBC5/9MhBjGeO+EcsQv6zooVJTIAE65XmCEib4WukQcUTr8Td7+6+wMY9463us2OrVVw7bootcmd:  - echo 123321 >> /root/bootcmd.logwrite_files:  - encoding: b64    content: CiMgVGhpcyBmaWxlIGNvbnRyb2xzIHRoZSBzdGF0ZSBvZiBTRUxpbnV4...    owner: root:root    path: /etc/sysconfig/cjm    permissions: '0644'  - content: |      # My new /etc/sysconfig/samba file      SMDBOPTIONS="-D"    path: /etc/sysconfig/cglsruncmd:  - [ sh, -c, sh /root/bootcmd.sh ]  - [ sh, -c, echo "=========hello world'=========" >> /root/runcmd.log ]ssh_pwauth: yeschpasswd:  list: |    root:cjm123  expire: False  preserve_hostname: flasefqdn: qwehost.localhostname: qwehostmanage_etc_hosts: true

复制过去的时候注意格式问题。
& o2 ~3 B0 G8 U, r/ n; M注意格式问题：
6 A. M4 x* R( l' Y7 W- d1.确定空行一致性，统一以空2格作为区分。
" g3 b5 Z3 t- O% A6 L: t; I. Z2.冒号后空一格
3.写多行需要按照yuml语法编写
如果格式出了问题，你配置的cloud-init将全部失效。

解释配置：
& N. z5 M3 f( _1 Z1.配置了用户组

groups: - centos

2.配置用户，创建了demo用户，设置了过期时间，所属用户组，用户目录，以及是否开启密码登录，并为其设置了密码。
, P" Q0 W/ ?4 U为root用户，设置了ssh免密码登录，附上了公钥。
  s, E! `  d* l$ j密码是通过加密的产生的，生成命令为：

# python -c 'import crypt; print crypt.crypt("cgls", "$6$dfdfsdsf")'

在需要免密码登录的机器上执行下面命令，产生密钥对。

# ssh-keygen -t rsa

将公钥内容复制到配置中

cat /root/.ssh/id_rsa.pubusers:  - name: demo    expiredate: 2016-09-01    groups: centos    homedir: /home/bh    lock_passwd: false    passwd: $6$dfdfsdsf$y9obLvZMtAb.uWTIU1OTrZqZImHvCCs01ntDFwO0DnfFxXtgaLq2YoMK6yJ0KjfI260DH0Pv7T6Sj9TXVuUag0  - name: root    ssh_authorized_keys:      - ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQDYbA+xgxzm3pySQfW6oh7yr4xYD6n6T/upHuWAdVp/sU2ukeoDU/U6qPBpJuMVRzfaT6pyJEgK7gknaKu/GZxMfnA/9Dt5JJln6PmstWZoWclmxvS7MPCqeL0+ESFvMx64UZFIePbClb5kh1UFggQ5WwDvAIC+1HysI3qGOIZ/RoYUrOHNdgQJzV8xcpWLeDKF2MBNQt/Pyzl+WLxoTN6cd4XlrA9E729t8OwrK5mvTe9CUpWKYELGV6bfqNLGNcUT5LYx9tqyanB4KA1eBC5/9MhBjGeO+EcsQv6zooVJTIAE65XmCEib4WukQcUTr8Td7+6+wMY9463us2OrVVw73.Bootcmd只用于在引导过程之后不能做的时候再使用bootcmd:  - echo 123321 >> /root/bootcmd.log

4.写文件，第一个是加密之后的内容，第二个是正常内容。

write_files:  - encoding: b64    content: CiMgVGhpcyBmaWxlIGNvbnRyb2xzIHRoZSBzdGF0ZSBvZiBTRUxpbnV4...    owner: root:root    path: /etc/sysconfig/cjm    permissions: '0644'  - content: |      # My new /etc/sysconfig/samba file      SMDBOPTIONS="-D"    path: /etc/sysconfig/cgls

5.与bootcmd类似，可在引导之后使用

runcmd:

  -

[ sh, -c, sh /root/bootcmd.sh ]

  - [ sh, -c, echo "=========hello world'=========" >> /root/runcmd.log ]

6.设置root用户密码

ssh_pwauth: yes

chpasswd:

list: |

    root:cjm123

  expire: False  

最后就是修改静态IP为dhcp动态获取了

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 #cgls BOOTPROTO=dhcp#BOOTPROTO=static#IPADDR=172.16.5.133#GATEWAY=172.16.1.1#NETMASK=255.255.0.0ONBOOT=yes

关机

# poweroff

四、开启云主机
上传镜像到openstack上

# openstack image create "centos7_init" --file centos7.0-3.qcow2 --disk-format qcow2 --container-format bare --public

控制台界面中自己开启云主机，可以看到自己定制的centos7有没有成功了。

! `6 r' a) I  f) w$ ?* t

admin

按照使用启动实例向导启动实例中介绍的实例启动过程操作，但在进行到该过程中的步骤 3：配置实例详细信息 时，在 User data (用户数据) 字段中输入 cloud-init 指令文本，然后完成启动过程。
9 Z5 B$ x3 X6 G- P9 ~! \+ ~3 k1 t
在以下示例中，这些指令在 Amazon Linux 2 上创建并配置 Web 服务器。要将命令标识为 cloud-init 指令，顶部的 #cloud-config 行是必需的。
* y- q  h4 A- ?' r
1 b4 j) W& f% E) Q; ]#cloud-config
2 }8 k7 ?2 L+ j/ M, N$ j+ Arepo_update: true
8 N, M6 y% d: wrepo_upgrade: all

, V! M7 `3 \+ {0 R1 t# [+ `+ ?( e  cpackages:
- httpd
$ m4 a: Y1 L3 U* S4 H  i: C5 p - mariadb-server

- Y" K+ B# ]' P* k/ i/ y& K& jruncmd:
3 C6 _/ D0 j1 s  G+ U0 ? - [ sh, -c, "amazon-linux-extras install -y lamp-mariadb10.2-php7.2 php7.2" ]
$ j8 v; ^  U) w( |9 L - systemctl start httpd
% w! P' B2 Q! W2 P - sudo systemctl enable httpd
. ]2 O6 `; W1 N/ ^! y6 e - [ sh, -c, "usermod -a -G apache ec2-user" ]
- [ sh, -c, "chown -R ec2-user:apache /var/www" ]
* v2 m1 A. \1 g2 \* j1 ? - chmod 2775 /var/www
- [ find, /var/www, -type, d, -exec, chmod, 2775, {}, \; ]
- [ find, /var/www, -type, f, -exec, chmod, 0664, {}, \; ]
- [ sh, -c, 'echo "<?php phpinfo(); ?>" > /var/www/html/phpinfo.php' ]

admin

entos 7实例，连接多个接口。之前说过路由冲突引起的问题。
/ Z& O1 ?( a5 s. q: x
& Q8 [5 J- M' [5 A3 L5 k这次碰到的是由于接口分离再连接导致的网卡索引号问题。（索引号改变和串网卡）

. M! Y+ F$ l3 Z问题分为两种

1、接口分开再连接，网卡名没变，但是通过ip a命令查看，可以看到网卡的网卡索引号改变了。

- C4 X" n5 C5 B5 S网卡索引号，累加，添加了一个当前最大索引号加1的网卡。ip a可以看到分离再添加的网卡排到了最后。

通过网卡索引号，来识别网卡的程序，碰到了问题。
: X4 K0 ~) _& j
5 L. T4 {. X, e3 t5 L此时我改为使用通过网卡名，来获取索引号的方式，来识别网卡。使应用程序正常工作。
5 s2 K3 E7 U  W

7 l$ ]: W0 @+ T+ v) G% h  z9 N
2、接口分开再连接，关闭实例之后，再开机，出现串网卡的问题。
! ]6 y. {5 s& @" B  G  y' ~
reboot不影响，不会产生串网卡问题。实例内部使用ip a查看IP地址和mac地址，
, }, T8 `3 v' Y% W  [* w2 o3 n4 \! p
对应所挂网络，发现分开再连接的网络接口，变成了最后一块网卡。
  j& n$ h4 w" k; k! g1 |
查找资料，发现，centos实例开机加载网卡的顺序保存在openstack的nova数据库instance_info_caches表中。
6 m! v; ^3 e6 w/ r
. R) b* I8 S5 D' ~# ~- x每次重挂网络时，改变表中network_info字段顺序，即可。

! V$ Y$ n% b+ T9 Y) d; m此字段为json格式。
0 D% W; B, t& N8 ?! k3 \  o, ?+ Y
- m! m/ I; [5 C: `& l# H[{"profile": {}, "ovs_interfaceid": "ce6a61ff-15b9-4102-9ba8-1755ad4840a1", "preserve_on_delete": false, "network": {"bridge": "br-int", "subnets": [{"ips": [{"meta": {}, "version": 4, "type": "fixed", "floating_ips": [], "address": "192.168.1.10"}], "version": 4, "meta": {"dhcp_server": "192.168.1.2"}, "dns": [], "routes": [], "cidr": "192.168.1.0/24", "gateway": {"meta": {}, "version": 4, "type": "gateway", "address": "192.168.1.1"}}], "meta": {"injected": false, "tenant_id": "40026f6973464ee9a19ad04f6221e213", "mtu": 1500}, "id": "d6fcefec-8216-4c24-a8a5-fa32c498d615", "label": "network_7260"}, "devname": "tapce6a61ff-15", "vnic_type": "normal", "qbh_params": null, "meta": {}, "details": {"port_filter": true, "datapath_type": "system", "ovs_hybrid_plug": false}, "address": "fa:16:3e:6e:34:44", "active": true, "type": "ovs", "id": "ce6a61ff-15b9-4102-9ba8-1755ad4840a1", "qbg_params": null}]
8 V3 F/ W, |4 _. p: r- o1.
将其装换后，修改顺序，就能回去之前顺序。

( }- z0 Q. @3 D" t: h
$ q, t. d0 f- \1 E' y( O

admin

执行如下命令，进入/etc/sysconfig/network-scripts/文件夹：
cd /etc/sysconfig/network-scripts/
根据实际情况创建新网卡的配置文件，如下以创建命名为 ifcfg-eth1 的配置文件为例 ：
5 Z* q9 z4 c6 k5 @1 }输入命令：
9 \1 ~/ Z$ z% k7 p4 ~' ~cp ifcfg-eth0 ifcfg-eth1
输入命令修改配置文件内容：
; S3 x! ?) [1 }' |% {/ J    vim ifcfg-eth1
按 “i” 切换至编辑模式，把配置文件内容修改为以下内容：
7 U1 p$ E( j7 M! nDEVICE='eth1' # 此处填写步骤1中查看到的需配置的弹性网卡名称，请根据实际填写
+ v3 f$ A& K7 Z/ | NM_CONTROLLED='yes'
ONBOOT='yes'
# 配置主ip
IPADDR0=10.0.0.7 # 此处填写步骤一：添加辅助网卡中手动填写的主 IP，请根据实际填写
NETMASK0=255.255.255.0 # 此处填写步骤三中所记录的子网掩码，请根据实际填写
. O! j  B5 x$ L% ^9 v" P # 配置辅助 ip1
IPADDR1=10.0.0.8 # 此处填写步骤一：添加辅助网卡中手动填写的辅助 IP，请根据实际填写
# C. B, ?5 Y/ t; bNETMASK1=255.255.255.0 # 此处填写步骤三中所记录的子网掩码，请根据实际填写
#GATEWAY='192.168.1.1'  # 因为 eth0 文件定义了网关，这里不再写网关，避免网关冲突，请根据实际填写
修改后，示例如下：
. k8 D. R- X+ Z1 O
修改后保存配置文件并退出（在 vim 的末行模式下按 “Esc”，输入 “wq!” 并回车）。
0 M9 D" J2 Z9 E: k7 d1 b输入如下命令重启网络服务。
3 a( h0 S% S3 {/ L" u6 Bsystemctl restart network
检查和确认 IP 配置正确。
输入如下查看 IP 的命令。
ip addr
! K# f# A( M" U$ @: t确认辅助网卡和辅助网卡上的 IP 可见，如下图所示。
; L- P4 G# Q5 ]6 j' x/ E  ?7 I* u
  D" Z5 c; V1 y7 w3 _* N. w' z7 S如果 IP 配置不正确，请执行如下检查：
( B& p6 g) `' ^( p检查配置文件是否正确，如不正确请重新配置。
$ S+ D5 C6 _2 z' u1 U1 v6 G检查网络是否重启，如未重启，请执行如下命令重启网络，使配置生效。
systemctl restart network
7 P' K' H# I! r% g& h3 @根据业务实际情况配置路由策略。
按照上述步骤配置好后，Linux 镜像依旧默认从主网卡发包。您可通过策略路由来指定报文从某个网卡进，并从该网卡返回。
创建两张路由表。
echo "10 t1" >> /etc/iproute2/rt_tables
echo "20 t2" >> /etc/iproute2/rt_tables
$ R. t6 `" a2 ^3 {; r4 n说明
# k6 h$ V( z5 k2 i: V7 t2 i此处10、20为自定义的路由 ID，t1、t2为自定义的路由表名称，请根据实际填写。
* G" R5 S; N$ ]* e+ ?
% M  A; w4 u9 N$ f给两个路由表添加默认路由。
/ \* n" l9 F* M; j9 ]9 ~ip route add default dev eth0 via 192.168.1.1 table 10
ip route add default dev eth1 via 192.168.1.1 table 20
说明
此处两个命令中，192.168.1.1要分别替换成主网卡所属子网的网关，以及辅助网卡所属子网的网关。

配置策略路由。
# D( |. \' N2 n0 Zip rule add from 192.168.1.5 table 10
, e' |+ G! [& J- ?& kip rule add from 192.168.1.62 table 20
说明
此处两个命令中，IP 要分别替换成主网卡上的 IP，以及辅助网卡上的 IP；10和20为 步骤6.1 中自定义的路由 ID，请根据实际情况填写。
配置完成后，可用同一个子网下的 CVM，来 Ping 内网地址，能 Ping 通即说明配置成功。如无其他 CVM，可以给辅助网卡的内网 IP 绑定公网 IP，Ping 该公网 IP 来验证。
* W; d# v* {3 h  |此处配置的是临时静态路由，网络重启后需要重新配置路由，如希望网络重启后路由不丢失，可再执行 步骤7 将路由配置持久化。
6 F% y9 |. ]# d  f( k8 E（可选）配置永久静态路由，即：将路由配置持久化写入文件，可确保网络重启后路由不丢失。
+ Z; n( v8 u( j% [6 L8 f执行如下命令，进入配置文件。
2 s. O' r% p# U4 W$ Y( pvi /etc/sysconfig/network-scripts/route-eth1   
按 “i” 切换至编辑模式，并进行如下配置。
0.0.0.0/0 via 192.168.1.1 dev eth0 table 10
6 N0 J9 o. L  n( U. ^0 T0.0.0.0/0 via 192.168.1.1 dev eth1 table 20
按 “Esc”，输入 “:wq”，保存文件并返回。

admin

执行网卡多队列的配置脚本
Windows操作系统暂未商用支持网卡多队列，如果对Windows操作系统镜像添加网卡多队列标签，开启网卡多队列功能，可能会引起操作系统启动速度变慢等问题。

# P1 J( V) ]: k6 F/ D* ?针对Linux操作系统，我们提供了自动开启网卡多队列功能的配置脚本。如果弹性云服务器有多张网卡，执行配置脚本后，所有网卡均会自动开启多队列。

登录弹性云服务器，查看网卡支持和已开启的队列数。
ethtool -l 网卡

示例：

[root@localhost ~]# ethtool -l eth0   #查询网卡eth0的队列数
Channel parameters for eth0:
Pre-set maximums:
RX:               0
: ]4 w: I+ x6 B; TTX:               0
Other:            0
Combined:         4   #表示此网卡最多支持设置4个队列
! W0 `* C, W- V* B3 J7 P4 r0 BCurrent hardware settings:
2 l; a3 R* P& oRX:               0
- Y3 ^1 ~: Z9 Y* `1 VTX:               0
! X' d- s' Q+ a' [# D9 zOther:            0
Combined:         1   #表示当前已开启的是1个队列
3 V$ T" |0 s, {5 l+ Q( h8 R9 C1 Y( g
如果返回信息中，两个“Combined”字段取值相同，则表示网卡已开启多队列，无需执行以下操作。

* `* @, f. f9 Z3 A' i0 R执行以下命令，下载配置脚本“multi-queue-hw”。
' ~1 E4 ?' _0 _0 G& q0 y2 Nwget https://ecs-instance-driver.obs. ... .com/multi-queue-hw
! N) [" \: P$ B' [( p1 V4 \/ k
, v' ~( R1 o+ w" L其中，下载地址为：https://ecs-instance-driver.obs. ... .com/multi-queue-hw

执行以下命令，添加执行权限。
chmod +x multi-queue-hw
& M6 I& d; i1 A8 `5 w0 ~
5 R; T2 S$ u2 w( e0 c) O执行以下命令，将脚本“multi-queue-hw”放到目录/etc/init.d下。
5 T2 M' z  H7 L; @2 \/ z& ymv multi-queue-hw /etc/init.d
" W. l, ~- h8 S
5 \2 R& A  o9 _如果出现如下提示信息，请输入“y”。

9 G; J% j: P8 X) f! K7 Kmv: overwrite '/etc/init.d/multi-queue-hw'?

  x; t4 v. S  T; Y" ]8 a执行以下命令，运行脚本“multi-queue-hw”。
, O. y6 b- }7 {5 l0 y/etc/init.d/multi-queue-hw start

运行脚本后，立即生效。但关机弹性云服务器后，网卡多队列功能将自动失效。
/ S0 y* U& H/ }* Q
为了使网卡多队列功能开机自动生效，各个OS需要增加开机启动配置：
CentOS/Red Hat/Fedora/EulerOS/Suse/openSUSE使用如下命令，增加开机启动项，使网卡多队列配置开机：
/ O/ n3 Q1 ]& i  |. Ochkconfig multi-queue-hw on
4 K" D. }0 ~. w+ [
7 w. O9 R; Y* V  GUbuntu使用如下命令，增加开机启动项：
3 Q' u/ W% J% D4 _: z# eupdate-rc.d multi-queue-hw defaults 90 10
5 P7 I( o9 |& K2 i6 q
( N% f: ~; c; H0 e0 k( M( ADebian使用如下命令，增加开机启动项：
2 S  b% r5 h. Tsystemctl enable multi-queue-hw

admin

在上一篇文章构建 Openstack 镜像的环境搭建中我们介绍了如何在自己的笔记本或台式机上搭建一个可以用于制作 Openstack 镜像的环境，本文我们将利用这个环境，以制作 CentOS7.1 镜像为例，介绍手动制作 Openstack Linux 镜像的详细步骤。
下载镜像
访问镜像下载地址，进入后选择版本为 7.1.1503，在 isos 目录下下载 x86_64 的 Minimal 镜像，并上传到/tvm 下。如果网速不给力，最好不要选择下载 Netinstall 镜像，因为这会在安装时联网下载大量的软件包，重新安装时需要重新下载这些软件包。
+ D; |( ]7 G5 Y# `创建虚拟机
首先创建一个 raw 格式镜像文档，用于虚拟机的根磁盘，大小 30G 就够了。（镜像文档大小可根据实际情况自行调整，此处以 30G 为例）
1
2
cd /tvm/
qemu-img create -f raw CentOS7.1.raw 30G
修改/tvm/templates.xml，将图中红色方框处改成虚拟机镜像文档所在绝对路径，并指定相应 ISO 文档绝对路径。
# M8 u1 b- M6 l( j3 X( L
: C3 X' S* j6 e启动虚拟机
# }4 {* m2 F% D& ^1
7 j' @( g7 B, N- Y' g6 C, f) V2
cd /tvm/
virsh create templates.xml
  M: O& |9 |( _6 p! M启动完成后，使用 vnc client 连接到虚拟机控制面板。
安装 OS
, I/ k( s- G; |进入虚拟机控制面板可以看到 CentOS 的启动菜单，选择 “Install CentOS 7”，继续选择语言后将进入 INSTALL SUMMARY，其中大多数配置默认即可，时区选择 “Asia/Shanghai”，“SOFTWARE SELECTION” 选择 “Minimal Install”，“INSTALLATION DESTINATION” 需要选择手动配置分区，我们只需要一个根分区即可，不需要 swap 分区，Device Type 选择 Standard Partition（务必选择此选项，因为 cloud-init 只支持标准分区的自动扩展），文档系统选择 ext4 或者 xfs，存储驱动选择 Virtio Block Device，如图：
  k! H/ P0 d4 u$ F
0 I; Y! s1 u4 Y) s# S; N
6 K5 o0 U7 P: P! A  X
配置完成后就可以开始安装了，在 CONFIGURATION 中设置 root 用户密码。大约几分钟后，即可自动完成安装配置工作，最后点击右下角的 reboot 重启退出虚拟机。
2 Z! d/ E  k& D7 s. w6 t. t注：此时你会发现虚拟机重启后又再次进入了 CentOS 的启动菜单，因此需要先终止掉此虚拟机进程，然后修改/tvm/templates.xml，将文档中指定的 ISO 文档路径清空，然后再次启动虚拟机，此时虚拟机就会直接从硬盘中启动系统。

2 A  h- Q' o9 s& a[root@koenli tvm]# virsh list
Id    Name                           State
3 W8 W: ?% `( U. |, E7 T9 c----------------------------------------------------
3     koenli                         running
[root@koenli tvm]# virsh destroy 3
! U& P, j- Y0 w8 a$ F- h1 N* NDomain 3 destroyed
$ {1 z0 @' t& s9 s# B2 I2 E1 f& _
6 C# I- s& E& Y3 M配置 OS
# T6 \# z3 Q' |' s" ^  _" j- ]6 v配置网卡配置文档
配置网卡配置文档 ifcfg-eth0,ifcfg-eth1，删除 mac 地址和 UUID 相关配置项，IP 为 dhcp 获取，开机自启动
- [% w3 K3 h' f/ O6 S
" M! q. c% n: p" W; C6 m4 v' @4 }CentOS6.x/RedHat6.x操作如下：
cat > /etc/sysconfig/network-scripts/ifcfg-eth0 << EOF
" |+ h- D4 U8 `( A# t% ]DEVICE=eth0
0 X' l9 G: W: @, y; ~% r' o5 ?TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
, B1 @3 p9 T  P9 W4 wBOOTPROTO=dhcp
EOF
cat > /etc/sysconfig/network-scripts/ifcfg-eth1 << EOF
, e; W4 K, O/ i4 e! NDEVICE=eth1
. I% g. J& t1 GTYPE=Ethernet
ONBOOT=no
NM_CONTROLLED=yes
$ [. L! _: ^  n& F! JBOOTPROTO=dhcp
/ W4 s4 K% d0 L3 u- |+ h& uEOF
% Z: Q# J1 }! b: y/etc/init.d/network restart
( I* v3 V% E$ |. Z1 FCentOS7.x/RedHat7.x操作如下:
$ @/ {8 v, ]% ^7 u. qcat > /etc/sysconfig/network-scripts/ifcfg-eth0 << EOF
0 p7 H- ?7 ^" s' L6 u4 CTYPE=Ethernet
BOOTPROTO=dhcp
/ E8 p( ~6 e& W* s  xDEFROUTE=yes
7 V2 \+ V+ P' E* ~( MPEERDNS=yes
: @" C* G: A- Z1 W$ P' h" j$ w7 {PEERROUTES=yes
IPV4_FAILURE_FATAL=no
NAME=eth0
2 }, y' A' Y% n2 m8 IDEVICE=eth0
ONBOOT=yes
EOF
9 V) ^& {9 S, h+ Gcat > /etc/sysconfig/network-scripts/ifcfg-eth1 << EOF
TYPE=Ethernet
+ Y' t3 A% Z# R$ b# SBOOTPROTO=dhcp
& [8 N2 H9 N( [$ S3 e4 cDEFROUTE=yes
PEERDNS=yes
5 n0 J/ F. v/ S  {PEERROUTES=yes
' o4 Q( U1 j  W0 H6 i; g' IIPV4_FAILURE_FATAL=no
; f  Y1 n( v& zNAME=eth1
' k7 t4 K" j4 S: }' f' `DEVICE=eth1
ONBOOT=no
7 M( h* c& \/ l& GEOF
* @2 R: l5 D+ S5 z, V) jsystemctl stop  NetworkManager
) N$ v7 \) H3 hsystemctl disable NetworkManager
7 f# z; a1 Y: asystemctl restart network
配置 sshd 服务
关闭 sshd 服务的 UseDNS 和 GSSAPIAuthentication 选项
+ u( M& H/ U- d; n: v
CentOS6.x/RedHat6.x操作如下：
sed -i 's/#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config
sed -i 's/GSSAPIAuthentication yes/GSSAPIAuthentication no/g' /etc/ssh/sshd_config
/etc/init.d/sshd restart
CentOS7.x/RedHat7.x操作如下:
2 q1 v1 z' |9 |( Wsed -i 's/#UseDNS yes/UseDNS no/g' /etc/ssh/sshd_config
  z4 f; Z- X5 S; |# P/ used -i 's/GSSAPIAuthentication yes/GSSAPIAuthentication no/g' /etc/ssh/sshd_config
; |- g5 U& `; p9 v& psystemctl restart sshd
配置 iptables 和 selinux
关闭 iptables 和 selinux，并设置开机不自启（需重启生效）
- u; V( s2 O$ B6 z: B
3 L- ]6 ?" w1 l: h! W0 y! ]CentOS6.x/RedHat6.x操作如下：
+ {, B7 _! C9 W- Y! p7 d! e: |/etc/init.d/iptables stop
  J4 u0 J' {3 D. Y. T) U& k6 Qchkconfig iptables off
: v4 F6 a( T, k% w  g8 f# K7 Lsetenforce 0
; }. U1 `9 e1 ], n4 d1 e! Qsed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
reboot
1 c  ]1 H4 Y: x$ |# Z* U0 [2 MCentOS7.x/RedHat7.x操作如下:
" ^& ^& T# }: x& e1 ?systemctl stop firewalld
systemctl disable firewalld
2 }7 L+ M( }+ ^6 m" P: f( {setenforce 0
9 ^: y6 F, P. r* B* r. Used -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
* Y3 L4 X1 C7 M% Sreboot
系统参数和内核参数优化
, V+ i5 T! n  a8 v设置系统文档句柄数限制和进程数限制（需重启生效）

CentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
cat >> /etc/security/limits.conf << EOF
3 z3 g7 s) j4 b6 B, t  a* U* soft nproc 655360
* hard nproc 655360
9 h6 C2 g- z  M/ _3 b/ n7 f1 n* soft nofile 655360
0 Z) C, U+ h( B$ ^- b) K& q* hard nofile 655360
EOF
reboot
* a4 v9 O5 @" A' k1 c2 I设置系统内核参数

CentOS6.x/RedHat6.x操作如下：
cp -a /etc/sysctl.conf /etc/sysctl.conf.bak
echo "net.ipv4.ip_forward=1" > /etc/sysctl.conf
4 M# ~! C: N( r; a9 |) Cecho "net.ipv4.conf.default.rp_filter=0" >> /etc/sysctl.conf
3 l. S" q" k3 M( N; o" _8 G; oecho "net.ipv4.conf.all.rp_filter=0" >> /etc/sysctl.conf
sysctl -p
2 E9 M+ V8 a8 a6 ?3 E0 |  ?: LCentOS7.x/RedHat7.x操作如下:
echo "net.ipv4.ip_forward=1" >> /etc/sysctl.conf
, z! C, M3 Q) u4 m  x) N$ h: Eecho "net.ipv4.conf.default.rp_filter=0" >> /etc/sysctl.conf
( q+ I' N( v' L0 l9 o! @# \echo "net.ipv4.conf.all.rp_filter=0" >> /etc/sysctl.conf
+ i" N, ?2 d: X2 F7 |) msysctl -p
设置 history 历史命令显示格式

# Q+ @2 z! V7 SCentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
echo 'HISTTIMEFORMAT="[%Y-%m-%d %H:%M:%S $USER] "' >> /etc/profile
+ p8 H/ S1 p) l( [source  /etc/profile
. |$ o+ X; }1 F9 L& |7 r1 t上传 iso 文档配置本地 yum 源
此步可参考CentOS6.X/CentOS7.X 配置本地 yum 源教程，此处不再赘述。
安装基础软件包
* @0 ^2 |' R. a) T( z! {4 E4 N
- ~- j( |' Z( uCentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
3 p& G3 B$ E: b; G4 s) ^yum install -y vim net-tools lrzsz unzip dos2unix telnet sysstat iotop pciutils lsof tcpdump wget strace ipmitool psmisc tree bc
安装 epel 源
到https://fedoraproject.org/wiki/EPEL/zh-cn下载对应操作系统版本的 epel-release 包的最新版本，然后上传到虚拟机的/root 目录下并安装
1 c4 W* l$ Y$ r5 j2 N' K

CentOS6.x/RedHat6.x操作如下：
) H- u7 ?6 o  r3 G0 Lcd /root/
! C6 c. e# \; T- T! @rpm -ivh epel-release-latest-6.noarch.rpm
rm -rf epel-release-latest-6.noarch.rpm
8 A8 d; f7 O: R( e6 f& ~CentOS7.x/RedHat7.x操作如下：
cd /root/
. a& n& a  P+ Q- v$ V- Srpm -ivh epel-release-latest-7.noarch.rpm
2 u' ^) l# u; \* e" _rm -rf epel-release-latest-7.noarch.rpm
安装 cloud-utils-growpart
安装 cloud-utils-growpart 工具，实现根分区自动扩展

  l+ N$ i3 @5 UCentOS6.x/RedHat6.x操作如下：
! s& C$ e8 y$ l  H: dyum install cloud-utils-growpart dracut-modules-growroot -y
dracut -f
CentOS7.x/RedHat7.x操作如下:
yum install cloud-utils-growpart -y
安装 cloud-init
到https://share.weiyun.com/5gNv58k 密码：k6wnsx 下载对应操作系统版本的 cloud-init 安装包，并上传到虚拟机的/root/cloud-init 目录下并安装（/root/cloud-init 目录通过执行 mkdir /root/cloud-init 新建）
7 u: R3 }' X/ ]% T/ e6 D1 N
CentOS6.x/RedHat6.x操作如下：
" w. D% x* p' K: ^  W. F& V7 wcd /root/cloud-init/
1 [: d3 g: S# X( ^  q/ z% e. gyum localinstall *.rpm -y
CentOS7.x/RedHat7.x操作如下:
cd /root/cloud-init/
' L/ R6 ^( b" G6 lyum localinstall *.rpm -y
编辑/etc/cloud/cloud.cfg，将 disable_root 参数设为 0（允许 root 用户 ssh 远程登录），ssh_pwauth 参数设为 1（允许 password 认证），保存退出

8 O" k/ {5 h4 Q+ G  kCentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
1 e/ V4 e# F: U" U; Zvim /etc/cloud/cloud.cfg
users:
- default
" x" m6 t5 e1 [disable_root: 0
. r# G$ C1 ~" d0 b$ Cssh_pwauth:   1
...
3 E$ k" B. D( @1 f启动 cloud-init 并设置开机自启，因为做镜像的环境是无法访问到 openstack 的元数据服务的，故此次启动 cloud-init 时间会比较长，可以新开一个窗口执行 tail -f /var/log/messages 查看启动进度。

CentOS6.x/RedHat6.x操作如下：
& k4 o* X% t% \: m+ j6 p4 Ichkconfig cloud-init on
/etc/init.d/cloud-init restart
2 ^% V6 _$ Q, w" _# e0 Z' ZCentOS7.x/RedHat7.x操作如下:
systemctl enable cloud-init
# v4 e' \2 k; q) `/ n* T5 bsystemctl restart cloud-init
CentOS7.x/RedHat7.x 上若 cloud-init 启动失败，执行 systemctl status cloud-init 查看服务状态，若出现类似如下报错，则执行下面的命令更新 six，然后再次启动

1 {0 W0 ^, m0 Y0 QDec 12 00:12:59 localhost.localdomain cloud-init[1989]: File "/usr/lib/python2.7/site-packages/cloudinit/cmd/main.py", line 2...dule>
4 M+ z- c' x! T- i! \Dec 12 00:12:59 localhost.localdomain cloud-init[1989]: from cloudinit import netinfo
6 y6 i. }' E$ L* oDec 12 00:12:59 localhost.localdomain cloud-init[1989]: File "/usr/lib/python2.7/site-packages/cloudinit/netinfo.py", line 14...dule>
6 z! o5 p& D* _0 y1 VDec 12 00:12:59 localhost.localdomain cloud-init[1989]: from cloudinit import util
Dec 12 00:12:59 localhost.localdomain cloud-init[1989]: File "/usr/lib/python2.7/site-packages/cloudinit/util.py", line 37, i...dule>
  B4 y+ n# }: M8 G7 k' l5 [/ TDec 12 00:12:59 localhost.localdomain cloud-init[1989]: from six.moves.urllib import parse as urlparse
Dec 12 00:12:59 localhost.localdomain cloud-init[1989]: ImportError: No module named urllib
Dec 12 00:12:59 localhost.localdomain systemd[1]: cloud-init.service: main process exited, code=exited, status=1/FAILURE
Dec 12 00:12:59 localhost.localdomain systemd[1]: Failed to start Initial cloud-init job (metadata service crawler).
" H: T7 M6 e0 Y# p/ J1 v+ rDec 12 00:12:59 localhost.localdomain systemd[1]: Unit cloud-init.service entered failed state.
解决方法：
yum install python-pip -y
pip install --upgrade six
systemctl enable cloud-init
systemctl restart cloud-init
CentOS7.x/RedHat7.x 需再次编辑网卡配置文档，将网卡配置文档（/etc/sysconfig/network-scripts/ifcfg-eth0）中的 HWADDR 一行删除并保存退出。
安装 qemu-guest-agent

4 E# B5 J+ ]+ D! ~CentOS6.x/RedHat6.x操作如下：
yum install qemu-guest-agent -y
chkconfig qemu-ga on
$ P7 b7 u8 i( J% z4 ?4 vCentOS7.x/RedHat7.x操作如下:
& t2 p8 w4 A8 B1 hyum install qemu-guest-agent -y
禁用 zeroconf
  y; I$ r2 e6 ?  k0 A编辑/etc/sysconfig/network-scripts/ifup-eth 注释掉以下部分，禁用 zeroconf，否则 zeroconf router 在虚拟机开机时会自动生成路由 169.254.0.0/16 0 0 0 0 导致虚拟机无法与元数据通信
8 W2 a1 g2 A* @
& w3 h8 a; Y/ ~" w$ N4 F: u2 Q# e原内容
! k* z8 Q3 `1 w# \# ~# Add Zeroconf route.
2 v5 R- o4 G  C( Y3 c0 o/ Nif [ -z "${NOZEROCONF}" -a "${ISALIAS}" = "no" -a "${REALDEVICE}" != "lo" ]; then
- O  {! i' n  O    ip route add 169.254.0.0/16 dev ${REALDEVICE} metric $((1000 + $(cat /sys/class/net/${REALDEVICE}/ifindex))) scope link
fi
4 K0 n  J. ~, Z0 V) e# C注释后：
, r* a( n# j" e: L$ ?# Add Zeroconf route.
#if [ -z "${NOZEROCONF}" -a "${ISALIAS}" = "no" -a "${REALDEVICE}" != "lo" ]; then
# F, h1 T. c* Y% u0 z# w, N0 r#    ip route add 169.254.0.0/16 dev ${REALDEVICE} metric $((1000 + $(cat /sys/class/net/${REALDEVICE}/ifindex))) scope link
#fi
1 @: u' f. q+ a( f8 ~设置 NTP（可选）
# f3 Q0 ]/ M, v& n9 ?4 W
CentOS6.x/RedHat6.x操作如下：
yum install ntp ntpdate -y
sed -i "s%^server%#server%g" /etc/ntp.conf
2 G8 J& L8 U9 G: f$ m% zecho "server <ntpserver_ip>" >> /etc/ntp.conf    #<ntpserver_ip>替换为ntpserver的IP地址
: ^$ f% X7 C  k5 i  b3 U/etc/init.d/ntpd restart
2 \' \! u; {2 J3 v& d/ z% i3 cchkconfig ntpd on
CentOS7.x/RedHat7.x操作如下:
yum install ntp ntpdate -y
sed -i "s%^server%#server%g" /etc/ntp.conf
6 e5 u6 i8 l* I" L- D- n% S! Eecho "server <ntpserver_ip>" >> /etc/ntp.conf    #<ntpserver_ip>替换为ntpserver的IP地址
systemctl restart ntpd
systemctl enable ntpd
systemctl stop chronyd
- I- s4 {2 N$ b! ?& {# tsystemctl disable chronyd
4 V( a* n  W9 N. j8 s: j! v1 f清理文档
( p1 T" u9 t) p; j7 z& L6 ^* M
9 J/ W1 R6 q7 J0 Z. nCentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
rm -rf /root/cloud-init/
rpm -e `rpm -qa |grep epel`
- R# ~( O( \. e6 Q1 eyum clean all
rm -rf /etc/udev/rules.d/70-persistent-net.rules
' I" o/ `  A! \% h; ^1 B清理命令历史记录并关机

CentOS6.x/RedHat6.x/CentOS7.x/RedHat7.x操作如下:
- J  }  q3 R( a+ w2 f" N. f; d4 y( kecho > /var/log/wtmp
0 s! _. y1 ~5 Mecho > /var/log/btmp
: X/ _4 l) d0 n' F& o! `echo > ~/.bash_history
5 O# {- ]* O) v& X, Z) y1 {history -c
shutdown -h now
  g- Y& ~, F0 y9 u- r$ L- [以上为几个比较常用的配置，更多自定义配置可以参考此文
6 J, t4 S2 B6 \. e* m8 I- `转换镜像格式
: `, P; Y- j4 K9 t" w7 V4 R将 raw 格式镜像文档转换成 qcow2 格式镜像文档，压缩空间便于传输。

admin

目录
+ o! C/ M) a$ ]9 I" [目录
8 q- h( D% J4 M0 s* M前文列表
扩展阅读
系统环境
前言
Cloud-init
1 o3 `6 w2 U( A" g1 n2 [Cloud-init 的配置文件
& X9 ?1 ]& n4 `3 Fmetadata userdata
metadata 和 userdata 的区别
- {6 x1 X' W$ }: y& mmetadata 的服务机制
ConfigDrive
" Z: y2 h- P2 m" W5 F- lMetadata RESTful
前文列表
: F$ U  M! w% s9 r  @9 P$ ROpenstack 实现技术分解 (1) 开发环境 — Devstack 部署案例详解
扩展阅读
Documentation — Cloud-Init 0.7.9 documentation
系统环境
! C" _2 j, i9 K9 c6 vDevstack-M
! k1 h3 J9 `5 K. `Ubuntu TLS 14.04
前言
) N- N# @) [4 B7 }3 OCloud-Init + metadata + userdata 是一套初始化定制云平台虚拟机的解决方案, 最主要解决了下列功能需求:
! u2 H9 G3 S, _3 i) }" A3 T" d能够自动化的完成对云平台虚拟机的初始设置, EG. set-hostname/set-ipv4/set-disk-size/upgrade/exec-script 等等
' D- g: n6 e1 \7 |8 C9 d支持云平台与虚拟机的通信, 以此来获取虚拟机的具体信息
1 U- D/ A- F3 f% v2 F简单来说就是能够 注入/获取 虚拟机的信息, 并以此衍生出对虚拟机的初始化定制能力. 其生产价值类似于无人值守技术, 避免了单独为每一台虚拟机进行人工初始化的繁琐.
Cloud-init
Everything about cloud-init, a set of python scripts and utilities to make your cloud images be all they can be!
Cloud-Init 是一组 Python Script 的集合, 是一个能够定制 Cloud Images 的实用工具.
  E" m' f, F- N  K4 j所以 Cloud-init 一般会被包含在用于启动云平台虚拟机的 Images 文件中, 并且使用该镜像启动虚拟机时, Cloud-init 应该是自启动的, 因为其工作在虚拟机的启动过程中, 对虚拟机进行定制化的初始配置.
- E. r5 q1 h0 e安装 Cloud-init 方法非常简单, 基本上常规的系统发行版都有原生的软件源, EG. ubuntu 安装:
sudo apt-get install cloud-init
NOTE: Cloud-init 安装在虚拟机中, 然后再将该虚拟机制作成有如 qcow2 格式的 Image 文件.
; z2 @; z- O' @# T- I* o: s& b那么, 第一个问题: Cloud-init 是怎么定制虚拟机配置的呢?
) u! L  n( n+ e. i答案就是 Cloud-init 的配置文件 cloud.cfg.
6 h8 r" ?/ F6 J  r" C$ BCloud-init 的配置文件
一般我们也只需要关心 Cloud-init 配置文件的定义, /etc/cloud/cloud.cfg:
stack@fanguiju-dev:~/devstack$ cat /etc/cloud/cloud.cfg | grep -v ^# | grep -v ^$
users:
4 [7 \$ H" i; O. U" O   - default
disable_root: true
" W; \% v# N' H( Ipreserve_hostname: false
cloud_init_modules:
- migrator
- seed_random
$ `* l2 ?) `8 R) h7 Y% U" T" b% a - bootcmd
- write-files
- growpart
- resizefs
- set_hostname
( x3 h) f$ L: x - update_hostname
2 B2 @- l- I9 J - update_etc_hosts
1 k& z- G: Z. O/ f, X - ca-certs
5 g; N  G" a9 q1 N* l( ^7 f - rsyslog
- users-groups
' i  z# E+ O8 a9 I& w- P1 s - ssh
cloud_config_modules:
- emit_upstart
* g( }& i& M7 K2 I - disk_setup
- mounts
! p. S6 z' }2 N& L - ssh-import-id
- locale
; O6 N7 i; d2 d6 {  i* v - set-passwords
" t9 ~" y7 z# j9 j - grub-dpkg
5 m7 e$ W# N2 X) _' G7 }/ T - apt-pipelining
  c( Z' d" ]% O5 ~ - apt-configure
/ u6 z2 [; \; Q9 g. N - package-update-upgrade-install
- D& z% L9 b; Y - landscape
- timezone
- puppet
. n. k4 v1 I# |, a6 E2 R5 T - chef
& X; D' C! G1 r4 M - salt-minion
- mcollective
  |& Q( A3 V  y - disable-ec2-metadata
  y# F% r# I" V4 p1 y7 S: i - runcmd
3 R" U& ?5 o4 T$ u8 L* Z - byobu
cloud_final_modules:
- rightscale_userdata
" n* e; c  c: ?8 D' d- Q2 i# L - scripts-vendor
- scripts-per-once
- scripts-per-boot
0 H$ w+ ]" x; b! h% s1 b$ B - scripts-per-instance
' I2 t( g( G3 C. ?& f- _ - scripts-user
- ssh-authkey-fingerprints
- keys-to-console
- phone-home
- final-message
' q! t: D& t4 J" C5 Q1 a( n - power-state-change
Cloud-Init 根据配置文件的内容, 来定制虚拟机配置, 其中最主要配置项的就是下列三个模块列表:
2 ^8 s8 k, W6 R8 Q) F( {cloud_init_modules
/ K$ ]  S+ F; ]$ wcloud_config_modules
1 x/ R1 w0 j2 ~; Ncloud_final_modules
在虚拟机启动时, 会顺序的根据模块列表中含有的各个模块的变量值来对其进行配置, EG. 模块列表 cloud_init_modules 中包含的模块 update_etc_hosts (/usr/lib/python2.7/dist-packages/cloudinit/config/cc\_update\_etc\_hosts.py). 从该模块的代码可以看出其能够配置虚拟机的 hostname/fqdn/manage_etc_hosts 等信息. Cloud-Init 首先会尝试从配置文件 /etc/cloud/cloud.cfg 读取变量 hostname/fqdn/manage_etc_hosts 的值, 如果没有定义, 则尝试从其他的数据源中获取并实现配置. EG. Openstack 可以通过 Metadata 来获取 hostname 等变量值.
NOTE 1: 除此之外, Cloud-Init 还会按照上述模块列表的顺序来进行配置, 这是因为有些模块的执行对虚拟机操作系统当前的状态是有要求的, 后面模块的配置可能需要前面模块的配置做支撑.
NOTE 2: 而且, 模块列表中的模块具有多种运行模式:
% p4 L( q8 \" ?7 i; C0 eper-once: 仅执行一次, 在执行完毕之后会在 sem 目录中创建一个信号文件, 防止在下次启动虚拟机时重复执行.
  W  ^7 i" A' ^0 r$ ~per-always: 每次启动都会执行
* C& J2 e9 Y4 V# a  V* K0 ^per-instance: 每一个虚拟机都会执行
7 h# k, H; q' X$ y& J; n( @EG.
cloud_final_modules:
- scripts-per-once
- scripts-per-boot
- scripts-per-instance
) o5 j* ?6 v2 h+ O1 t3 u# K* R配置文件 cloud.cfg 更相信的用法请查阅官网, 一般而言, 默认的就够用了.
6 X; _: g, h7 q% ?. P0 R9 E第二个问题: Cloud-init 定制虚拟机操作系统配置时, 配置项目的值, 从哪里获取?
' U2 z( l4 d$ j- `% x3 T答案就是 metadata/userdata
% V9 B! W; M+ f+ A5 Qmetadata & userdata
2 |8 Q9 c. `* O8 C, C* E* Jmetadata 是一个数据源, 在 Openstack 中是由 nova-api service 提供的, 一般我们会在虚拟机中通过IP 169.254.169.254 来获取.
Openstack 实现技术分解 (2) 虚拟机初始化工具 — Cloud-Init & metadata & userdata..._第1张图片
选择一个版本
- S- o6 b6 S6 F9 f" I; \Openstack 实现技术分解 (2) 虚拟机初始化工具 — Cloud-Init & metadata & userdata..._第2张图片
% f2 R; z; i7 K; B选择一个配置项目
这里写图片描述
显然, Cloud-init 能够通过访问这些 URL 来获取其所需要的信息, 然后再进行配置. 但是需要说明的一点是 169.254.169.254 这个 IP 实际是不存在的, 本质上提供 metadata 的是 nova-api service, 所以通常都需要设定防火墙 DNAT 将 169.254.169.254 映射到 nova-api-service-ip:port 这个 IP.
metadata 和 userdata 的区别
其实 userdata 与 metadata 本质上都是提供配置信息的数据源, 使用了相同的信息注入机制, 只是两者代表了不同的信息类型而已:
! X  d9 X3 N$ o6 ~* r. O; kmetadata 主要提供了虚拟机的常用属性, EG. hostname/network/SSH/…, 其以 key/value 的形式进行注入, 所以非常适合应用到 REST 的场景中.
userdata 主要提供了 Shell 相关的 CLI 和 Script 等, 其通过文件的方式进行注入, 支持多种文件格式(EG. gzip/Bash/cloud-init/…).
2 |9 W9 l1 l/ J* N  w所以, 两者的区别仅在于虚拟机在获取到信息后, 对两者的处理方式不尽相同而已.
. _1 ]3 |; B( t# @第三个问题: metadata 和 userdata 含有的配置信息是怎么被注入到虚拟机中的?
答案就是 ConfigDrive/RESTful API
3 P" A  x+ ]! s0 ^2 ?. `! {metadata 的服务机制
# B6 R7 T# A, @' yConfigDrive
手动指定使用 ConfigDrive:
nova boot --config-drive=true ...
/ I* a( G4 D. |3 f  e) [. U9 e: _启动虚拟机时, 使用 --config-drive=true 就是使用 ConfigDrive 机制来注入 metadata 信息.
修改配置文件默认使用 ConfigDrive:
vim /etc/nova/nova.conf
3 I) I$ i8 H* ?+ E; [: H  a3 K! Y[DEFAULT]
...
1 r2 L4 y* g( c0 Dforce_config_drive = True
ConfigDrive 机制: OpenStack 会将 metadata 信息写入虚拟机的特殊设备中, 然后在虚拟机启动时, 会将该设备挂载到虚拟机上并由 Cloud-init 读取内含的 metadata 信息, 从而实现信息注入.
# g2 d) |5 i, F) q/ u7 W例如, 初始化定制 Openstack 默认支持的 Libvirt 虚拟机配置时, OpenStack 就会将 metadata 写入虚拟机的 vdisk 文件中, 并将 vdisk 指定为 cdrom 设备.
Openstack 实现技术分解 (2) 虚拟机初始化工具 — Cloud-Init & metadata & userdata..._第3张图片
我们启动一个测试用的 Libvirt 虚拟机, 其 id 为 30ba8cc0-b2f9-4e38-9a27-6bfa9d82f5f2. 然后找到该虚拟机的 XML 文件, 其中含有以下配置内容:
* ^9 ~; g6 G' O% a4 n* f3 Y; Ivim /opt/stack/data/nova/instances/30ba8cc0-b2f9-4e38-9a27-6bfa9d82f5f2/libvirt.xml
    <disk type="file" device="cdrom">
# }! E7 O, i2 I0 \      <driver name="qemu" type="raw" cache="none"/>
      <source file="/opt/stack/data/nova/instances/30ba8cc0-b2f9-4e38-9a27-6bfa9d82f5f2/disk.config"/>
      <target bus="ide" dev="hdd"/>
2 {# R: l2 k" H% i& q6 k, ], q1 o    disk>
所以, 这里的 cdrom 设备就是以 ConfigDrive 方式进行 metadata 信息注入所使用到的特殊设备.
但是需要注意的是: 显然, 不同的底层 hypervisor 支撑, 其所挂载的设备类型也不尽相同.
% Q4 C2 K1 |8 S- M6 q3 A在虚拟机中查看 metadata 信息:
ubuntu@auto-dep-db:~$ sudo mount /dev/disk/by-label/config-2 /mnt/
6 A. e/ K; e+ H5 L+ M' emount: block device /dev/sr0 is write-protected, mounting read-only
* l0 T: W5 U1 x* x1 {! Oubuntu@auto-dep-db:~$ cd /mnt/
2 ^3 C" }* H" [+ fubuntu@auto-dep-db:/mnt$ ls
ec2  openstack
- H) }0 W0 b1 U2 wubuntu@auto-dep-db:/mnt$ cd openstack/
& Z" D6 p( i# U" l  X6 K! a' [. zubuntu@auto-dep-db:/mnt/openstack$ ls
2012-08-10  2013-04-04  2013-10-17  2015-10-15  latest
ubuntu@auto-dep-db:/mnt/openstack$ cd 2015-10-15/
ubuntu@auto-dep-db:/mnt/openstack/2015-10-15$ ls
meta_data.json  network_data.json  user_data  vendor_data.json
4 w3 w1 H% `2 \& qubuntu@auto-dep-db:/mnt/openstack/2015-10-15$ vim user_data
" Y* F3 P' o+ Q! g7 I( D其中 user_data 文件就是我们在创建虚拟机时, 指定需要执行的脚本文件.
: @& U& ?6 ~+ U! r' X3 ?Metadata RESTful
. F. N& C; i) L% WOpenstack 中的虚拟机也可以通过 RESTful API 来获取 metadata 信息, 提供该服务的组件为 nova-api-metadata service + neutron-metadata-agent + neutron-ns-metadata-proxy.
注意, 如果在 Nova-Network 网络模式中后两个服务是不存在也不需要的.
Nova-api-metadata: 负责接收并处理虚拟机发出的 REST API 请求(EG.curl 169.254.169.254), 从 HTTP Request Header 中能够获得获得虚拟机 id, 继而从 database 中读取虚拟机的 metadata 信息并返回结果给虚拟机.
7 r5 x  I2 {* w4 z( ~Neutron-metadata-agent: 负责将自身节点中的虚拟机发出的 metadata 请求转发到运行 nova-api-metadata 服务的节点中, neutron-metadata-agent 会将虚拟机 id 和 project id 添加到 HTTP Request Header, 最后由 nova-api-metadata 会根据这些信息到 database 中获取 metadata 并返回结果给虚拟机.
( E8 Y; S: q( ENeutron-ns-metadata-proxy: 为了解决 Node 中的物理网段和 Project 中的虚拟网段重复的问题, OpenStack 引入了 network namespace 的概念, 每个 namespace 都是独立的, 其包含了各自拥有的 Route 和 DHCP Server. 由于虚拟机的 metadata 请求都是以 Route 和 DHCP Server 作为网络出口的, 所以需要通过 neutron-ns-metadata-proxy 来打通不同的 namespace, 让该请求在不同的 namespace 间跳转, 其实现原理是利用了在 Unix domain socket 基础之上的 HTTP 技术, 并在 HTTP Request Header 中添加 X-Neutron-Router-ID 和 X-Neutron-Network-ID 字段信息, 使得 neutron-metadata-agent 能够定位发出请求的虚拟机并获取其 id.
7 k  o' _! ]  P; F2 tOpenstack 实现技术分解 (2) 虚拟机初始化工具 — Cloud-Init & metadata & userdata..._第4张图片
Instance 发送 metadata 请求被发送至 network namespace
, H* v) X2 A9 j9 ^- f6 i; z再由 namespace 中的 neutron-ns-metadata-proxy service(添加 router-id/network-id 到请求头) 通过 unix domian socket for IPC 技术转发给 neutron-metadata-agent
) v; @! ?" I! X在 neutron-metadata-agent 中, 其会根据请求头中的 router-id/network-id/ip/port , 来获取并添加 instance-id/tenant-id 到请求头中
: G9 U% k- x+ d0 |7 v- L3 n  N然后由 neutron-metadata-agent 将请求被转发给 nova-api-metadata, 并且利用请求头中的 instance-id/tenant-id 从数据库中获取虚拟机的 metadata
; n5 T9 w# t) |$ j1 a- C( q! k' k最终原路返回 metadata 到虚拟机中
( A, D; N1 D, ^8 z) G3 V: n& sNOTE: 上面已经提到过了如果虚拟机希望访问 169.254.169.254 首先需要在 Node 上设置 DNET:
3 d6 e; C1 P& p, P: {- `: [* msudo iptables -t nat -A PREROUTING -d 169.254.169.254/32 -p tcp -m multiport --dport 80 -j DNAT --to-destination <nova_api_server_ip>:8775
! h- K& z& I( |5 _8 n5 Z