openstack中的metadata server

admin

虚拟机启动时候需要注入hostname、password、public-key、network-info之类的信息，以便虚拟机能够被租户管理。对于这些信息的注入openstack提供了两种方式， guestfs-inject以及metadata-server。
- \" G: G6 B# H2 F, q/ V) a
guestfs-inject的使用很受限制尤其是并不是所有镜像都能够支持这种方式，I版本也以及取消了这种方式； metadata-server使用上更为灵活，但是他们都依赖镜像内部必须装有cloud-init组件，尽管如此，由于aws力挺metadata-server，所以这已经成为了虚拟机 信息注入方案事实上的标准。
9 G5 o+ L  |( f1 w" a
本文主要探讨metadata-server在openstack中如何实现。

1. cloud-init
! l* J7 |. z8 M3 {
cloud-init是一个在启动的时候定制你的Iaas平台中虚拟机的包，它可以帮助你重新定义你的虚拟机而不需要重新安装，只需要加入对应的配置项即可。在Ec2中有很多镜像都安装了cloud-init来方便用户定制自己的虚拟机。它可以让你在虚拟机启动的时候设置语言环境，设置主机名，甚至生成私钥，添加用户自己的ssh公钥到虚拟机.ssh/authorized_keys, 设置临时挂载点等等。

cloud-init 项目地址: https://launchpad.net/cloud-init
; M) Q( ~1 b8 q2 f5 s# P
. v* f7 h" m) M' r  F* ecloud-init 文档地址: http://cloudinit.readthedocs.org

' n" W% p2 O- a" y: L2. metadata元数据服务

metadata字面上是元数据，是一个不容易理解的概念。在除了openstack的其他场合也经常会碰到。openstack里的metadata，是提供一个机制给用户，可以设定每一个instance 的参数。

$ |9 Q, v2 p6 |! h5 KAmazon首先提出了metadata的概念，并搭建了metadata的服务，这个服务的公网IP是169.254.169.254，通常虚拟机通过cloud-init发出的请求是:
2 u" x' S' B% D0 O& r
http://169.254.169.254/latest/meta-data
7 @1 t: v: i0 D% O) _, h/ i
3 I% r+ }1 T1 @0 o后来很多人给亚马逊定制了一些操作系统的镜像，比如 ubuntu, fedora, centos 等等，而且将里面获取 metadta 的api地址也写死了。所以opentack为了兼容，保留了这个地址 169.254.169.254。然后通过iptables nat映射到真实的api上。

% T- r' {5 h( Fmetadata在openstack中的BP: https://blueprints.launchpad.net ... nstack-api-metadata
1 t' R& Z* c! ^
4 h, U5 m2 g+ vnova中的metadata-server
  A$ Y, L" N4 K7 Q" Y4 c/ r
5 X9 Y+ V0 D7 b# }# G5 S2 [+ rmetadata-server的具体实现是在nova-api组件中，nova.conf中与metadata有关的配置如下:
# [% ^8 o4 S: z7 v$ Q/ }. @enabled_apis=ec2,osapi_compute,metadata

" u2 _( m$ j$ E% B5 }! Y$ a' U# OpenStack metadata service manager
  N9 ~9 X* ^( I% F" H7 [& \# q9 H0 Ametadata_manager=nova.api.manager.MetadataManager
- R8 X: W, X" u! R
# IP address for metadata api to listen
7 ]. J; \0 d  S( x! W1 u, x# I- }metadata_listen=0.0.0.0
/ D0 s" j: T7 V  M+ |2 I/ i
7 v: l3 ~1 e8 t, ^6 |8 U% r# port for metadata api to listen
! d5 U; f! @  V. [1 N6 zmetadata_listen_port=8775
6 ^  V. U' w# ^0 u4 ]
# Number of workers for metadata service
; H  Q$ `- a& r3 D1 N4 _metadata_workers=

# o5 z/ e0 ~/ s( G! q8 o  a- Y# 和neutron-metadata-agent 通信相关
service_neutron_metadata_proxy=True
% t! V2 d$ j. o2 {( C+ Yneutron_metadata_proxy_shared_secret=

) Q3 A8 d* o2 \; H0 i( p/ u
' l0 I: ~. Z% g. s6 n具体的代码实现在 api/metadata 下:

metadata=metadata {
* }3 G$ @3 u# q( z  __init__.py
  base.py
  handler.py
. _! s0 C6 W) j$ a5 t5 O  password.py
  V5 n$ t9 i: `/ n+ w* p  vendordata_json.py
! X, H! v1 }5 m6 `; w# q. j}
! s5 p% k1 K& k- J

与neutron的结合使用
2 ~. N2 R3 n- W" m" R$ |/ s& _0 _通常我们使用neutron实现虚拟机的网络方案，neutron的metadata-agent并不会自己实现metadata服务，而是把cloud-init的请求转发给nova-api中的metadata服务，具体服务流程请看下图:
   

虚拟机通过cloud-init组件请求169.254.169.254这个地址的metadata服务，这时这个请求会有两种方式处理。
server" title="openstack中的metadata server" action-data="http%3A%2F%2Fs14.sinaimg.cn%2Fmw690%2F0000cGopgy6TdIm27252d%26690" action-type="show-slide" style="border-width: 0px; border-style: initial; list-style: none;">
' D# v. a; Q0 V1 M, e: z

1 X, g5 U4 q: R当虚拟机所在的子网拥有网关而且连接了l3-router，则通过qrouter的namespace中的iptables处理； 当虚拟机所在的子网没有网关，是个封闭的子网，那么dhcp服务的虚拟网卡会添加一个169.254.169.254的ip；
' Y, `) j3 c: k5 Q3 b接收的cloud-init请求由ns-metadata-proxy处理，ns-metadata-proxy与metadata-agent通过unix domain socket实现IPC，实现将对ns-metadata-proxy的请求交给metadata-agent处理。
metadata-agent接收请求，将请求交给metadata-server的真实实现者nova-api。
9 s1 @  Q* E; U/ b) z3 o" A! s" U
5 g3 B6 h9 C  X( w# H, ~  q