Ironic

rui

Ironic对接原生的Neutron
9 r# x& }8 c* Y) X$ {3 Y4 i4 a5 w

---

部署、配置相关：
/ Y( V  N" i  a' ~5 H1 F

• Ironic自己有一个dhcp-server，在inspect过程使用
• neutron-dhcp，在provision过程使用
• inspect和provision过程使用的tftp server可能不同
  5 T6 r7 g, _/ Q7 m* X

Register过程

用户录入ironic node，包含ipmi等信息
8 \/ `; @6 r. W# T4 Z0 Z+ V: Y8 b

Inspect过程

这个过程中使用Inspect Network，要求：

• Ironic dhcp-server能收到BM节点的DHCP请求。
• BM节点拿到IP后，能和tftp-server-1互通（三层可达）
  ; f* c/ S/ F) V* L8 E7 H2 ]( e; d% h

用户获取BM节点信息
; b% m/ E% @" x( d0 v" g' v' i2 Y4 ~

• Ironic通过IPMI设置BM节点PXE启动
• Ironic通过IPMI启动BM节点，做PXE启动
• BM节点从Ironic dhcp-server获取IP。此时BM节点的请求报文不带vlan tag，使用上联接入交换机的native vlan（默认tag=1）
• 拿到IP之后，BM节点从tftp-server-1下载小镜像（ramdisk，内含Ironic Python Agent）
• 执行某些操作，获取BM节点的详细信息
• 将BM节点关机。ramdisk运行在内存中，关机后丢失。
  

Provision过程
, h8 Q) Q& {' r. @( b% e

这个过程中使用Provisioning Network（由neutron创建），要求：

• BM, glance-api, ironic-api, ironic-conductor, neutron-dhcp-agent需要保证PROVISION NETWORK连通性
  $ Z. f6 H& v$ a' ?( v

用户申请物理机，安装操作系统，配置业务网卡等

• 从nova入口
• Ironic IPMI启动BM节点，做PXE启动
• 此时，要求BM节点从neutron-dhcp-server获取IP（通过native vlan）。但由于Ironic-dhcp-server也允许native vlan过来的请求，所以必须保证DHCP请求被Neutron-dhcp-server处理。
• 拿到IP之后，BM节点从tftp-server-2（可以和Inspect过程中的tftp server不同）下载小镜像（ramdisk，内含Ironic Python Agent）
• （这一步怎么控制的？）从glance下载用户要求的镜像，做安装（要求拿到的IP和glance-api能互通）
• 安装完成之后，通过cloud-init在BM操作系统内部打上对应的vlan tag（必须保证该vlan tag在接入交换机上预先做了配置）
  

" F3 {+ y/ ~, |; Y! C- _; C! }

关键问题：
4 U$ i" E/ V. n, I

• Ironic-dhcp-server和Neutron-dhcp-server都允许native vlan过来的DHCP请求，如果有两个BM节点同时做Inspect和Provision操作，可能引起冲突。
  & ^  Y' Y" T4 @3 _/ W9 @

• 两个DHCP server合并。但是Neutron-dhcp-server是白名单方式，而在Inspect节点，dhcp-server还不知道BM节点的信息，没法配置白名单。
• 严格将Inspect和Provision过程分开。在机房初始化过程中，开启Ironic-dhcp-server，做完Inspect之后将其关闭；或者在EPC上强制Inspect过程中，disable Provision操作。
  
  * 一级私有云中兴方案，将两个DHCP合并了，运行在ToR交换机上。
  

• BM节点的租户vlan一定要在接入交换机上预先配置，如果做不到，则需要动态地配置交换机
• Neutron-dhcp-agent需要在业务网上
  

2 a7 v5 K6 Y- C* B9 F( O8 c

---

苏州Ironic环境

10.142.24.12 root/@IDC_host4321

$ Q/ W) f* q+ {

---

浙江Ironic测试环境

Ironic DHCP

[root@csv-yglcs17 ~]# cat /etc/dhcp/dhc
8 X7 [. Y" Y" m' I& N  Z, J. r) fdhclient.d/  dhcpd6.conf  dhcpd.conf
[root@csv-yglcs17 ~]# cat /etc/dhcp/dhcpd.conf
0 {* ?# a; R% t5 Yoption domain-name "test.com";
option domain-name-servers 8.8.8.8, 61.88.88.88;
default-lease-time 60000;
1 `! `3 e" e8 H+ s2 `4 L: Tmax-lease-time 720000;
subnet 20.26.34.0 netmask 255.255.255.0 {
    range 20.26.34.10 20.26.34.100;       <== DHCP段
* O1 E- C7 Q" t5 s    option routers 20.26.34.1;
$ r  S3 m& l- J  _    next-server 20.26.33.26;          <== tftp server
# S+ J* I' J/ c1 m$ r4 v: V    filename "pxelinux.0";
+ F, n( ~# J, s; ?& \$ R: {0 T}
! r% Q! m' E3 A; p8 W# Jsubnet 20.26.33.0 netmask 255.255.255.0 {      <== conductor节点只有33.0网段IP，如果不配置这个subnet，则dhcp启动时会报下面这个错误
+ y3 w/ Z; p* M) r& |}
" U+ [. t1 c/ w: _
! v$ U& z( g5 b5 D) H) F问题：
Apr 19 14:30:21 csv-yglcs17 systemd: Starting DHCPv4 Server Daemon...
Apr 19 14:30:21 csv-yglcs17 dhcpd: Internet Systems Consortium DHCP Server 4.2.5
Apr 19 14:30:21 csv-yglcs17 dhcpd: Copyright 2004-2013 Internet Systems Consortium.
Apr 19 14:30:21 csv-yglcs17 dhcpd: All rights reserved.
" m6 K* J& w. r3 a, q) uApr 19 14:30:21 csv-yglcs17 dhcpd: For info, please visit https://www.isc.org/software/dhcp/
& a/ Y  U' i9 \3 i) gApr 19 14:30:21 csv-yglcs17 dhcpd: Not searching LDAP since ldap-server, ldap-port and ldap-base-dn were not specified in the config file
Apr 19 14:30:21 csv-yglcs17 dhcpd: Wrote 15 leases to leases file.
) Q, l! R6 F+ X$ X: wApr 19 14:30:21 csv-yglcs17 dhcpd:
5 m/ P1 C0 n; d0 X; Q3 qApr 19 14:30:21 csv-yglcs17 dhcpd: No subnet declaration for eno33557248 (no IPv4 addresses).
Apr 19 14:30:21 csv-yglcs17 dhcpd: ** Ignoring requests on eno33557248.  If this is not what
Apr 19 14:30:21 csv-yglcs17 dhcpd:   you want, please write a subnet declaration
Apr 19 14:30:21 csv-yglcs17 dhcpd:   in your dhcpd.conf file for the network segment
Apr 19 14:30:21 csv-yglcs17 dhcpd:   to which interface eno33557248 is attached. **
5 C# l+ S3 \2 u$ b  uApr 19 14:30:21 csv-yglcs17 dhcpd:
+ i1 `6 B% z5 P1 gApr 19 14:30:21 csv-yglcs17 dhcpd:
: L6 q6 q1 B4 U+ H4 C) }2 PApr 19 14:30:21 csv-yglcs17 dhcpd: No subnet declaration for virbr0 (192.168.122.1).
Apr 19 14:30:21 csv-yglcs17 dhcpd: ** Ignoring requests on virbr0.  If this is not what
Apr 19 14:30:21 csv-yglcs17 dhcpd:   you want, please write a subnet declaration
Apr 19 14:30:21 csv-yglcs17 dhcpd:   in your dhcpd.conf file for the network segment
Apr 19 14:30:21 csv-yglcs17 dhcpd:   to which interface virbr0 is attached. **
Apr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd: No subnet declaration for eno16777984 (20.26.33.26).
) \1 \# O0 q6 y* jApr 19 14:30:21 csv-yglcs17 dhcpd: ** Ignoring requests on eno16777984.  If this is not what
! A8 y: ?' L0 ~; P* HApr 19 14:30:21 csv-yglcs17 dhcpd:   you want, please write a subnet declaration
Apr 19 14:30:21 csv-yglcs17 dhcpd:   in your dhcpd.conf file for the network segment
Apr 19 14:30:21 csv-yglcs17 dhcpd:   to which interface eno16777984 is attached. **
Apr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd:
( L, c. C4 @5 V4 QApr 19 14:30:21 csv-yglcs17 dhcpd: Not configured to listen on any interfaces!
Apr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd: This version of ISC DHCP is based on the release available
3 B7 F5 j8 {& m, f- IApr 19 14:30:21 csv-yglcs17 dhcpd: on ftp.isc.org.  Features have been added and other changes
Apr 19 14:30:21 csv-yglcs17 dhcpd: have been made to the base software release in order to make
% R' S0 A; y" Z! y) |' \Apr 19 14:30:21 csv-yglcs17 dhcpd: it work better with this distribution.
' G7 ]( y/ R9 Y! O! dApr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd: Please report for this software via the CentOS Bugs Database:
Apr 19 14:30:21 csv-yglcs17 dhcpd:    http://bugs.centos.org/
$ l& ?: O9 Z) y; o9 mApr 19 14:30:21 csv-yglcs17 dhcpd:
Apr 19 14:30:21 csv-yglcs17 dhcpd: exiting.
Apr 19 14:30:21 csv-yglcs17 systemd: dhcpd.service: main process exited, code=exited, status=1/FAILURE
" E, S) [$ s7 w- ?5 Z- |Apr 19 14:30:21 csv-yglcs17 systemd: Failed to start DHCPv4 Server Daemon.
7 m7 r/ E) Z2 |9 P2 N# a* L1 q! HApr 19 14:30:21 csv-yglcs17 systemd: Unit dhcpd.service entered failed state.
Apr 19 14:30:21 csv-yglcs17 systemd: dhcpd.service failed.

* n7 m0 a! P9 I+ f. |4 @

Ironic Inspector
4 }; e0 @9 L( z# o3 W  U

[root@csv-yglcs17 pxelinux.cfg]# pwd
# }1 t# }7 L5 v# c2 E5 @6 }/tftpboot/pxelinux.cfg
[root@csv-yglcs17 pxelinux.cfg]# cat default
default introspect
label introspect
kernel /tftpboot/ironic-inspector/inspector-kernel
, ]  E' V; Q; h, Gappend initrd=/tftpboot/ironic-inspector/inspector-ramdisk  ipa-inspection-callback-url=http://20.26.33.26:5050/v1/continue systemd.journald.forward_to_console=yes ipa-collect-lldp=True
6 B. g+ g" \3 E/ E: zipappend 3

inspector在20.26.33.26上

8 ]; c+ w* ?4 ZIronic Provisioning

ironic.conf中的provisioning_network还没配置。还有cleaning_network。
- w  J; s4 Q) V: P# ]8 U

% D9 |! c) D6 s0 x检查IPMI
- [- J% A# ~' C

[root@csv-yglcs17 ~]# ipmitool -P Huawei12#$ -H 50.1.65.245 -U root -p 623 -I lanplus power status
; s' Q" `, K* d, o2 Z. uChassis Power is on
: S. `1 Q7 G5 D
, O+ u& H% x0 W0 ?1 c: M( y) P: g

+ O7 H( B3 O6 v" Y2 w& I

== 操作 ==
9 H( O9 l' }8 E  A
3 A2 J1 ?6 t; A$ w

9 L8 {$ D3 Z$ ]/ \& c                               
登录/注册后可看大图

3 `1 A! I4 M( v. P, R+ E1 H

& X+ V" a" w* w2 V1 j4 ]
; |6 S8 b2 m& R' u

9 `' \6 d0 N9 f& ~) M) `6 W                               
登录/注册后可看大图

$ ^1 A- h) \7 I: k
. A' H- H- I4 K4 f

$ c2 N8 E  `" {ironic node-create --chassis_uuid dbb588b3-75e8-4028-b851-110671e05e58 \
                   --driver agent_ipmitool \
/ K* H- Y; b4 n' {                   --name pc-zjnacthd01 \
( h/ l5 t+ |8 p- k5 @4 x7 V5 F                   -i ipmi_address=50.1.65.245 \
                   -i ipmi_username=root \
                   -i ipmi_password=Huawei12#$ \
# q9 i- U8 T4 o                   -i ipmi_port=623 \
$ Q, E3 N) M7 K3 R' z8 O6 y                   -i driver_info/deploy_kernel=4c1855e5-9b6b-47e2-89e5-3bc351c2ae2e \
                   -i driver_info/deploy_ramdisk=2f603c85-de92-44ea-b4d0-1396b91102cc

Update 5/25: 正在开发Ironic AZ功能，通过node-update将AZ属性加入node，同步给nova数据库。nova boot时只需要指定AZ创建机器即可。

4 T7 a$ B4 X% t  c" k/ w

                               
登录/注册后可看大图

) ~/ j" [' I9 ]8 E, H


5 l3 ]+ Z1 I. h. S" bupdate 5/12:
- d) A5 V8 q# w  q1 L2 {( N+ v: |

! z- P" t; t2 t                               
登录/注册后可看大图

                               
登录/注册后可看大图

- }* h* `0 Q& ]6 p6 F5 W- `
2 f  |* R! H5 Y( z
1 P; ~! V- Q* o7 m
9 t. U. m: k' \& }inspect成功之后：

, a. U9 V$ k$ q) e6 t, L& b                               
登录/注册后可看大图

5 s6 j0 Q0 e8 a/ g0 R/ G% x

* v. U8 p/ J+ I5 `/ X5 n
  |4 J" d! M5 R8 c8 q2 N9 Hinspect失败，原因见“问题2”
6 H4 W+ G" F' Y  C& K" Q

- o5 X5 h9 t* Y8 F. a1 r                               
登录/注册后可看大图

0 c" {- k5 h2 j, O  U
配置provisioning_network:

                               
登录/注册后可看大图

; ^8 u4 c% c$ w" ]
1 v4 W' U$ ?8 C, O: {! b9 A! e

* J$ p* {) q2 g" f                               
登录/注册后可看大图

9 a3 \7 N: T1 p! b
' j, g1 l+ q2 u5 J1 Y: C8 |


9 [1 K8 P/ |. ^# h) V3 V! oInspect成功之后：
2 w( Q; F8 `3 _# Z3 K; G

                               
登录/注册后可看大图

                               
登录/注册后可看大图

- F4 O) D1 ]5 U0 O& P) I/ q$ p* ^
上传Ironic使用的镜像：

glance image-create --name CentOS-7-64bit-ironic.qcow2 --disk-format qcow2 --container-format bare --file CentOS-7-64bit-ironic.qcow2 --is-public True --human-readable —progress
glance image-update 40928b81-9be1-402a-8684-4e2d2fcf330f --property hypervisor_type=baremetal
" f+ ^5 ^/ _! ^: c

2 [2 ]- k; l4 w1 m9 e6 K1 jnova boot --flavor 2 --image 40928b81-9be1-402a-8684-4e2d2fcf330f --nic net-id=3a151049-ff3f-4bc5-88a1-b9084ec24bc9 pc-zjnacthd01
5 K1 m  P$ r6 R3 r

. M, D' J/ z- L; K                               
登录/注册后可看大图

- e$ c( }: B( B& m4 A

== 问题 ==

• node name有限制？
  

                               
登录/注册后可看大图

6 M' p0 Z5 r1 i% x) x
/ y3 E* Q4 m$ Z2 c+ N% C$ o

0 w1 Z0 r5 R( o6 ~1 P7 `
7 e; v) T" p: Q3 ^" B9 C' x

• 第一次Inspect失败
  $ X- V% q1 A# N, {0 M3 V- z

2017-04-20 15:29:16.409 28596 ERROR ironic_inspector.main   File "/usr/lib/python2.7/site-packages/keystoneauth1/access/service_catalog.py", line 228, in url_for
2017-04-20 15:29:16.409 28596 ERROR ironic_inspector.main     raise exceptions.EndpointNotFound(msg)
2017-04-20 15:29:16.409 28596 ERROR ironic_inspector.main EndpointNotFound: public endpoint for baremetal service in RegionFour region not found

重启ironic服务后解决

) S& u# i! Z. w, X. L7 C

• 第二次inspect失败，BM拿不到IP
  / q& \% a+ X* ^* X

DHCP请求已经发送到dhcp server：

# G: v3 q9 G1 D* c. W2 E) N                               
登录/注册后可看大图

  P: o5 i& t+ b: i* |

• inspect时找不到cleaning_network
  % I) R- _8 }$ O6 q+ U& w; I

配置cleaning_network(=provide_network)

5 F* ^: S; s) y( `2 o

• nova boot失败, conductor.log:
  

& i+ L% Q) {8 o( K6 {! t. P                               
登录/注册后可看大图

( p. ^; S# b( l# m2 i
3 m6 C) ~* @6 T& c
" N* p+ e7 i0 K" X  ?
更新控制节点的nova代码、ironic节点的ironic代码、计算节点ironicclient代码之后，问题解决

  I, F7 I; }7 \! i) e& |# E/ R. r

• nova boot失败，compute.log
  

0 j% f! q4 }/ i3 Q; u, z5 M                               
登录/注册后可看大图

! t* X% w; F# p1 p2 Q, i0 R

! R- |) ^7 e8 k- c: [" V( ]原因是这个ironic node driver_info还没更新：

1 H  u3 U( r1 C: [                               
登录/注册后可看大图

' N+ O$ ~1 f) X: w
; g1 X6 S$ w8 [更新一下：
' f( B: \1 s9 I, ^/ I# ]# Wironic node-update baa519fc-7c06-40f8-8e5a-5fd3b6e97e01  add driver_info/deploy_kernel=f8205536-070b-4286-8d0c-35e3b8647741
ironic node-update baa519fc-7c06-40f8-8e5a-5fd3b6e97e01 add driver_info/deploy_ramdisk=302e6438-4d31-429b-8bae-47e225d4ed67
. V! D: g5 v- r- O7 V- V( D& Y. G8 @update 05/12:

ironic node-update baa519fc-7c06-40f8-8e5a-5fd3b6e97e01  add driver_info/deploy_kernel=4c1855e5-9b6b-47e2-89e5-3bc351c2ae2e
1 H  A2 }- m. v' n& Cironic node-update baa519fc-7c06-40f8-8e5a-5fd3b6e97e01 add driver_info/deploy_ramdisk=2f603c85-de92-44ea-b4d0-1396b91102cc
; U/ h/ A1 c: p& A1 R

                               
登录/注册后可看大图

4 l/ P8 M: T0 N3 x3 l. F* b4 ], P
! Q+ d( C: \2 V6 a; ^7 a
3 Z) ?0 H0 G% P# k3 j
- l7 s9 C  n  l  Y# Q: v6 a
, Q% i% A3 ]2 p7 I" q( Z3 [- B

• nova boot失败，镜像找不到，compute.log
  

                               
登录/注册后可看大图

- n* @. Q. }  P. Q; M

/ }  [: k$ J1 V" y$ C& D) X& p5 E! v0 L
计算节点nova.conf的glance-api配错了：
" T6 u, o: C1 q; a4 Z8 z' v, [

9 w  [  F; x4 [; t( G                               
登录/注册后可看大图

. T' ^# ^. d$ H  [1 t+ n3 ?0 H

) F+ I8 W" D3 y! N' {( G9 L* z
6 g2 a% Y! k- G* b: X) xironic-conductor节点ironic.conf中添加glance api version=1

; Z  W7 y" p) w  B& ~: @                               
登录/注册后可看大图

9 N+ z/ \3 X0 b" d




glance_api_version=1
% s: u4 U: J# H! X8 A
/ U% G! r% P' j/ v' d! d6 I

• nova boot失败，ironic-conductor.log:
  9 |3 s; V) E6 c, x" ]" }

                               
登录/注册后可看大图

' I& Z1 s9 r3 e4 N

" {% V* V% g" W, r3 h7 E
命令行验证，可以在provisioning network d5a284c3-41d3-4eb3-a11f-58a99d3e2eb1上创建port
( E+ h. ?; {- P* ?& l$ R
原因是没有enable LLDP。enable之后：

$ ?$ K  }3 E2 o0 l4 S$ i9 V& s9 r! `ironic port-list | awk '{print $2}' | egrep '[0-9]+' | xargs -I 'X' ironic port-delete 'X'
. S( c2 O# Q* z! g% Jironic portgroup-list | awk '{print $2}' | egrep '[0-9]+' | xargs -I 'X' ironic portgroup-delete ‘X'
重新Inspect：
/ }, ~: G3 {( D3 l2 J% K" pironic node-set-provision-state baa519fc-7c06-40f8-8e5a-5fd3b6e97e01 manage
ironic node-set-provision-state baa519fc-7c06-40f8-8e5a-5fd3b6e97e01 inspect
- P# y  w7 ~. ?; \. ~

                               
登录/注册后可看大图

7 `: Z) L' u# d- g+ L! j$ E
1 s! z" O) R5 `  Z8 C4 m2 C  M

# H1 J: r! N# u2 N/ x, M7 v                               
登录/注册后可看大图

2 e- H) E7 d# Y9 e  D
1 M; T1 Q# u  H

: P, C! g- Q/ t

• nova boot失败，找不到用户镜像
  

原因是glance-registry.conf中的数据库写错了。

1 d. K; T' y8 x( W8 ^) q5 q" [! z

• nova boot失败，找不到ramdisk
  : Y( E2 D/ w" l; a0 G& j% t' {

! O3 l) ^* Z0 o' X. B! @8 A' s2 R                               
登录/注册后可看大图

# n! t' X% n0 x$ U7 B% J  r$ L
; t1 o( t6 h8 |) o. g" c
' o' z# \6 i: L0 R6 G! H) @/ c
8 p8 i! }9 Y$ c( g8 c7 p( s这个image UUID是配置在ironic node的driver_info里面的，image需要上传到glance

+ C7 x2 K8 a' k2 o/ u上传镜像：
" E0 {6 E2 s" \$ A; L; x! H% {

$ J  ?+ }/ Q, w" w                               
登录/注册后可看大图

1 U+ y$ ^8 b; @( d/ d* {6 @! b
5 x% r! V% `6 O$ v  \

% A) \' ?/ S/ u' F1 v% n6 n2 ^- J                               
登录/注册后可看大图

; s2 {* R/ h: a) q

                               
登录/注册后可看大图

) s- [; q7 V- ^, I5 x更新Ironic node信息：
; N) [0 ?, J2 {# E" O; i+ U6 W

                               
登录/注册后可看大图

, n6 [  m+ e- N0 m


% g8 x$ |* `1 r+ W; J- L, c
  Y: o; t( I! I, b3 e# y( G# R

• nova boot失败，访问tftp权限不够
    T$ V# o( j8 F. m3 a

                               
登录/注册后可看大图

5 U8 Q  B% b* J! ^+ x+ r
9 ?7 G: q4 ^& j7 g- u8 S' [8 x


chown -R ironic:ironic /tftpboot/

9 W: R1 ^" G3 V# s. {                               
登录/注册后可看大图

: {( c) B% }, ], s% \
; y- P6 @# {7 d

• nova boot失败，物理机DHCP请求被ironic-dhcp捕获了
  0 w7 h* L8 D/ A8 `9 V. r5 T

关闭ironic-dhcp

  |8 o- c  f& ~" W

• nova boot失败，物理机DHCP时不能从neutron DHCP拿到IP
  

在控制节点上，neutron dhcp在dnsmasq启动的namespace中。relay的目的地址是控制节点管理网IP（eno16777984），dnsmasq的监听设备为namespace的tap口，IP为20.26.34.91，他拿不到dhcp请求。
. j5 G0 @* N0 l( C+ F现在的方法是：在控制节点上手动启动一个dnsmasq，使用neutron dhcp一样的配置

; ]. h) ~7 r/ W8 H7 r

• 拿到IP之后，进入ramdisk系统，但是重启之后不能进入用户镜像的操作系统
  

查看BIOS的启动设备顺序，发现是- Boot Device Selector : No override
* q( x% s1 x" r) L9 d/ i查看ironic-conductor.log，发现连不上20.26.34.70:9999。这是IPA的地址和监听端口，需要保证ironic-conductor节点能连上，但是的确不通。

* v5 O$ I$ n( y' b9 `                               
登录/注册后可看大图

) X0 ~/ m" v3 E9 G
3 Z5 c1 g. L( ?/ H


姚军说可能是ramdisk启动之后，有两个网口获取到了IP地址，引起路由错乱，建议我们ramdisk启动之后，删除第二个地址。

05/04 update: 在provisioning network上加上静态路由：destination=控制节点网段，nexthop为provisioning network GW
& i6 C4 e" S/ d4 N05/11 update：neutron subnet-update aca03dd8-3d2a-4c54-99de-7a8a7bac4f53 --host-route destination=20.26.33.0/24,nexthop=20.26.34.1
Updated subnet: aca03dd8-3d2a-4c54-99de-7a8a7bac4f53

' n* Y/ F9 J0 ?0 r5 _3 H: b9 p8 {& X& Z                               
登录/注册后可看大图

6 o% O0 `4 J- q5 |

+ `4 T7 h$ ~" M! t. f
' _5 j: q! j% m7 u
. {& f0 j# A3 x5 l  m8 |验证可行，能连接这个端口并下载用户镜像： ==> 为啥会有多个网卡获取到IP，如何从代码层面解决？
1 `( L7 k3 Q3 I3 m  l0 U5 X% W) a5 x6 I

5 ]6 N! S; g3 N                               
登录/注册后可看大图

* z6 l0 L/ o5 [
/ ^$ g$ s* [% y" R. z7 G" V


1 k4 J# I) J# l' R9 r
IPMI查询启动顺序：ipmitool -P Huawei12#$ -H 50.1.65.245 -U root -p 623 -I lanplus chassis bootparam get 5
设置硬盘启动：ipmitool -P Huawei12#$ -H 50.1.65.245 -U root -p 623 -I lanplus chassis bootdev disk

9 c: m4 f* U5 Y* T1 R                               
登录/注册后可看大图

) f3 e! Y2 u$ ~

• 用户镜像下载到了/dev/sdl，没有下载到第一个硬盘，并且整个boot过程超时了
  + ~+ A7 _: _) e* |1 J

0 t7 l/ j: u3 g4 f                               
登录/注册后可看大图

; E+ b5 g3 O- e0 E

# F8 C9 z4 \- g  ?) }+ P' Q0 H
a. 姚军修改了ramdisk，固定使用/dev/sda作为写入的硬盘
: z/ l+ J0 Y+ J0 \: r b. 修改ironic.conf的deploy_callback_timeout=900
6 m" Z' j' W$ N8 h2 s
Updat 05/04:
李灏：ironic node-update 4fae2ae3-0935-4585-8be2-00298015f8f3 replace properties/root_device='{"name": "/dev/sda"}'
, x: x$ O, u% H9 N. H

• 写入了/dev/sda，但是ironic-conductor没有重启机器，导致boot hang死
  

journalctl -fu python-ironic-agent查看IPA内的日志
3 g& v) J& H( q5 M; ^/ kjournalctl --no-pager

• 镜像写入/dev/sda后，IPA执行partprobe /dev/sda失败
  2 q- ^. ?$ v4 M+ a( s4 E- [

  [+ k8 Y9 v# U% M; n4 t                               
登录/注册后可看大图

+ C5 m9 D7 z* j5 Y4 [. `( Q  nramdisk中的ironic-lib需要打patch：https://review.openstack.org/#/c/444061/
0 E5 p0 |3 G  n! F
4 E+ C+ i& p- c9 y4 h0 {1 R9 h  [

• 
  - k% G( ~- p" n9 {