openstack常见错误

admin

以下主要为安装部署过程中遇到的一些问题，因为openstack版本问题，带来的组件差异导致不同的版本安装的方法也完全不一样。经过测试，目前已可成功部署Essex和Grizzly两个版本，其中间还有个版本是Folsom,这个版本没有部署成功，也没有花太多时间去研究，因为Folsom版本中使用的quantum组件还不成熟，对于网络连通性还有很多问题，网上也很少有成功的案例，大多数人使用的还是folsom+nova-network模式。
9 w# E, ^0 S; N1 o2 ]
1 }8 a7 a0 V- u" n7 _. m到了Grizzly版本，quantum组件才比较稳定，可以正常使用，自己也花了很多时间研究，现在已可以成功部署多节点环境。以下是部署过程中遇到的一些问题，包括Essex和Grizzly两个版本。国内网上关于这方面的资料很少，很多资料也都是国外网站上看到的。而且很多情况下日志错误信息相同，但导致错误的原因却不尽相同，这时候就需要仔细分析其中的原理，才能准确定位。遇到错误并不可怕，我们可以通过对错误的排查加深对系统的理解，这样也是好事。
! p) h  z' s: S& Q7 a
关于安装部署，网上有一些自动化的部署工具，如devstack和onestack，一键式部署。如果你是初学者，并不建议你使用这些工具，很明显，这样你学不到任何东西，不会有任何收获。如果没有问题可以暂时恭喜你一下，一旦中间环节出现错误信息，你可能一头雾水，根本不知道是哪里错了，加之后期的维护也是相当困难的。你可能需要花更多的时间去排查故障。因为你根本不了解中间经过了哪些环节，需要做哪些配置！这些工具大多数是为了快速部署开发环境所用，正真生产环境还需要我们一步一步来操作。这样有问题也可快速定位排查错误。

4 R1 s; [' O; v+ x9 Z本文仅是针对部署过程中的一些错误信息进行总结梳理，并给予解决办法，这些情况是在我的环境里遇到的，并成功解决的，可能会因为环境的不同而有所差异，仅供参考。
) a5 S3 u! k* Y. _9 O1 _- u/ s5 k
% G9 f$ c1 G& D+ S0 Z, M. F1、检查服务是否正常：

root@control:~# nova-manage service list

. v" N6 M; k; l6 Q2 Q" R, ~7 o' kBinary           Host                                 Zone             Status     State Updated_At

2 x4 }& d' M! ^: T1 anova-cert        control                              internal         enabled    :-)   2013-04-26 02:29:44

nova-conductor   control                              internal         enabled    :-)   2013-04-26 02:29:42

- Y, j0 w  z0 Inova-consoleauth control                              internal         enabled    :-)   2013-04-26 02:29:44

nova-scheduler   control                              internal         enabled    :-)   2013-04-26 02:29:47

nova-compute     node-01                              nova             enabled    :-)   2013-04-26 02:29:46
/ J0 Y9 q1 b% C6 c% ^, K
$ X0 [4 S" h: L$ i  snova-compute     node-02                              nova             enabled    :-)   2013-04-26 02:29:46
6 J3 ~( k# l" D9 G& j# ?) E- V" h
nova-compute     node-03                              nova             enabled    :-)   2013-04-26 02:29:42
8 o9 V" p1 x; g- ]! y* G, X9 c9 ^

- l. K& ^9 Z+ D4 [0 z6 R+ @) l如果看到都是笑脸状态，说明nova的服务属于正常状态，如果出现XXX，请查看该服务的相关日志信息，在/var/log/nova/下查看，通过日志一般可以分析出错误的原因。

. A# j9 T8 z/ j8 n1 M5 ^2 z2、libvirt错误
& c6 D; u2 G0 \. d5 m


9 G0 \. W: k; j' r- cpython2.7/dist-packages/nova/virt/libvirt/connection.py”, line 338, in _connect
2013-03-0917:05:42 TRACE nova return libvirt.openAuth(uri, auth, 0)
2013-03-09 17:05:42 TRACE nova File “/usr/lib/python2.7/dist-packages/libvirt.py”, line 102, in openAuth
2013-03-09 17:05:42 TRACE nova if ret is None:raise libvirtError(‘virConnectOpenAuth() failed’)
5 i3 h$ E# B4 |! r2013-03-09 17:05:42 TRACE nova libvirtError: Failed to connect socket to ‘/var/run/libvirt/libvirt-sock’: No such file or directory
- [9 S2 j& G$ L' W6 K( ?: U% O, w2013-03-09 22:05:41.909+0000: 12466: info : libvirt version: 0.9.8
2013-03-09 22:05:41.909+0000: 12466: error : virNetServerMDNSStart:460 : internal error Failed to create mDNS client: Daemon not running
2 u+ j. D8 W. w* w5 m

解决方案：

出现这种错误首先要查看/var/log/libvirt/libvirtd.log日志信息，日志里会显示：libvirt-bin service will not start without dbus installed.

我们再查看ps –ea|grep dbus，确认dbus is running，然后执行apt-get install lxc

3、Failed to add image

Error：
# |9 W) z& e8 I. [Failed to add image. Got error:
The request returned 500 Internal Server Error

) {& i; c0 T, H2 r! T# P# P. ^
解决方案：

- i5 ^0 L+ Z8 R, n4 n环境变量问题，配置环境变量，在/etc/profile文件中新增：

OS_AUTH_KEY=”openstack”
OS_AUTH_URL=”http://localhost:5000/v2.0/”
OS_PASSWORD=”openstack”
6 U) C, j* t) L( k5 @! x) JOS_TENANT_NAME=”admin”
/ @6 X, w0 C1 z  ]( ^6 l% VOS_USERNAME=”admin”

# a; m& h4 W  G9 ]8 _: d
然后执行source  /etc/profile即可！当然你也可以不在profile里配置环境变量，但是只能临时生效，重启服务器就很麻烦，所以建议你还是写在profile里，这样会省很多麻烦。

4、僵尸实例的产生

僵尸实例一般是非法的关闭nova或者底层虚拟机，又或者在实例错误时删除不了的错误，注意用virsh list检查底层虚拟机是否还在运行，有的话停掉，然后直接进入数据库删除。

Nova instance not found

3 d, L3 w& W. C$ P# O, VLocal file storage of the image files.
) ]7 W# j7 l8 }8 ?3 D4 L; J
Error:
2013-03-09 17:58:08 TRACE nova raise exception.InstanceNotFound(instance_id=instance_name)
  t. L" {+ l) p* s+ m2013-03-09 17:58:08 TRACE nova InstanceNotFound: Instance instance-00000002 could not be found.
% {. o  G. h: d2 C2013-03-09 17:58:08 TRACE nova

4 B. n# U+ n' ~* q8 e
' K- I% H6 q8 t# l+ X+ C1 j7 y/ f

解决方案：

6 W5 Y  X. r% L. x# o+ w删除数据库中的僵尸实例或将数据库删除重新创建：

" @. Y* r0 @+ fa、删除数据库：

$mysql –u root –p
DROP DATABASE nova;

Recreate the DB:
) r5 r  d" `7 j. e' I- JCREATE DATABASE nova; (strip formatting if you copy and paste any of this)
GRANT ALL PRIVILEGES ON nova.* TO ‘novadbadmin’@'%’ IDENTIFIED BY ‘<password>’;
Quit

Resync DB
# F8 c  y7 `9 q$ n9 U* j

; B: a: x4 v" @5 mb、删除数据库中的实例：
* ]! Z# b( ^- X* f9 p4 B
8 O9 T- [! z# K3 F* k: q#!/bin/bash

( `) Z" P4 q7 c% Tmysql -uroot -pmysql << _ESXU_
  M5 o6 y2 K! m/ h$ x. i7 U% ^$ w
use nova;

) N& q( f% X  L4 `: wDELETE a FROM nova.security_group_instance_association

AS a INNER JOIN nova.instances AS b

! v6 ~: X$ R0 P' @& e* Y6 _0 w6 TON a.instance_uuid=b.id where b.uuid='$1';

& I! Q) o  a' Z% `DELETE FROM nova.instance_info_caches WHERE instance_uuid='$1';
$ {4 r2 j, F! w! @' V; N
DELETE FROM nova.instances WHERE uuid='$1';
' X% }" E; w( h8 O
_ESXU_
  ?  X0 V$ z% W
! Z1 C; _% s2 U- j$ h% h( l
1 f/ W+ l; K9 \4 _- V% f9 [* P) {  G将以上文件写入delete_insrance.sh中，然后执行sh delete_instrance.sh insrance_id;

6 i* T9 f& Z0 v# o3 p其中instrance_id可以通过nova list 查看。
0 _4 S% _# c) p$ `5 a# b
5、Keystone NoHandlers
9 ^, N7 K2 D8 }8 a  ?1 @% @& D; ~2 j8 ~
6 H# z  y( }7 B* `( M3 s$ ?/ dError
root@openstack-dev-r910:/home/brent/openstack# ./keystone_data.sh
' Q: T* L0 a" H+ WNo handlers could be found for logger “keystoneclient.client”
, a/ ~2 j1 m" K5 K0 `& {5 g8 rUnable to authorize user
No handlers could be found for logger “keystoneclient.client”
Unable to authorize user
No handlers could be found for logger “keystoneclient.client”
5 M- L( h' s1 mUnable to authorize user

6 H4 y3 O/ q# v4 a$ k
9 e- _) s6 i1 {' h' z解决方案：

1 X8 V4 o) X6 V: Y. K# z出现这种错误是大多数是由于keystone_data.sh有误，其中

admin_token必须与/etc/keystone/keystone.conf中相同。然后确认keystone.conf中有如下配置：
: s+ G' M. g8 @9 \+ v" r" }. x% ^
driver = keystone.catalog.backends.templated.TemplatedCatalog template_file = /etc/keystone/default_catalog.templates

3 l4 J7 T  ]0 s; i6、清空系统组件，重新安装：
; q  q; z( @) w8 g$ J, ]# a' M  @- h
#!/bin/bash
; I7 |* q2 C) ]9 g, mmysql -uroot -popenstack -e “drop database nova;”
mysql -uroot -popenstack -e “drop database glance;”
6 i8 @+ g3 N( q! O8 R+ Cmysql -uroot -popenstack -e “drop database keystone;”
( F0 Z" m$ t: u; ^! xapt-get purge nova-api nova-cert nova-common nova-compute
4 H' Q8 m4 u! A3 p- |nova-compute-kvm nova-doc nova-network nova-objectstore
, \$ C- d% j1 Znova-scheduler nova-vncproxy nova-volume python-nova python-novaclient
2 s0 B- w1 Q) z4 iapt-get autoremove
rm -rf /var/lib/glance
rm -rf /var/lib/keystone/
rm -rf /var/lib/nova/
( G4 M# U) R' L6 Zrm -rf /var/lib/mysql
+ ]" i; B; D/ _% R# e' A; Q

. z0 V% j6 t+ c: [& `; y! N" j可通过执行上面的脚本，卸载已安装的组件并清空数据库。这样可以省去重装系统的麻烦！

- E- G2 ]0 C6 o7、Access denied for user ‘keystone@localhost(using password:YES’)
$ B$ h/ }& ]  s. q
" k$ o' J+ ?0 c4 D! q# keystone-manage db_sync
. O' s2 q! p( X. F
File “/usr/lib/python2.7/dist-packages/MySQLdb/connections.py”, line 187, in __init__

" J. _- l' t. |6 @  C! Hsuper(Connection, self).__init__(*args, **kwargs2)
1 |' t/ F* G6 q1 P+ Y  Nsqlalchemy.exc.OperationalError: (OperationalError) (1045, “Access denied for user ‘keystone’@'openstack1′ (using password: YES)”) None None
! W" }+ r( x- j7 M

解决方案：

* a) W" I1 }5 |% ^0 i- Z6 L查看keystone.conf配置文件链接数据库是否有误，正确如下：

" o, X4 _" h* S3 \[sql]
1 o# j5 ]  [! B$ b7 q5 e- X# X& ?* ~
connection = mysql://keystone:openstack@localhost:3306/keystone

3 u! s9 j1 G2 {' a9 c& R
8、nova-compute挂掉与时间同步的关系

% ~- W- G. @2 m7 n" w  i4 h1 E/ D很多时候发现nova-compute挂掉，或者不正常了，通过nova-manage查看状态是XXX了。
7 Z/ \' r1 \- n( @5 B: M6 K
往往是nova-compute的主机时间和controller的主机时间不一致。 nova-compute是定时地往数据库中services这个表update时间的，这个时间是nova-compute的主机时间。
6 E7 Q5 @1 Y4 P0 i* ~8 C/ i- @" g
controller校验nova-compute的存活性是以controller的时间减去nova-compute的update时间，如果大于多少秒（具体数值代码里面有，好像是15秒）就判断nova-compute异常。

这个时候你用nova-manage查看nova-compute状态是XXX，如果创建虚拟机，查看nova-scheduler.log 就是提示找不到有效的host 其他服务节点类同，这是nova心跳机制问题。所以讲nova环境中各节点时间同步很重要。一定要确保时间同步！！

如果在dashboard上看nova-compute状态，可能一会儿变红，一会儿变绿。那就严格同步时间，或者找到代码，把上面的那个15秒改大一点。

9、noVNC不能连接到实例

novnc的问题比较多，网上也有关于这方面的很多配置介绍，其实配置不复杂，只有四个参数，配置正确基本上没什么大问题，但是装的过程中还是遇到了不少的问题。
# l; T3 R2 Q# ?2 }) q/ f. v8 \
a、提示“Connection Refuesd”

可能是控制节点在收到vnc请求的时候，无法解析计算节点的主机名，从而无法和计算节点上的实例建立连接。
: P9 h  [0 }( V+ s+ z
另外可能是，当前浏览器不支持或者不能访问，将计算节点的ip和主机名的对应关系加入到控制节点的/etc/hosts文件中。

b、提示“failed connect to server”

6 v' S# c# P9 x" q9 A出现这种错误的情况比较多，有可能是配置文件的错误，我们的环境中遇到这个错误是因为网络源有更新，导致安装版本不一致，使组件无法正常使用，解决方法就是使用本地源。另外需要特别说明的是使用novnc的功能需要浏览器支持Web Socket和HTML5.推荐使用谷歌。

10、cinder错误，无法登录dashboard.

出现如下错误：

! r! G3 r0 @* ^# A( w) s   
, Y$ U0 M8 x6 {+ e9 ~1 U1 ?! A$ vTypeError at /admin/
hasattr(): attribute name must be string

Request Method:   GET

Request URL: http://192.168.80.21/horizon/admin/
2 A4 v0 a2 q4 O# [3 s* U( N% c( B6 J
Django Version:   1.4.5

Exception Type:   TypeError
! L4 X; }1 H; E' X  K
5 x; G& m9 |. h5 v% EException Value:
  d  b6 N. i0 k& O2 e) l/ X. [2 o
4 ]7 X- D6 e( M$ Khasattr(): attribute name must be string
7 t% {( t6 n8 k: q# M& P1 I
Exception Location: /usr/lib/python2.7/dist-packages/cinderclient/client.py in __init__, line 78

3 }6 y. s0 L" P/ F  sPython Executable:   /usr/bin/python
! ]6 b! u8 B* W, I( u
Python Version:   2.7.3
! p& {$ w# `7 j# O: K* y
Python Path:

/ a+ s; W5 n( i2 e$ w$ L, @5 M['/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../..',
: h8 _* u0 u- Y7 s; x# u! a/ a& ?
/ n0 j% n/ d) }: d& ] '/usr/lib/python2.7',
; k4 b4 z+ I# V: ~
2 @+ \  c) `5 n5 }6 k '/usr/lib/python2.7/plat-linux2',
% ]/ B; Y3 u0 z8 G! B9 z9 i
- e7 j' p: S$ w! o) \ '/usr/lib/python2.7/lib-tk',
* X* a. p  ^; F9 n
'/usr/lib/python2.7/lib-old',
. [% P( X5 f3 I, o
'/usr/lib/python2.7/lib-dynload',
& x$ @; K5 r3 H+ ]' }  S
'/usr/local/lib/python2.7/dist-packages',

# @% J8 @% ~2 z; i, x '/usr/lib/python2.7/dist-packages',

% _# u, p7 F  z! ^0 ~9 ~ '/usr/share/openstack-dashboard/',

) N# J5 Y9 j4 S '/usr/share/openstack-dashboard/openstack_dashboard']
: \4 e% x- ^5 l+ N! B- q; b

2 e2 X3 `% C0 [
, ?7 W3 |- @9 v3 `  Z% O; WServer time: Fri, 29 Mar 2013 12:51:09 +0000

' ~0 |+ `2 D$ X* d4 M! G" d
, x2 |% ~1 A! N5 g解决方案
% {" p. G) Z$ _* J% ~. E8 g0 F
查看 apache2 的 error 日志，报如下错误：
, U! }0 H6 ]0 Z+ I% j

* n: k5 c3 K$ H# c$ d$ SERROR:django.request:Internal Server Error: /horizon/admin/
0 y. o$ X) y9 `+ s
  v- [6 }# B) a; }, ]2 uTraceback (most recent call last):
/ v/ P) e! m7 O5 X' T3 _
/ {+ g% Y) F) e6 _9 U, G# k7 B4 ~  File "/usr/lib/python2.7/dist-packages/django/core/handlers/base.py", line 111, in get_response

    response = callback(request, *callback_args, **callback_kwargs)

  File "/usr/lib/python2.7/dist-packages/horizon/decorators.py", line 38, in dec
- e; A- V0 _) I* v& g, h$ P
    return view_func(request, *args, **kwargs)

  File "/usr/lib/python2.7/dist-packages/horizon/decorators.py", line 86, in dec
+ l, }; t" n3 C, A( p
7 Q) \- `1 e7 s2 z* G7 W    return view_func(request, *args, **kwargs)

7 a- q8 s- A/ ]% ^/ z  File "/usr/lib/python2.7/dist-packages/horizon/decorators.py", line 54, in dec

    return view_func(request, *args, **kwargs)
, |! v. G5 T) P' n6 E5 a
3 k9 y5 a# `& E+ k  File "/usr/lib/python2.7/dist-packages/horizon/decorators.py", line 38, in dec
2 i0 O* ~: f* V4 J$ z( h
    return view_func(request, *args, **kwargs)
" U# U8 l: P8 [9 t1 }+ q% ~
+ R1 h0 g9 r( e) u  File "/usr/lib/python2.7/dist-packages/horizon/decorators.py", line 86, in dec
, A# H1 e3 k' v! o$ p
# p8 p: `: K! r- Z4 D    return view_func(request, *args, **kwargs)
) B7 m& ]( {- J+ |; v
) Q7 ^1 V7 K5 G4 {  File "/usr/lib/python2.7/dist-packages/django/views/generic/base.py", line 48, in view
7 i' ^) S$ H8 n7 \. [* A
    return self.dispatch(request, *args, **kwargs)
( M) Z/ e* S7 j8 A( L. }$ N/ y6 t* {
  File "/usr/lib/python2.7/dist-packages/django/views/generic/base.py", line 69, in dispatch
& G8 g9 O5 X" {+ F4 c$ Y$ K
; ~& G4 t7 c1 K& `1 R1 ]* i3 k    return handler(request, *args, **kwargs)
3 U; H  k7 Q& C$ a2 y
/ @$ D8 r0 J8 e- V0 F; k6 S: Q* m- q  File "/usr/lib/python2.7/dist-packages/horizon/tables/views.py", line 155, in get
& M9 C9 A' \; s; X" Y% i
( H# ?: [$ _& N7 i3 x5 [    handled = self.construct_tables()
' z2 Z/ C) ~1 m) G& X
  File "/usr/lib/python2.7/dist-packages/horizon/tables/views.py", line 146, in construct_tables
: G6 G; u" h0 ?& j  e; E/ E% n
" T3 Z/ C# ~8 r9 m  c6 y# k    handled = self.handle_table(table)
# h- _% b8 ^4 R" F  p
) k& ]' p6 h! A# p' ?  File "/usr/lib/python2.7/dist-packages/horizon/tables/views.py", line 118, in handle_table
0 J5 Z; _- T% o4 Y# r* f) V7 M
    data = self._get_data_dict()
, j$ n2 ^1 X3 Q2 O  b- e
  File "/usr/lib/python2.7/dist-packages/horizon/tables/views.py", line 182, in _get_data_dict
) E- c0 j2 L# E  T3 p' ~# r
4 ~$ u3 [3 c9 R% [' i    self._data = {self.table_class._meta.name: self.get_data()}
9 T. g+ v( \, \5 F4 Q' _' n
0 H: M8 ?# K$ n0 T- l, p: s9 I  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/dashboards/admin/overview/views.py", line 41, in get_data

    data = super(GlobalOverview, self).get_data()

% O* e2 e: ?. m& D0 W9 A: g# _' H  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/views.py", line 34, in get_data
% d5 b+ _7 t& W$ Z
    self.usage.get_quotas()
. g: V5 }! J% W8 J
# ?( V% X  b$ E7 ?  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/base.py", line 115, in get_quotas

  I: z- K- `: B! W% `; k& K    _("Unable to retrieve quota information."))
! L! C/ |& x& r8 B) L
  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/base.py", line 112, in get_quotas

    self.quotas = quotas.tenant_quota_usages(self.request)
1 W. l4 r) }* F; D% k' `( \
6 |" [' d2 g# }3 {& q6 x9 z' C  File "/usr/lib/python2.7/dist-packages/horizon/utils/memoized.py", line 33, in __call__

    value = self.func(*args)
: v; q. E3 L5 }% a5 i% T' W% ?
  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/quotas.py", line 115, in tenant_quota_usages

' T! {  T7 K5 w" q$ V    disabled_quotas=disabled_quotas):

  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/quotas.py", line 98, in get_tenant_quota_data
9 ~$ C6 ]# O" B" k: s* E' E- \- k
    tenant_id=tenant_id)
8 G2 k9 A4 k* M5 n- ^# Y- x$ R' ?
  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/usage/quotas.py", line 80, in _get_quota_data
) v$ ?5 b  x3 a  n# F8 E
    quotasets.append(getattr(cinder, method_name)(request, tenant_id))

  [2 @, ]3 Y! T1 H0 q3 v6 E  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/api/cinder.py", line 123, in tenant_quota_get

  Z& {1 l( D7 D3 L& f7 d    c_client = cinderclient(request)
  n, V5 l0 e! T3 w1 n9 j& C
* F  e3 v  t( I$ i6 c& {  File "/usr/share/openstack-dashboard/openstack_dashboard/wsgi/../../openstack_dashboard/api/cinder.py", line 59, in cinderclient
6 s; k* J* a! P, ^* g* E
    http_log_debug=settings.DEBUG)

( _% B" T5 E9 V3 s$ _2 h; ~  File "/usr/lib/python2.7/dist-packages/cinderclient/v1/client.py", line 69, in __init__

    cacert=cacert)

  File "/usr/lib/python2.7/dist-packages/cinderclient/client.py", line 78, in __init__

    if hasattr(requests, logging):
9 X: d* J- d9 E5 n4 E9 O
8 y6 \0 r+ n; a. d8 d4 qTypeError: hasattr(): attribute name must be string
0 l7 R6 C' W- y% C% q  |* S

6 D0 I5 O* z( P' u错误信息中指出了 Cinderclient 的 client.py 中 78 行 hasattr() 方法的属性必须是一个字符串。
, ~( c5 b2 b. ]修改代码：


' m! i5 v' W1 L. g- `
# vim /usr/lib/python2.7/dist-packages/cinderclient/client.py
" O2 c' k; Q+ ~; O
. u6 D5 I% n7 S9 ]" x4 L( R* x 78 if hasattr(requests, logging): # 改为 ： if hasattr(requests, 'logging'):
2 H, u3 X+ _- K' }6 m5 b( x
! l  S" f+ E, ]. E 79 requests.logging.getLogger(requests.__name__).addHandler(ch)


# B4 _# E" I5 i+ t+ D+ u" T6 n重新启动 apache2 ：
' b8 q4 |# t6 O5 }
( N6 N. C: D" _( w- Y /etc/init.d/apache2 restart
* K0 W7 S+ J# s$ S: Z0 `
这次访问 dashboard 没有报错，尝试创建 volume 也没有问题了。

11、Unable to attach cinder volume to VM

. K2 E4 M1 I3 u) t) s     在测试openstack中的volume服务时把lvm挂载到虚拟机实例时失败，这其实不是cinder的错误，是iscsi挂载的问题。

以下是计算节点nova-compute.log 的错误日志：
' e4 W! y- l- r3 n8 j
2012-07-24 14:33:08 TRACE nova.rpc.amqp ProcessExecutionError: Unexpected error while running command.
. [4 E/ {8 R! n- x9 ]2012-07-24 14:33:08 TRACE nova.rpc.amqp Command: sudo nova-rootwrap iscsiadm -m node -T iqn.2010-10.org.openstack:volume-00000011 -p 192.168.0.23:3260 –rescan
2012-07-24 14:33:08 TRACE nova.rpc.amqp Exit code: 255
2012-07-24 14:33:08 TRACE nova.rpc.amqp Stdout: ”
2012-07-24 14:33:08 TRACE nova.rpc.amqp Stderr: ‘iscsiadm: No portal found.\n’
. x7 O! u- ]6 M9 D
- }' r& }6 W9 W6 x
+ v- v: S5 _3 T6 E' C
+ A  P: _" z$ t* H7 M& T/ W以上错误是没有找到iscsi服务端共享出的存储，查找了很多openstack 资料说要添加以下两个参数：

! R8 o7 L6 D2 W7 `, p9 J1 Niscsi_ip_prefix=192.168.80 #openstack环境内网段

iscsi_ip_address=192.168.80.22 # volume机器内网IP
5 v# ?& O! {" l+ n
可是问题依然无法解决，后来发现只要在nova.conf配置文件中添加参数iscsi_helper=tgtadm 就挂载失败。

' E7 i1 T- R* h9 E% [! [6 D根据这个情况进行了测试查看日志才发现：如果使用参数 ：iscsi_helper=tgtadm 时就必须使用 tgt 服务，反之使用iscsitarget服务再添加参数iscsi_helper=ietadm。

我测试环境的问题是tgt和iscsitarget服务都已安装并运行着（在安装nova-common时会把tgt服务也安装上，这个不小心还真不会发现），在nova.conf配置中添加参数iscsi_helper=tgtadm ，查看端口3260 发现是iscsitarget服务占用，所以导致挂载失败，我们可以根据情况来使用哪个共享存储服务！！将tgt 和iscsi_helper=tgtadm、iscsitarget和iscsi_helper=ietadm保留一个即可。
! d: f- n" _& I8 e$ Y5 F1 {9 p
- b0 J' K. I5 a. N12、glance index报错：
; t6 c) a* U% g4 L" s
Authorization Failed: Unable to communicate with identity service: {"error": {"message": "An unexpected error prevented the server from fulfilling your request. Command 'openssl' returned non-zero exit status 3", "code": 500, "title": "Internal Server Error"}}. (HTTP 500)


在 Grizzly 版，我测试 glance index 时候报错：

Authorization Failed: Unable to communicate with identity service: {"error": {"message": "An unexpected error prevented the server from fulfilling your request. Command 'openssl' returned non-zero exit status 3", "code": 500, "title": "Internal Server Error"}}. (HTTP 500)
1 m2 w+ Y; G5 }8 M错误信息指出：glance 没有通过keystone验证，查看了 keystone 日志，报错如下：

; H! C# z: A, _  ~2 S2677 2013-03-04 12:40:58    ERROR [keystone.common.cms] Signing error: Error opening signer certificate /etc/keystone/ssl/certs/signing_cert.pem
$ p0 I# F1 u9 A+ T4 Q2678 139803495638688:error:02001002:system library:fopen:No such file or directory:bss_file.c:398:fopen('/etc/keystone/ssl/certs/signing_cert.pem','r')
9 \3 l4 {4 P' @5 z1 n2679 139803495638688:error:20074002:BIO routines:FILE_CTRL:system lib:bss_file.c:400:
2680 unable to load certificate
9 b( I- K; _2 F6 M5 t3 S2682 2013-03-04 12:40:58    ERROR [root] Command 'openssl' returned non-zero exit status 3
3 }* N8 ^3 }4 }) U, T5 @2683 Traceback (most recent call last):
1 O- r* A% n( G+ d1 t- t! T2684   File "/usr/lib/python2.7/dist-packages/keystone/common/wsgi.py", line 231, in __call__
2685     result = method(context, **params)
2686   File "/usr/lib/python2.7/dist-packages/keystone/token/controllers.py", line 118, in authenticate
: t* i  `# J- t2687     CONF.signing.keyfile)
5 f7 O5 ?- y/ J; W2688   File "/usr/lib/python2.7/dist-packages/keystone/common/cms.py", line 140, in cms_sign_token
2689     output = cms_sign_text(text, signing_cert_file_name, signing_key_file_name)
' U; J# i1 r& o8 Z0 }& F2 j2690   File "/usr/lib/python2.7/dist-packages/keystone/common/cms.py", line 135, in cms_sign_text
2691     raise subprocess.CalledProcessError(retcode, "openssl")
. W6 J, x: g" V2 y1 G+ c2692 CalledProcessError: Command 'openssl' returned non-zero exit status 3
) e4 o! _5 T! x4 K% q: y2 W在Grizzly 版中，keystone 默认验证方式是 PKI , 需要签名证书，之前的版本都是用的 UUID，改 keystone.conf:
! c& I3 T. }& l7 f" x! S6 f! q
" G  w( }) ^4 Q" P& c8 ]token_format = UUID
; o+ r6 f8 q" {0 ?. F. Y7 t# Z6 u在试一次就没有错误了。

$ V, T/ G* J2 p( `1 T0 p; V13、镜像制作
. }$ x2 ~3 K- D, v5 ~, D
1 Q( z; l+ l2 O% W这里主要强调下windows的镜像制作，因为windows的涉及到加载驱动的问题，就比较麻烦。
) ~8 Q: f' q1 s' d9 S
下载virtio驱动，因为win默认不支持virtio驱动，而通过openstack管理虚拟机是需要virtio驱动的。需要两个virtio驱动，一个是硬盘的，一个是网卡的，即：virtio-win-0.1-30.iso和virtio-win-1.1.16.vfd。这里主要强调两个地方：

1、创建镜像：

$ X1 C/ c) i; U( x9 I kvm -m 512 -boot d –drive
- F8 v8 c. R( B* s' o* E8 d
file=win2003server.img,cache=writeback,if=virtio,boot=on -fda virtio-win-1.1.16.vfd -cdrom windows2003_x64.iso -vnc:10                  
# ~7 O/ A% N% ^" h* ?% u

( n" |* q: Q2 @4 {2、引导系统 ：
& Q( t0 n3 G$ |! h% A6 h/ f/ S9 Z
* K" M" p( a( n( M% ~. pkvm -m 1024 –drive file=win2003server.img,if=virtio,
% Q! I6 x  R. E3 y$ g5 t8 k0 d& N
- j$ Q9 C# [/ d7 U( Oboot=on -cdrom virtio-win-0.1-30.iso -net nic,model=virtio -net user -boot c -nographic -vnc 8

" b. C: N/ {% V
% E( x' u" f5 x. h1 B% Q这里需要注意的地方是if=virtio,boot=on –fda virtio-win-1.1.16.vfd和引导系统时使用的virtio-win-0.1-30.iso 这两个驱动分别是硬盘和网卡驱动。如果不加载这两个驱动安装时会发现找不到硬盘，并且用制作好的镜像生成实例也会发现网卡找不到驱动，所以在这里安装镜像生成后需要重新引导镜像安装更新网卡驱动为virtio。

14、删除僵尸volume

  y6 f$ A3 P3 P! X( K2 R如果cinder服务不正常，我们在创建volume时会产生一些僵尸volume，如果在horizon中无法删除的话，我们需要到服务器上去手动删除，
( o& ]* s) n! j4 Q7 R
5 V7 m7 E* k, T0 F  I0 `0 R! M" \命令：lvremove /dev/nova-volumes/volume-000002
- D$ _% f* `, {3 E
- `* W& c. e' j* U注意这里一定要写完整的路径，不然无法删除，如果删除提示：

“Can't remove open logical volume“ 可尝试将相关服务stop掉，再尝试删除。删除完还需到数据库cinder的volumes表里清除相关记录。

admin

以下主要为安装部署过程中遇到的一些问题，因为openstack版本问题，带来的组件差异导致不同的版本安装的方法也完全不一样。经过测试，目前已可成 功部署Essex和Grizzly两个版本，其中间还有个版本是Folsom,这个版本没有部署成功，也没有花太多时间去研究，因为Folsom版本中使 用的quantum组件还不成熟，对于网络连通性还有很多问题，网上也很少有成功的案例，大多数人使用的还是folsom+nova-network模 式。

! p  c( B' A+ r( W" p6 j8 p* ~% i到了Grizzly版本，quantum组件才比较稳定，可以正常使用，自己也花了很多时间研究，现在已可以成功部署多节点环境。以下是部署过程中遇到的 一些问题，包括Essex和Grizzly两个版本。国内网上关于这方面的资料很少，很多资料也都是国外网站上看到的。而且很多情况下日志错误信息相同， 但导致错误的原因却不尽相同，这时候就需要仔细分析其中的原理，才能准确定位。遇到错误并不可怕，我们可以通过对错误的排查加深对系统的理解，这样也是好 事。
1 H9 e3 v4 j+ m9 q
关于安装部署，网上有一些自动化的部署工具，如devstack和onestack，一键式部署。如果你是初学者，并不建议你使用这些工具，很明显，这样 你学不到任何东西，不会有任何收获。如果没有问题可以暂时恭喜你一下，一旦中间环节出现错误信息，你可能一头雾水，根本不知道是哪里错了，加之后期的维护 也是相当困难的。你可能需要花更多的时间去排查故障。因为你根本不了解中间经过了哪些环节，需要做哪些配置！这些工具大多数是为了快速部署开发环境所用， 正真生产环境还需要我们一步一步来操作。这样有问题也可快速定位排查错误。
2 a/ P( b6 b! |1 w7 l
本文仅是针对部署过程中的一些错误信息进行总结梳理，并给予解决办法，这些情况是在我的环境里遇到的，并成功解决的，可能会因为环境的不同而有所差异，仅供参考。
: X3 ]7 r, n5 _1 ^* z+ N' B0 w
1、检查服务是否正常
5 O' q4 ?4 h) H6 w' x
root@control:~# nova-manage service list
+ ]. R+ ~$ Q$ K. Z) o! b
Binary           Host                                 Zone             Status     State Updated_At

nova-cert        control                              internal         enabled    :-)   2013-04-26 02:29:44

nova-conductor   control                              internal         enabled    :-)   2013-04-26 02:29:42
" K0 h7 F% N5 M9 B5 K
8 y5 {( r# R- f( M2 Gnova-consoleauth control                              internal         enabled    :-)   2013-04-26 02:29:44

" x3 {9 j; N4 [nova-scheduler   control                              internal         enabled    :-)   2013-04-26 02:29:47

0 y' m- d. S: I/ t- `: ?  {nova-compute     node-01                              nova             enabled    :-)   2013-04-26 02:29:46
2 d# O/ z' D4 X8 O7 S: Y: \
nova-compute     node-02                              nova             enabled    :-)   2013-04-26 02:29:46
* K/ o* [  S! o  f
nova-compute     node-03                              nova             enabled    :-)   2013-04-26 02:29:42
. I5 k" b& H3 y" r复制代码
如果看到都是笑脸状态，说明nova的服务属于正常状态，如果出现XXX，请查看该服务的相关日志信息，在/var/log/nova/下查看，通过日志一般可以分析出错误的原因。

+ f* j0 ?$ @* G4 Q8 |
2、libvirt错误
% P9 n1 P- Q- s6 B( Dpython2.7/dist-packages/nova/virt/libvirt/connection.py”, line 338, in _connect
2013-03-0917:05:42 TRACE nova return libvirt.openAuth(uri, auth, 0)
- q* d4 }- p2 Y4 u6 ~2013-03-09 17:05:42 TRACE nova File “/usr/lib/python2.7/dist-packages/libvirt.py”, line 102, in openAuth
2013-03-09 17:05:42 TRACE nova if ret is None:raise libvirtError(‘virConnectOpenAuth() failed’)
2013-03-09 17:05:42 TRACE nova libvirtError: Failed to connect socket to ‘/var/run/libvirt/libvirt-sock’: No such file or directory
2 d) B' \2 c- D& Q: x/ m5 e3 Q% O2013-03-09 22:05:41.909+0000: 12466: info : libvirt version: 0.9.8
2013-03-09 22:05:41.909+0000: 12466: error : virNetServerMDNSStart:460 : internal error Failed to create mDNS client: Daemon not running
复制代码
解决方案：
$ ~6 }: ~- B8 I" i6 K% {出现这种错误首先要查看/var/log/libvirt/libvirtd.log日志信息，日志里会显示：libvirt-bin service will not start without dbus installed.
  X2 e- S$ K( J* y我们再查看ps –ea|grep dbus，确认dbus is running，然后执行apt-get install lxc

: q  o; w4 u( |! D
3、Failed to add image
Error：
6 M, [, x4 f, y5 sFailed to add image. Got error:
The request returned 500 Internal Server Error
+ Y9 O2 ^* _9 N$ Q  k3 z  c复制代码


1 c" k6 K) R/ e  w7 P& g解决方案：
! P4 K2 ~' K! v# D! q) j环境变量问题，配置环境变量，在/etc/profile文件中新增：


OS_AUTH_KEY=”openstack”
OS_AUTH_URL=”http://localhost:5000/v2.0/”
OS_PASSWORD=”openstack”
( {1 p; Y9 o, a- ^+ Y+ GOS_TENANT_NAME=”admin”
; d5 V- `* Q6 i6 A3 R6 zOS_USERNAME=”admin”
复制代码
然后执行source  /etc/profile即可！当然你也可以不在profile里配置环境变量，但是只能临时生效，重启服务器就很麻烦，所以建议你还是写在profile里，这样会省很多麻烦。


6 [& y" z" C% i# T0 W4 w" _+ j4、僵尸实例的产生
; ?; ?1 ~, @3 @  T僵尸实例一般是非法的关闭nova或者底层虚拟机，又或者在实例错误时删除不了的错误，注意用virsh list检查底层虚拟机是否还在运行，有的话停掉，然后直接进入数据库删除。
Nova instance not found

Local file storage of the image files.

Error:
9 a+ [6 T! m- N* ?7 P2013-03-09 17:58:08 TRACE nova raise exception.InstanceNotFound(instance_id=instance_name)
0 x, \; O" G1 L2013-03-09 17:58:08 TRACE nova InstanceNotFound: Instance instance-00000002 could not be found.
0 R) p) D: _! M; e- K2013-03-09 17:58:08 TRACE nova
- _1 T4 H4 e2 R- k, Y! k复制代码
' ]* ]0 R. G1 d+ L! X' H解决方案：
% @) l8 s. ~. U删除数据库中的僵尸实例或将数据库删除重新创建：
a、删除数据库：
; @  a9 }- y4 H, _5 x3 V* f$mysql –u root –p
( T: x: G- K3 \* P# U) JDROP DATABASE nova;

9 T. w' F6 D* f/ S- |5 L4 T% b3 t/ {Recreate the DB:
CREATE DATABASE nova; (strip formatting if you copy and paste any of this)
/ Z( ~# C$ }5 W" SGRANT ALL PRIVILEGES ON nova.* TO ‘novadbadmin’@'%’ IDENTIFIED BY ‘<password>’;
Quit

Resync DB
8 C4 ^2 h) \! J$ s/ \复制代码
b、删除数据库中的实例：
6 `3 G# A5 @: {" V- _#!/bin/bash

4 \( a+ \/ n; j& ], I9 y. U+ omysql -uroot -pmysql << _ESXU_

/ R$ u$ M$ G* P! k5 [0 o; \8 U# xuse nova;
( D2 ^/ u' e' b
DELETE a FROM nova.security_group_instance_association

3 E- M: I- o2 b( Q/ `" AAS a INNER JOIN nova.instances AS b
  Y7 A: D) e8 j' U  f" J
5 T" ]& j; F% f' I* f, aON a.instance_uuid=b.id where b.uuid='$1';
$ ~% p0 d1 {. a% u
/ H& d# X& w7 h7 {$ R1 Q1 H  fDELETE FROM nova.instance_info_caches WHERE instance_uuid='$1';

5 I, h0 S( A* o5 m# S& WDELETE FROM nova.instances WHERE uuid='$1';
4 k1 L5 f' F9 i, _0 E1 D/ V9 Q
_ESXU_
4 _! d- e3 W2 j1 [6 O复制代码
+ ]6 j% D: ~! _+ G( e! M0 T将以上文件写入delete_insrance.sh中，然后执行sh delete_instrance.sh insrance_id;
, c! l& F: c7 U1 m; q6 E' q1 ?" a其中instrance_id可以通过nova list 查看。

/ K8 l1 v. g1 v) K6 A5 D  c" S: t
5、Keystone NoHandlers
' ]% G  E& O$ }) M7 K
- \8 h5 h5 S" _Error  
0 F- T/ v1 |5 @. h$ troot@openstack-dev-r910:/home/brent/openstack# ./keystone_data.sh  
; i! e! {2 H) ~! `4 oNo handlers could be found for logger “keystoneclient.client”  
Unable to authorize user  
No handlers could be found for logger “keystoneclient.client”  
1 ]/ E" i9 L+ i+ \! c9 EUnable to authorize user  
No handlers could be found for logger “keystoneclient.client”  
  w4 Y; ?* g( D$ l  Y. h* m4 V% hUnable to authorize user  
复制代码
' l" q# e2 D) J1 a9 G

6 o% k* W. E) X: Y% }解决方案：
, ~; v/ z+ d8 z8 m3 M$ f& C# V& U: g6 |出现这种错误是大多数是由于keystone_data.sh有误，其中
admin_token必须与/etc/keystone/keystone.conf中相同。然后确认keystone.conf中有如下配置：
  w) W, V) F0 a5 Ydriver = keystone.catalog.backends.templated.TemplatedCatalog template_file = /etc/keystone/default_catalog.templates
0 [- j( C: T; P$ q: U; i
4 e. Q1 a8 U- H& o! C
6、nova-compute挂掉与时间同步的关系
很多时候发现nova-compute挂掉，或者不正常了，通过nova-manage查看状态是XXX了。
! {1 v' _2 o6 q) h往往是nova-compute的主机时间和controller的主机时间不一致。 nova-compute是定时地往数据库中services这个表update时间的，这个时间是nova-compute的主机时间。
controller校验nova-compute的存活性是以controller的时间减去nova-compute的update时间，如果大于多少秒（具体数值代码里面有，好像是15秒）就判断nova-compute异常。
( I, D$ @" A( S4 _7 o这 个时候你用nova-manage查看nova-compute状态是XXX，如果创建虚拟机，查看nova-scheduler.log 就是提示找不到有效的host 其他服务节点类同，这是nova心跳机制问题。所以讲nova环境中各节点时间同步很重要。一定要确保时间同步！！
9 z( s, `9 |' ^& ]如果在dashboard上看nova-compute状态，可能一会儿变红，一会儿变绿。那就严格同步时间，或者找到代码，把上面的那个15秒改大一点。
. Z# J3 l, ]: M# J! E& ~8 Z
! S0 g- `& r+ x
" R% H3 v! D) u& D7、noVNC不能连接到实例
3 k) x! J3 W, C9 qnovnc的问题比较多，网上也有关于这方面的很多配置介绍，其实配置不复杂，只有四个参数，配置正确基本上没什么大问题，但是装的过程中还是遇到了不少的问题。
# x8 w% t8 k$ G- T, Ca、提示“Connection Refuesd”
2 v; a/ i. Q( Q可能是控制节点在收到vnc请求的时候，无法解析计算节点的主机名，从而无法和计算节点上的实例建立连接。
另外可能是，当前浏览器不支持或者不能访问，将计算节点的ip和主机名的对应关系加入到控制节点的/etc/hosts文件中。
* \- k% z. \* K( u, p$ xb、提示“failed connect to server”
出 现这种错误的情况比较多，有可能是配置文件的错误，我们的环境中遇到这个错误是因为网络源有更新，导致安装版本不一致，使组件无法正常使用，解决方法就是 使用本地源。另外需要特别说明的是使用novnc的功能需要浏览器支持Web Socket和HTML5.推荐使用谷歌。
# L* A8 ?8 w% X0 E' d, X( \# I
; L* ^7 M6 Y- R" I9 X: W5 O
) Z* J# p/ t: W1 }6 P/ _& {8、Unable to attach cinder volume to VM
     在测试openstack中的volume服务时把lvm挂载到虚拟机实例时失败，这其实不是cinder的错误，是iscsi挂载的问题。
* w8 z0 n( G6 o4 m. l! p以下是计算节点nova-compute.log 的错误日志：
4 I' {9 k$ @8 {: j2012-07-24 14:33:08 TRACE nova.rpc.amqp ProcessExecutionError: Unexpected error while running command.
2012-07-24 14:33:08 TRACE nova.rpc.amqp Command: sudo nova-rootwrap iscsiadm -m node -T iqn.2010-10.org.openstack:volume-00000011 -p 192.168.0.23:3260 –rescan
2012-07-24 14:33:08 TRACE nova.rpc.amqp Exit code: 255
0 @; k' h7 l- q& q6 m1 \2 H2012-07-24 14:33:08 TRACE nova.rpc.amqp Stdout: ”
2012-07-24 14:33:08 TRACE nova.rpc.amqp Stderr: ‘iscsiadm: No portal found.\n’
复制代码
以上错误是没有找到iscsi服务端共享出的存储，查找了很多openstack 资料说要添加以下两个参数：
iscsi_ip_prefix=192.168.80 #openstack环境内网段
1 w  w1 ]' }& I# q4 Ziscsi_ip_address=192.168.80.22 # volume机器内网IP
可是问题依然无法解决，后来发现只要在nova.conf配置文件中添加参数iscsi_helper=tgtadm 就挂载失败。
) M# z) o/ j# O7 L$ I. [7 Q5 K2 K根据这个情况进行了测试查看日志才发现：如果使用参数 ：iscsi_helper=tgtadm 时就必须使用 tgt 服务，反之使用iscsitarget服务再添加参数iscsi_helper=ietadm。
) {( y3 W& U% G1 y! ]; I我 测试环境的问题是tgt和iscsitarget服务都已安装并运行着（在安装nova-common时会把tgt服务也安装上，这个不小心还真不会发 现），在nova.conf配置中添加参数iscsi_helper=tgtadm ，查看端口3260 发现是iscsitarget服务占用，所以导致挂载失败，我们可以根据情况来使用哪个共享存储服务！！将tgt 和iscsi_helper=tgtadm、iscsitarget和iscsi_helper=ietadm保留一个即可。

2 T' e4 K9 o2 M7 r: ~
9、glance index报错：
& z" F8 F' r. g( Q% ?. [2 Y) i% HAuthorization Failed: Unable to communicate with identity service: {"error": {"message": "An unexpected error prevented the server from fulfilling your request. Command 'openssl' returned non-zero exit status 3", "code": 500, "title": "Internal Server Error"}}. (HTTP 500)
; u: f* g# S' _1 a4 r; W, T. t+ k复制代码
# p9 O  ^  R8 f% I在 Grizzly 版，我测试 glance index 时候报错：
Authorization Failed: Unable to communicate with identity service: {"error": {"message": "An unexpected error prevented the server from fulfilling your request. Command 'openssl' returned non-zero exit status 3", "code": 500, "title": "Internal Server Error"}}. (HTTP 500)
4 u( y* o, j+ e# U/ m# i2 e! W
; M! [5 Z; ]# u3 `& V错误信息指出：glance 没有通过keystone验证，查看了 keystone 日志，报错如下：
2677 2013-03-04 12:40:58    ERROR [keystone.common.cms] Signing error: Error opening signer certificate /etc/keystone/ssl/certs/signing_cert.pem2678 139803495638688:error:02001002:system library:fopen:No such file or directory:bss_file.c:398:fopen('/etc/keystone/ssl/certs/signing_cert.pem','r')2679 139803495638688:error:20074002:BIO routines:FILE_CTRL:system lib:bss_file.c:400:2680 unable to load certificate2682 2013-03-04 12:40:58    ERROR [root] Command 'openssl' returned non-zero exit status 32683 Traceback (most recent call last):2684   File "/usr/lib/python2.7/dist-packages/keystone/common/wsgi.py", line 231, in __call__2685     result = method(context, **params)2686   File "/usr/lib/python2.7/dist-packages/keystone/token/controllers.py", line 118, in authenticate2687     CONF.signing.keyfile)2688   File "/usr/lib/python2.7/dist-packages/keystone/common/cms.py", line 140, in cms_sign_token2689     output = cms_sign_text(text, signing_cert_file_name, signing_key_file_name)2690   File "/usr/lib/python2.7/dist-packages/keystone/common/cms.py", line 135, in cms_sign_text2691     raise subprocess.CalledProcessError(retcode, "openssl")2692 CalledProcessError: Command 'openssl' returned non-zero exit status 3

1 _4 Y3 o3 ~5 A2 H/ p/ Y在Grizzly 版中，keystone 默认验证方式是 PKI , 需要签名证书，之前的版本都是用的 UUID，改 keystone.conf:
token_format = UUID
8 y* {1 J/ v8 `0 W0 K2 f
6 o2 C# [" d) L9 `在试一次就没有错误了。


10、镜像制作
这里主要强调下windows的镜像制作，因为windows的涉及到加载驱动的问题，就比较麻烦。
下载virtio 驱动，因为win默认不支持virtio驱动，而通过openstack管理虚拟机是需要virtio驱动的。需要两个virtio驱动，一个是硬盘的， 一个是网卡的，即：virtio-win-0.1-30.iso和virtio-win-1.1.16.vfd。这里主要强调两个地方：
1、创建镜像：
kvm -m 512 -boot d –drive  
. ~8 q/ ^, Z  n5 i3 h  
) `$ l1 y% M# V4 G) t" iile=win2003server.img,cache=writeback,if=virtio,boot=on -fda virtio-win-1.1.16.vfd -cdrom w
5 X8 Z$ R7 r' D, v8 X, ^+ y复制代码
: ?  s! k" h' u


; M- ^# n2 X$ V5 g% J$ D5 K4 D3 E; p
6 M5 a+ [( C$ X4 M. v2、引导系统 ：
0 M3 n& B4 B' p1 ?9 V, Okvm -m 1024 –drive file=win2003server.img,if=virtio,
6 A! U9 a) d) @1 `
boot=on -cdrom virtio-win-0.1-30.iso -net nic,model=virtio -net user -boot c -nographic -vnc 8
复制代码
  b. k# c# Y$ D- ^$ M4 c4 `0 F6 b这 里需要注意的地方是if=virtio,boot=on –fda virtio-win-1.1.16.vfd和引导系统时使用的virtio-win-0.1-30.iso 这两个驱动分别是硬盘和网卡驱动。如果不加载这两个驱动安装时会发现找不到硬盘，并且用制作好的镜像生成实例也会发现网卡找不到驱动，所以在这里安装镜像 生成后需要重新引导镜像安装更新网卡驱动为virtio。
  {" i% s8 t. b6 b
3 w4 H6 w/ ~8 l$ q& U11、删除僵尸volume
0 N" M/ B7 m) I) S( v
/ b5 z4 d  v/ ~. i4 V4 S! A
; ]8 H2 W' V4 m& B: q! h如果cinder服务不正常，我们在创建volume时会产生一些僵尸 volume，如果在horizon中无法删除的话，我们需要到服务器上去手动删除，命令：lvremove /dev/nova-volumes/volume-000002注意这里一定要写完整的路径，不然无法删除，如果删除提示：“Can't remove open logical volume“ 可尝试将相关服务stop掉，再尝试删除。删除完还需到数据库cinder的volumes表里清除相关记录。