openstack-虚机-keepalived-vip-配置及问题处理

admin

多台虚机需要使用组成高可用模式，需要在openstack里配置一个虚ip对外提供服务。由于keepalived使用的是VRRP协议，所以还需要在配置高可用的虚机安全组放开VRRP协议的规则
: ]: Q! g" D$ v* }2 P3 {" _环境
! C& ]& S# W. D9 \  ^% w$ i# f7 S6 r主节点: 192.168.0.186
备节点:192.168.0.187
  E8 n: s7 g. Y# C# v: \/ JVIP: 192.168.0.230
创建虚IP
直接在控制台导航：管理员-系统-网络，点击虚机所在的网络名称，进入详情页面，然后点击创建端口按钮，在弹出的窗口，填入名称(eg: my_vip)。在该详情页可以看到该端口对应的固定ip，后面会用到该IP
# M, ^4 r  z0 f4 K) s8 Y( B  G0 @虚拟机启用VIP
在控制节点执行:

neutron port-list|grep -e 192.168.0.186 -e  192.168.0.187 # 根据虚拟机IP获取port_id
/ S8 u. H/ F# [1 h; E7 c. Q
neutron port-update PORT_ID --allowed_address_pairs list=true type=dict ip_address=VIP       # PORT_ID为上一步获取到的port_id，VIP为前面创建的虚ip


有几台虚机，就重复几次执行 1、2 步骤
安全组允许VRRP协议
直接在控制台导航：项目-访问&安全，搜索虚机所在的安全组, 然后点击后面的管理规则按钮进入规则列表；点击添加规则按钮，弹出框里，在规则的下拉选里选择 其他协议, 然后再 端口 文本框输入 112, 最后点击添加按钮即可 # VRRP协议的端口号是112
; }$ {7 y- V+ C3 i配置keepalived
0 f) n3 ]' N9 |5 B安装
yum install keepalived nginx  # 我们通过nginx服务来验证虚机服务的切换
配置
主节点：
cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
7 X/ }. l. W4 X6 i8 Z5 j& Mglobal_defs {
" e7 U; B$ E" {7 x$ I  \   router_id LVS_DEVEL
}
vrrp_script check_nginx_alive {
        script "/etc/nginx/check_nginx_alive.sh"   ## 检测 nginx 状态的脚本路径
: o( W9 Q9 _0 v: q% O        interval 3 ## 检测时间间隔
        weight -10 ## 如果条件成立，权重-10
9 L, l  Q/ O1 {' d% m7 O}
5 R% V* a/ p  @" {- P, u- yvrrp_instance VI_1 {
    state MASTER    # 主节点，备节点为BACKUP
; V9 L' A( K; p# _/ x* S( h3 Y    interface eth0  # 绑定的网口
$ _: Y7 ?% N! @5 J; ~    virtual_router_id 51 # 准备节点一致
& ]2 n) H  L9 D- [: s    priority 100  # 权重，备节点要比主节点低
    advert_int 1
9 l; p6 \7 l$ i9 ]& C    authentication { # 认证信息，准备需要一致
        auth_type PASS
        auth_pass 1111
    }
4 a9 q. l- r% y8 z1 [1 g8 A    virtual_ipaddress {
9 U2 L* `; p  T' S        192.168.0.230  # vip,可以多个，每行一个
    }
- o" g, w% ^# K- I' D    track_script {
* c( ^: j% c! ?$ ~' }" u8 P/ S        check_nginx_alive # 服务检测脚本
5 E$ f, R) Y8 h1 M    }
}
virtual_server 192.168.0.186 80 { # 配置虚ip以及访问的端口
    delay_loop 6
    lb_algo rr
    lb_kind NAT
) |& m( _3 e( n3 x3 u. @    persistence_timeout 50
    protocol TCP
4 L' R7 A( g& o. q4 h    real_server 192.168.0.187 80 { # 虚机真实ip及访问的端口
        weight 1
5 S( P2 E' Z/ j4 [. T) n# h        TCP_CHECK {
- `0 o+ a  C  }+ g            connect_timeout 3
            nb_get_retry 3
- d1 l9 X% n/ I- l+ x$ E* q            delay_before_retry 3
8 o+ j6 G- _# u, ~7 Q9 n$ r            connect_port 80
0 Y7 c- [$ O2 ~/ R3 O        }
    }
}
echo -e " 192.168.0.186 nginx-master" > /usr/share/nginx/html/index.html
备节点
9 Q4 j. h: O5 O9 [% \* y: Q! Configuration File for keepalived
( ?3 g/ A7 I' I5 T/ |4 Xglobal_defs {
   router_id LVS_DEVEL
}
$ w/ G  T0 y+ z2 v1 M" C( f1 N8 c4 \vrrp_script check_nginx_alive {
+ t+ f+ l1 G6 X7 H7 p+ x        script "/etc/nginx/check_nginx_alive.sh" ## 检测 nginx 状态的脚本路径
9 N7 V# N9 G1 a9 I$ v9 j5 `        interval 3 ## 检测时间间隔
4 d- m! u& Y4 E: P. {4 ^        weight -10 ## 如果条件成立，权重-10
' s- S8 |, W8 s* Y7 E* s& W, _}
4 k/ O( U! h; s0 i% K% Yvrrp_instance VI_1 {
    state BACKUP
; }) J  K& d& ]: {( W. v4 X; o    interface eth0
    virtual_router_id 51
, M$ }& `- C# O1 z    priority 98
    advert_int 1
; A: F6 B8 |+ q$ K    authentication {
, F9 O% ]9 R  t! y        auth_type PASS
        auth_pass vip_test
: d1 P, [+ [3 p* J3 {    }
    virtual_ipaddress {
        192.168.0.230
  c( Y: h2 u3 I1 X, Z& ^    }
# P8 X8 p. `  E; A" C/ @1 e" L    track_script {
' }' V; B' M( y0 [        check_nginx_alive
    }
1 C/ H8 V! a) @}
virtual_server 192.168.0.186 80 {
    delay_loop 6
6 w, |# w; u( g& T7 @    lb_algo rr
! r6 X4 m) \6 ^' ~+ J+ Z) x: i    lb_kind NAT
8 m# \0 p4 X0 d* H    persistence_timeout 50
    protocol TCP
    real_server 192.168.0.187 80 {
% y% ^$ }- \% p+ R; K8 i  v2 o        weight 1
! Q) A8 B! W$ w        TCP_CHECK {
            connect_timeout 3
- z  T# Y% Z: W# l  M            nb_get_retry 3
            delay_before_retry 3
            connect_port 80
        }
/ _5 r" {5 P# V* x1 }5 g    }
0 R! V: y& h% |+ z}
echo -e "192.168.0.187 nginx-backup" > /usr/share/nginx/html/index.html
主备节点添加服务检测脚本
cat /etc/nginx/check_nginx_alive.sh
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ]
- N, t9 ?0 W1 m* _then echo 'nginx server is died'
& n7 u2 x2 l/ e    systemctl stop keepalived
fi
7 s; x3 H5 _# U" A, pchmod +x /etc/nginx/check_nginx_alive.sh
/ K% E- i% Q& e$ V主备节点启动服务
, F) d* I* N. \' t+ r) Ssystemctl start nginx
5 v  r2 P% h1 dsystemctl start keepalived
我们通过浏览器访问：192.168.0.230，显示的是：192.168.0.186 nginx-master, 主节点
# s" t# b. M9 d把主节点的keepalived服务关闭：systemctl stop keepalived, 浏览器再访问192.168.0.230，显示的是：192.168.0.187 nginx-backup，切换到备节点
7 K% @& b" b1 x4 q8 ?再把主节点的keepalived服务启动：systemctl start keepalived，浏览器再次访问：192.168.0.230，显示的是： 192.168.0.186 nginx-master，已经切回到主节点
/ R7 d- K0 j6 _  d" B9 E