openstack-虚机-keepalived-vip-配置及问题处理

admin

多台虚机需要使用组成高可用模式，需要在openstack里配置一个虚ip对外提供服务。由于keepalived使用的是VRRP协议，所以还需要在配置高可用的虚机安全组放开VRRP协议的规则
2 j* i" g1 S7 f) T# k: ?环境
2 ?, i. ^) q7 F3 {) L4 t主节点: 192.168.0.186
: Z& d* p/ h4 p$ ~1 V' J' }" E备节点:192.168.0.187
2 C7 c  ]4 l* l( N5 n' b8 |) s6 \VIP: 192.168.0.230
6 B8 d0 R; r, Q" L创建虚IP
直接在控制台导航：管理员-系统-网络，点击虚机所在的网络名称，进入详情页面，然后点击创建端口按钮，在弹出的窗口，填入名称(eg: my_vip)。在该详情页可以看到该端口对应的固定ip，后面会用到该IP
5 l2 X5 o! \2 ^1 }/ f虚拟机启用VIP
3 _+ {. G+ \% d4 v' y: Y在控制节点执行:
% }4 b' F) d: M- W9 n8 h
neutron port-list|grep -e 192.168.0.186 -e  192.168.0.187 # 根据虚拟机IP获取port_id

% o) {* n  [, o& z$ |; K' L7 f" qneutron port-update PORT_ID --allowed_address_pairs list=true type=dict ip_address=VIP       # PORT_ID为上一步获取到的port_id，VIP为前面创建的虚ip
( P# E! L  S" s) d! X/ Z) H& e/ V
2 d, A  O6 S. U- ^/ l+ e
有几台虚机，就重复几次执行 1、2 步骤
安全组允许VRRP协议
直接在控制台导航：项目-访问&安全，搜索虚机所在的安全组, 然后点击后面的管理规则按钮进入规则列表；点击添加规则按钮，弹出框里，在规则的下拉选里选择 其他协议, 然后再 端口 文本框输入 112, 最后点击添加按钮即可 # VRRP协议的端口号是112
配置keepalived
6 m, |* Q/ [- L) P3 d. X5 k7 d) Q安装
3 y" Y, a1 C5 eyum install keepalived nginx  # 我们通过nginx服务来验证虚机服务的切换
配置
主节点：
cat /etc/keepalived/keepalived.conf
, L7 M# G+ z, ]2 G) i5 Q! Configuration File for keepalived
. V; x9 g2 G# m) N$ gglobal_defs {
   router_id LVS_DEVEL
. E* b; I; B' W: k. d; V/ x3 _9 v}
vrrp_script check_nginx_alive {
        script "/etc/nginx/check_nginx_alive.sh"   ## 检测 nginx 状态的脚本路径
        interval 3 ## 检测时间间隔
        weight -10 ## 如果条件成立，权重-10
}
: _  ~& l4 }+ \2 Ivrrp_instance VI_1 {
% c1 m. w5 \- Q% \    state MASTER    # 主节点，备节点为BACKUP
7 L0 l2 v, j0 t" H  q( ^    interface eth0  # 绑定的网口
    virtual_router_id 51 # 准备节点一致
    priority 100  # 权重，备节点要比主节点低
  n) n# r% z! }2 ?: w    advert_int 1
& A* n! Z1 h9 a+ q" a4 C    authentication { # 认证信息，准备需要一致
        auth_type PASS
        auth_pass 1111
    }
1 e3 d& L2 [, s8 ]! ~% V    virtual_ipaddress {
        192.168.0.230  # vip,可以多个，每行一个
    }
    track_script {
        check_nginx_alive # 服务检测脚本
    }
}
virtual_server 192.168.0.186 80 { # 配置虚ip以及访问的端口
    delay_loop 6
    lb_algo rr
( l+ D" q) V0 V& l% e    lb_kind NAT
    persistence_timeout 50
0 n+ t; y% U7 r$ q% T: ~3 H    protocol TCP
* `2 G: g6 ?, M) b) ^! F3 H    real_server 192.168.0.187 80 { # 虚机真实ip及访问的端口
8 S2 [5 F0 p) W        weight 1
2 s; m$ D9 H9 E2 y        TCP_CHECK {
            connect_timeout 3
9 h. ?0 _" M, R            nb_get_retry 3
' ]4 H9 P3 g3 F9 b            delay_before_retry 3
            connect_port 80
        }
    }
8 q4 A. F, `* A- H( O}
echo -e " 192.168.0.186 nginx-master" > /usr/share/nginx/html/index.html
备节点
! Configuration File for keepalived
" M; e' L5 P/ ^* Yglobal_defs {
& Q8 o$ Z8 S! ~   router_id LVS_DEVEL
1 n1 J) h4 V' N- q. q9 V}
vrrp_script check_nginx_alive {
6 r. Y: t  |/ z1 d) \        script "/etc/nginx/check_nginx_alive.sh" ## 检测 nginx 状态的脚本路径
* p/ E. C/ `- w$ m3 N( i4 X/ |        interval 3 ## 检测时间间隔
7 @& Y; `. P# f0 y( v% B        weight -10 ## 如果条件成立，权重-10
}
vrrp_instance VI_1 {
    state BACKUP
" M& L/ Z" h2 K4 I, Z  H  e# I" ?    interface eth0
9 {  j: m1 @, \; R+ ~' K' \    virtual_router_id 51
    priority 98
2 T1 F- ~" g$ k, q0 [    advert_int 1
    authentication {
& D: f% _5 R3 _$ S/ M# |        auth_type PASS
2 m/ @/ n& A! T        auth_pass vip_test
# Y+ g' j% Z! ~% W$ h4 a    }
    virtual_ipaddress {
        192.168.0.230
# Z2 l$ u& n2 e4 d: _8 d    }
1 W+ |6 m; Z- A/ `    track_script {
8 [' J. K! j) I6 m        check_nginx_alive
& o3 D- B% n# ?7 _' }+ a( Y0 N    }
}
virtual_server 192.168.0.186 80 {
# _4 {9 v5 Q: h; e9 K    delay_loop 6
    lb_algo rr
    lb_kind NAT
! S) i- w! o  \4 X; a# k! }6 s    persistence_timeout 50
    protocol TCP
9 I" @, x% d. {& B    real_server 192.168.0.187 80 {
        weight 1
6 W6 a0 y# V7 _9 o2 t, S        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
8 I' J. V4 T- G: L4 y5 Z2 G            connect_port 80
) Q6 k7 M* `. N8 i        }
4 u1 y& d0 ?( `3 B2 V% @    }
}
echo -e "192.168.0.187 nginx-backup" > /usr/share/nginx/html/index.html
主备节点添加服务检测脚本
cat /etc/nginx/check_nginx_alive.sh
#!/bin/bash
% b* z! A# X( x. X8 {5 rA=`ps -C nginx --no-header |wc -l`
if [ $A -eq 0 ]
then echo 'nginx server is died'
6 a4 E- y( i1 o7 J/ ^, V    systemctl stop keepalived
/ `5 t9 w" Z" t+ X7 o" J- Nfi
( t+ b5 p+ B" @7 q; q- a0 u( vchmod +x /etc/nginx/check_nginx_alive.sh
7 \" f- w0 `6 |主备节点启动服务
systemctl start nginx
7 D8 F% c3 |. b3 s7 ?systemctl start keepalived
我们通过浏览器访问：192.168.0.230，显示的是：192.168.0.186 nginx-master, 主节点
7 f9 o3 V6 Z+ |3 s把主节点的keepalived服务关闭：systemctl stop keepalived, 浏览器再访问192.168.0.230，显示的是：192.168.0.187 nginx-backup，切换到备节点
再把主节点的keepalived服务启动：systemctl start keepalived，浏览器再次访问：192.168.0.230，显示的是： 192.168.0.186 nginx-master，已经切回到主节点