pacemake代管galera集群的问题

admin

pacemaker可以管理galera集群，当节点数据库被kill掉，或者无故宕机重启之后，可以被拉起来
但是如果第一个节点被弄宕机之后，是不会被拉起来的，
只能重新启动集群的方式启动数据库
! ^9 ?' P* h0 F7 ]7 _( r( C  p这时问题就来了，第一个节点再次被启动之后，其他两个节点的数据不会和该节点数据一致；使用lsof -i:4567就会发现：
[root@controller1 ~]# ps -ef |grep mysql
root      6111  2807  3 17:52 pts/1    00:00:00 /usr/libexec/mysqld --wsrep-new-cluster --user=root
5 m. K5 X5 a0 n1 y5 @root      6162  2807  0 17:52 pts/1    00:00:00 grep --color=auto mysql
[root@controller1 ~]# lsof -i:4567
' _! y& G# m- t2 ECOMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
0 }# `3 d6 J3 l. a) ]/ W' I[root@controller1 ~]# crm_mon -i1 -f
' X% a1 H% y2 j3 J) b4 C$ SConnection to the CIB terminated
; O7 T# Q2 q- {[root@controller1 ~]# lsof -i:4567
COMMAND  PID USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
6 F; Y/ c; L# l% c" X, Gmysqld  6111 root   11u  IPv4 4596223      0t0  TCP *:tram (LISTEN)
mysqld  6111 root   25u  IPv4 4609115      0t0  TCP controller1:tram->controller2:47986 (ESTABLISHED)
mysqld  6111 root   51u  IPv4 4599863      0t0  TCP controller1:tram->controller3:46132 (ESTABLISHED)
% }$ q! i0 u; x# y8 N- r9 {& T+ V

$ v: ?' Y0 V8 [4 s. Q
第二个节点的状态如下：
: m) [; Y$ o) p+ I  }2 h[root@controller2 noarch]# ps -ef |grep mysql
mysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29400  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
; K3 u: n- O6 b0 j+ t2 r[root@controller2 noarch]# ps -ef |grep mysql
$ o' j' L5 W+ Fmysql    29028     1  1 17:43 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
$ }0 J9 Z8 I  M! I3 ^, y% B9 Rroot     29402  4880  0 17:49 pts/0    00:00:00 grep --color=auto mysql
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
; F& d9 k, B( G& pmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
3 F& {% z  n: Y, Y' i# D1 H: qmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
& l$ G; A( Z2 I9 `2 U6 {COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
3 j" o9 ^8 _. C/ ?) N& }( }( _6 ^mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
/ V) C, d- U8 |$ |/ z[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
- M1 }: O% w* V) kmysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
/ p) {# ~. J6 l: X, u7 p9 j3 amysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
: P4 U; N! B7 w! s4 ^: }COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
1 R( F# K9 I' G3 Z; Umysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
4 q& j7 F& [" }9 A[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
mysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
5 R/ D, f* @- t! MCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
/ |$ ~6 @8 M# Y- V' q. hmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
' E: I; Z+ O! h0 Umysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
& r0 d5 a$ ^9 |7 L7 ]& c[root@controller2 noarch]# lsof -i:4567
1 f7 \0 K1 J: S1 TCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
3 m  d8 F0 c# L$ T" F. Ymysqld  29028 mysql   11u  IPv4 4495884      0t0  TCP *:tram (LISTEN)
3 R3 `, q; P+ s' H! V1 m/ fmysqld  29028 mysql   12u  IPv4 4504890      0t0  TCP controller2:tram->controller3:55332 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
mysql    29028     1  1 17:43 ?        00:00:10 /usr/libexec/mysqld --basedir=/usr
root     29544  4880  0 17:54 pts/0    00:00:00 grep --color=auto mysql
$ I- G2 v/ Q1 z6 W5 l4 `# x; g% M[root@controller2 noarch]# kill -9 29028
! G! t  D# T" d1 F6 M2 L[root@controller2 noarch]# ps -ef |grep mysql
9 C7 {3 n" g& u3 F$ Emysql    29632     1  1 17:54 ?        00:00:00 /usr/libexec/mysqld --basedir=/usr
root     29641  4880  0 17:55 pts/0    00:00:00 grep --color=auto mysql
+ p+ P+ {/ ]7 j& ][root@controller2 noarch]# lsof -i:4567
0 J& u8 h! m! G( l3 L) v3 KCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29632 mysql   11u  IPv4 4513297      0t0  TCP *:tram (LISTEN)
mysqld  29632 mysql   12u  IPv4 4513641      0t0  TCP controller2:tram->controller3:40324 (ESTABLISHED)
mysqld  29632 mysql   13u  IPv4 4513720      0t0  TCP controller2:tram->controller1:40644 (ESTABLISHED)
[root@controller2 noarch]# ps -ef |grep mysql
( P5 h4 N9 s" U- \mysql    29632     1  1 17:54 ?        00:00:06 /usr/libexec/mysqld --basedir=/usr
root     29953  4880  0 18:01 pts/0    00:00:00 grep --color=auto mysql


第三个节点：
  |; E/ |! `8 {1 }6 z) s4 h9 k[root@controller3 noarch]# ps -ef |grep mysql
mysql    28955     1  1 17:55 ?        00:00:07 /usr/libexec/mysqld --basedir=/usr
  |4 o9 Y: a4 q, J( U; Iroot     29396  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
[root@controller3 noarch]# kill -9 28955
1 @6 K& u: S; Z) p[root@controller3 noarch]# ps -ef |grep mysql
root     29426  4824  0 18:02 pts/0    00:00:00 grep --color=auto mysql
[root@controller3 noarch]# lsof -i:4567
[root@controller3 noarch]# lsof -i:4567
[root@controller3 noarch]# lsof -i:4567
8 f) u: B( v, m7 G$ i- W. kCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
' z. D& J8 t* W' ~mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
$ H6 s! u  r: I4 Y% }& n. T[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
; y/ e9 i! ]9 ~: b6 V# |mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
: K- l4 v, G& `8 d  W[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
! Y4 O) {' i5 v. X0 j, _mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
' ^5 y9 V; o5 |- Q[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
, i+ C7 {% m8 `( pmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
9 o0 ^2 [+ P" A& N2 w& @0 K* w. v% Zmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
$ k0 C: v- `% T: Z6 Y; Nmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
[root@controller3 noarch]# lsof -i:4567
4 Q) X* m* K: f$ {% t+ @4 R0 S9 k1 ?, KCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
: t' P) c, e* l# ]* lmysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
" J) s) z) \" z, ]8 T3 Qmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
% O; T  W# G" Z1 }8 G4 bmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
8 [7 p: i+ J+ f' ?% c7 |[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
" a) s8 \" q1 b1 l* P9 {mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
5 O( [) s, r7 C& J% r4 J+ c5 m2 ~mysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
& e+ d3 p* B+ b& _0 R# t[root@controller3 noarch]# lsof -i:4567
COMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
4 M, {! K# T5 d6 v0 ]8 dmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
9 u% y$ v% n; Gmysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
[root@controller3 noarch]# lsof -i:4567
7 y7 [! Z! {5 d* M) xCOMMAND   PID  USER   FD   TYPE  DEVICE SIZE/OFF NODE NAME
mysqld  29487 mysql   11u  IPv4 4519472      0t0  TCP *:tram (LISTEN)
* M; g2 k! g7 u* Dmysqld  29487 mysql   12u  IPv4 4519587      0t0  TCP controller3:36394->controller1:tram (ESTABLISHED)
mysqld  29487 mysql   13u  IPv4 4519625      0t0  TCP controller3:58954->controller2:tram (ESTABLISHED)
" `" r5 I3 a1 |' `

2 s) `+ M- c# I' K! y% n- ]/ z( P& D
$ U% z4 ~! Y7 m# H, u4 s; Z也就是说，在第一个节点宕机之后，启动集群之后，第二三两个节点也必须kill掉，mysql的4567端口数据才会一致，否者就会出现第一个节点是一个状态，第二三个节点是另一个状态，就是我们说的脑裂现象。