ubuntu 14.0安装galera集群

admin

下面就是最实用的安装过程，亲测有效！
/ R2 ]" G4 ~- H* {% R' G1.安装需要的源
$ F* m" ?$ n/ ^" kapt-get install software-properties-common
apt-key adv --keyserver keyserver.ubuntu.com --recv BC19DDBA

然后创建创建一个文件，/etc/apt/sources.list.d/galera.list，galera.list里面的内容为：
deb http://releases.galeracluster.com/ubuntu trusty main

1 B& v2 q: l7 V接下来就更新一下：
apt-get update

6 j% P) a" P# y9 f/ Z2 U( W; N0 L源配置好了之后，接下来就该安装文件了，执行：
apt-get install galera-3 galera-arbitrator-3 mysql-wsrep-5.6

安装完成之后，在每一个节点上启动Mysql：
( P0 I/ }! }# q1 m. M" ?% F$ l* F/ dservice mysql start

然后，验证节点之间是否能互相ping通：
+ ~6 E+ e; U' n" P' F! Y略

安装好了，那么下面要来修改Mysql的配置文件了，打开/etc/mysql/my.cnf，修改bind-address 192.168.13.155为：
bind-address = 192.168.13.155
4 ]/ T, h9 f6 }+ z. T
表示任何主机可以访问。重启Mysql：
, }) V- x6 W1 h! k  P7 h% ^0 |service mysql restart

' B. a) l& N& M$ o! H1 E接下来，试着在任何一个节点登录其他节点，比如Node1上执行：
mysql -h 192.168.13.155 -u root -p

8 d- @. [# m, g- y; U5 q此时会让你输入Mysql密码，说明Node2上的Mysql服务器是在监听的，但此时输入密码是登录不成功的，后面会解决这个！
接下来，我们还要对Mysql配置文件进一步配置：
在 Node1 上的/etc/mysql/my.cnf里面的[mysql]下面添加上：
binlog_format=ROW
default-storage-engine=innodb
innodb_autoinc_lock_mode=2
wsrep_provider=/usr/lib/libgalera_smm.so
) i- Y9 L( ~, P9 R5 {" lwsrep_provider_options="gcache.size=300M; gcache.page_size=1G"
1 g2 x) U; D5 C% wwsrep_cluster_name="galeracluster"
wsrep_cluster_address="gcomm://"
wsrep_sst_method=rsync
% i% e/ _( g. c. K0 @  Iwsrep_sst_auth=wsrep:password
2 S8 K" x8 v! \9 `- \- i8 x% Z
在 Node2 上的/etc/mysql/my.cnf里面的[mysql]下面添加上：
binlog_format=ROW
default-storage-engine=innodb
: h) c  |1 h" Y6 \- J2 finnodb_autoinc_lock_mode=2
wsrep_provider=/usr/lib/libgalera_smm.so
wsrep_provider_options="gcache.size=300M; gcache.page_size=1G"
wsrep_cluster_name="galeracluster"
wsrep_cluster_address="gcomm://192.168.13.155"
wsrep_sst_method=rsync
8 h6 w. ]$ o  u' c5 l0 Zwsrep_sst_auth=wsrep:password

& O2 B6 |. H$ \. D在 Node3 上的/etc/mysql/my.cnf里面的[mysql]下面添加上：
binlog_format=ROW
default-storage-engine=innodb
innodb_autoinc_lock_mode=2
% Z( A# K' i4 y9 o( V( l* kwsrep_provider=/usr/lib/libgalera_smm.so
8 w; [" Y, p; Iwsrep_provider_options="gcache.size=300M; gcache.page_size=1G"
  E* _3 L/ O# S2 o0 ~( ]wsrep_cluster_name="galeracluster"
7 `; [, f. u5 ^6 G6 \) uwsrep_cluster_address="gcomm://192.168.13.155"
* t2 {/ t5 `3 g9 G% E# a; F8 c9 o0 Bwsrep_sst_method=rsync
& `8 E" O- V" R2 ]* {+ t5 W; j! bwsrep_sst_auth=wsrep:password
1 C6 O9 h& }+ [: W
! \' {% T. Y* O" m: O! ~以上三个节点的配置注意以下几点：
1. default_storage_engine这一行是必须的，因为Galera只能复制innodb的数据库
1 O( b) m5 G; R; Q2. wsrep_cluster_name这一行指定了集群的名称，集群中的每个节点上都必须设置为一样
3. 作为集群中第一个启动的节点Node1，wsrep_cluster_address必须设置为空，即"gcomm://"，其他节点则要指定
4. 最后一行的用户名和密码在所有节点上都必须一样（此处用户名为wsrep，后面马上会创建该用户，密码为password）
6 \4 }5 h9 T* V* b下面，在每个节点上创建用户及实现远程数据库可以登录（解决前文说到的无法访问）：
mysql –u root –p
- y* n8 W& w- h' R, ~- I4 [CREATE USER ‘wsrep’@’%’ IDENTIFIED BY ‘password’;
CREATE USER ‘root’@’%’ IDENTIFIED BY ‘password’;
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;
" d8 n# Z3 }( }& B( p8 F" GFLUSH PRIVILEGES;
$ b) C% u5 c( `+ T* M/ @
, y% n- `* b+ p% c重启数据库，然后可以试试前面提到的从Node1登录到Node2是否能成功！
接下来，Ubuntu有一个特别的用户叫debian-sys-maint会来维持Mysql的运行任务，由于数据库的复制，这个维护的运行只会在第一个节点成功进行，在其他节点上则会失败，所以要将启动节点上的/etc/mysql/debian.cnf文件拷贝到其他节点上，执行如下命令：
scp /etc/mysql/debian.cnf root@192.168.13.155:/etc/mysql/
. S! D2 l% P3 O4 @scp /etc/mysql/debian.cnf root@192.168.13.155:/etc/mysql/
/ B2 c" u5 e3 h6 {0 X& ]8 f6 p  N
% @8 `' H9 d7 [5 E" k8 b; l5 K
5 y& p) g, b0 l- O6 b执行过程中可能会失败，这个问题是因为在/etc/mysql/my.cnf文件中有一行要改为：
- Q- r6 q& c  S0 ~PermitRootLogin yes
' e* H9 O1 ^( a9 h, }  F6 T
这样就会成功了！
当以上步骤都完成了之后，可以准备开始启动集群了！
1 z* _) Z5 ]( s' c! ^启动集群
5 M; G1 ]2 V" [- W& ~) P在Node1上将mysql服务先停掉然后重启，注意一定要在前面提到的wsrep_cluster_address="gcomm://"的节点上（本例中就是Node1）执行最开始的启动程序：
, }3 z7 @- u7 Kservice mysql stop
service mysql start --wsrep-new-cluster
4 C8 z3 p8 \, v9 Y+ e- I
在其他节点上执行：
service mysql restart

8 Z' }& o7 J4 t/ f6 g% F1 N验证是否成功
查看数据表
登录Node1：
mysql -u root -p
Enter password:
mysql> SHOW STATUS LIKE 'wsrep%';

重点关注的是下面这几行：
wsrep_ready     |     ON
/ W" [9 y+ @8 }/ p
如果状态是 ON，那么就要看：
wsrep_cluster_size    |   3

如果是3，那么是成功的，否则是不成功的！
数据库复制测试
在Node1上创建一个表：
; }/ \5 }+ d- B. k1 d, mCREATE database test;
# R# w9 L$ p* v" r* p! V  e
1 N! ^) [/ S0 R: T立刻到Node2和Node3节点上使用 show databases; 查看是否也有了test这个数据库，如果有则成功！
# T- {3 c. E! a
, k0 ?- p- |# i0 f- h6 R5 K" [+ ~

admin

Adding Repositories and Packages

Now we will start by adding the repository for Ubuntu so, first add the key files for the MariaDB repository to build the trust between the maintainers of repositories and that we can install the required packages.

Installing the GPG key

Run the following command of all the three hosts to install its GPG key as follow.

root@ubuntu-node1:~# apt-get install python-software-propertiesroot@ubuntu-node2:~# apt-get install python-software-propertiesroot@ubuntu-node3:~# apt-get install python-software-properties

Adding APT Repository

Now to add its APT repository have to execute the below commands.

root@ubuntu-node1:~# apt-key adv --recv-keys --keyserver keyserver.ubuntu.com 0xcbcb082a1bb943dbroot@ubuntu-node2:~# apt-key adv --recv-keys --keyserver keyserver.ubuntu.com 0xcbcb082a1bb943dbroot@ubuntu-node3:~# apt-key adv --recv-keys --keyserver keyserver.ubuntu.com 0xcbcb082a1bb943db

Adding Ubuntu Repository

Now can add the Ubuntu repository as per required whether to use its repository as we have the trusted key in the database, let’s add the actual repository using following command on all the nodes.

root@ubuntu-node1:~# add-apt-repository 'deb http://mirror.jmu.edu/pub/mariadb/repo/5.6/ubuntu trusty main'root@ubuntu-node2:~# add-apt-repository 'deb http://mirror.jmu.edu/pub/mariadb/repo/5.6/ubuntu trusty main'root@ubuntu-node3:~# add-apt-repository 'deb http://mirror.jmu.edu/pub/mariadb/repo/5.6/ubuntu trusty main'Update OS with Latest Repo

To get the latest repositories run the update command on the three nodes we are working on.

root@ubuntu-node1:~# apt-get updateroot@ubuntu-node2:~# apt-get updateroot@ubuntu-node3:~# apt-get updateInstalling MariaDB Cluster, Galera and Rsync

Let’s install the MariaDB and its related packages on each of the node with following command as:

root@ubuntu-node1:~# apt-get install -y galera  mariadb-galera-server-5.5 mariadb-client-5.5 libmariadbclient18 mariadb-client-core-5.5 rsync netcat-openbsdroot@ubuntu-node2:~# apt-get install -y galera  mariadb-galera-server-5.5 mariadb-client-5.5 libmariadbclient18 mariadb-client-core-5.5 rsync netcat-openbsdroot@ubuntu-node3:~# apt-get install -y galera  mariadb-galera-server-5.5 mariadb-client-5.5 libmariadbclient18 mariadb-client-core-5.5 rsync netcat-openbsd

During the installation process you will be asked to configure the root password for the MariaDB, so make sure that you configured the same root password on all the three nodes.

Once the installations of these packages are done, you will get a MariaDB server on each one of your three nodes but they aren’t yet configured.

Configuring MariaDB Cluster

Let’s proceed with the configurations changes for the MariaDB Galera Cluster setup.

MySQL Settings

First of all open the my.cnf file and comment the following lines on all the three nodes.

root@ubuntu-nodeX:~# vim /etc/mysql/my.cnf#bind-address           = 127.0.0.1#default_storage_engine = InnoDB#query_cache_limit              = 128K#query_cache_size               = 64MMariaDB Settings

Now add following lines for wsrep configuration options in my.cnf file under [mysqld] directive as shown below.

root@ubuntu-nodeX:~# vim /etc/mysql/my.cnf[mysqld]binlog_format=ROWdefault_storage_engine=innodbinnodb_autoinc_lock_mode=2innodb_locks_unsafe_for_binlog=1innodb_doublewrite=1VSRep Providers Configurations

Here we will configure the vsrep configurations on each node under the [mysqld] directory by adding the following lines in /etc/mysql/my.cnf file on each node with their specific hostnames, root password and IP address.

Configurations for ubuntu-node1[mysqld]wsrep_provider=/usr/lib/galera/libgalera_smm.sowsrep_provider_options="gcache.size=256M; gcache.page_size=128M"wsrep_cluster_address=gcomm://ubuntu-node1wsrep_cluster_name="MariaDB_Cluster"wsrep_node_address="ubuntu-node1"wsrep_node_name="ubuntu-node1"wsrep_sst_auth="root:root123"wsrep_node_incoming_address=172.25.10.21wsrep_sst_receive_address=172.25.10.21wsrep_slave_threads=16Configurations For ubuntu-node2[mysqld]wsrep_provider=/usr/lib/galera/libgalera_smm.sowsrep_provider_options="gcache.size=256M; gcache.page_size=128M"wsrep_cluster_address=gcomm://ubuntu-node1wsrep_cluster_name="MariaDB_Cluster"wsrep_node_address="ubuntu-node2"wsrep_node_name="ubuntu-node2"wsrep_sst_auth="root:root123"wsrep_node_incoming_address=172.25.10.22wsrep_sst_receive_address=172.25.10.22wsrep_slave_threads=16Configurations For ubuntu-node3[mysqld]wsrep_provider=/usr/lib/galera/libgalera_smm.sowsrep_provider_options="gcache.size=256M; gcache.page_size=128M"wsrep_cluster_address=gcomm://ubuntu-node1wsrep_cluster_name="MariaDB_Cluster"wsrep_node_address="ubuntu-node3"wsrep_node_name="ubuntu-node3"wsrep_sst_auth="root:root123"wsrep_node_incoming_address=172.25.10.23wsrep_sst_receive_address=172.25.10.23wsrep_slave_threads=16Restart MySQL Services

After configuring the mysql and wsrep parameters we need to restart its service on all the node.

root@ubuntu-node1:~# service mysql restartroot@ubuntu-node2:~# service mysql restartroot@ubuntu-node3:~# service mysql restart

Testing MariaDB Galera Cluster

To confirm the status of MariaDB cluster VSRep, let’s login to the MariaDB console and execute the following command to check the output of give command.

root@ubuntu-node1:~# mysql -u root –pMariaDB [(none)]> show status like 'wsrep_%';

You can also confirm the status of your running cluster and its replication by running the below command on each of your node. You will see the cluster size in response to the output of that command.

root@ubuntu-node1:~# mysql -u root -p -e 'SELECT VARIABLE_VALUE as "cluster size" FROM INFORMATION_SCHEMA.GLOBAL_STATUS WHERE VARIABLE_NAME="wsrep_cluster_size"'root@ubuntu-node2:~# mysql -u root -p -e 'SELECT VARIABLE_VALUE as "cluster size" FROM INFORMATION_SCHEMA.GLOBAL_STATUS WHERE VARIABLE_NAME="wsrep_cluster_size"'root@ubuntu-node3:~# mysql -u root -p -e 'SELECT VARIABLE_VALUE as "cluster size" FROM INFORMATION_SCHEMA.GLOBAL_STATUS WHERE VARIABLE_NAME="wsrep_cluster_size"'

Congratulations, the output on each of the node shows that you have successfully configured a MariaDB cluster with Galera.

admin

其次要禁用SElinux、防火牆配置、禁用AppArmor,不過這些在Ubuntu14.04下都是不用配置的,所以就不詳細說明配置步驟。

開始安裝

下面就是最實用的安裝過程,親測有效!
; w6 ~/ S( ]% E1.安裝需要的源

apt-get install software-properties-commonapt-key adv --keyserver keyserver.ubuntu.com --recv BC19DDBA

然後建立建立一個檔案,/etc/apt/sources.list.d/galera.list,galera.list裡面的內容為:

deb http://releases.galeracluster.com/ubuntu trusty main
" D* O# K" x+ v7 c

接下來就更新一下:

apt-get update
; C3 G4 S5 h4 }+ y8 J- _

源配置好了之後,接下來就該安裝檔案了,執行:

apt-get install galera-3 galera-arbitrator-3 mysql-wsrep-5.6

安裝完成之後,在每一個節點上啟動Mysql:

service mysql start

然後,驗證節點之間是否能互相ping通:

root@node1:~#ping 192.168.1.175root@node1:~#ping 192.168.1.176root@node2:~#ping 192.168.1.174root@node2:~#ping 192.168.1.176root@node3:~#ping 192.168.1.174root@node3:~#ping 192.168.1.175
6 @5 \, v* J; y

安裝好了,那麼下面要來修改Mysql的配置檔案了,開啟/etc/mysql/my.cnf,修改bind-address 127.0.0.1為:

bind-address = 0.0.0.0
& `* x6 N3 F! m; ]& S

表示任何主機可以訪問。重啟Mysql:

service mysql restart

接下來,試著在任何一個節點登入其他節點,比如Node1上執行:

mysql -h 192.168.1.175 -u root -p
( y' w' D0 s0 _) N

此時會讓你輸入Mysql密碼,說明Node2上的Mysql伺服器是在監聽的,但此時輸入密碼是登入不成功的,後面會解決這個!
接下來,我們還要對Mysql配置檔案進一步配置:

在 Node1 上的/etc/mysql/my.cnf裡面的[mysql]下面新增上:binlog_format=ROWdefault-storage-engine=innodbinnodb_autoinc_lock_mode=2wsrep_provider=/usr/lib/libgalera_smm.sowsrep_provider_options="gcache.size=300M; gcache.page_size=1G"wsrep_cluster_name="galeracluster"wsrep_cluster_address="gcomm://"wsrep_sst_method=rsyncwsrep_sst_auth=wsrep:password 在 Node2 上的/etc/mysql/my.cnf裡面的[mysql]下面新增上:binlog_format=ROWdefault-storage-engine=innodbinnodb_autoinc_lock_mode=2wsrep_provider=/usr/lib/libgalera_smm.sowsrep_provider_options="gcache.size=300M; gcache.page_size=1G"wsrep_cluster_name="galeracluster"wsrep_cluster_address="gcomm://192.168.1.174"wsrep_sst_method=rsyncwsrep_sst_auth=wsrep:password 在 Node3 上的/etc/mysql/my.cnf裡面的[mysql]下面新增上:binlog_format=ROWdefault-storage-engine=innodbinnodb_autoinc_lock_mode=2wsrep_provider=/usr/lib/libgalera_smm.sowsrep_provider_options="gcache.size=300M; gcache.page_size=1G"wsrep_cluster_name="galeracluster"wsrep_cluster_address="gcomm://192.168.1.174"wsrep_sst_method=rsyncwsrep_sst_auth=wsrep:password

以上三個節點的配置注意以下幾點:
! X# G" h/ i* }1. default_storage_engine這一行是必須的,因為Galera只能複製innodb的資料庫
( `9 P/ t2 k1 i+ Y2. wsrep_cluster_name這一行指定了叢集的名稱,叢集中的每個節點上都必須設定為一樣
3. 作為叢集中第一個啟動的節點Node1,wsrep_cluster_address必須設定為空,即"gcomm://",其他節點則要指定
+ ]8 I; Q, e5 Z  ?: O4 q4. 最後一行的使用者名稱和密碼在所有節點上都必須一樣(此處使用者名稱為wsrep,後面馬上會建立該使用者,密碼為password)

下面,在每個節點上建立使用者及實現遠端資料庫可以登入(解決前文說到的無法訪問):

mysql –u root –pCREATE USER ‘wsrep’@’%’ IDENTIFIED BY ‘password’;CREATE USER ‘root’@’%’ IDENTIFIED BY ‘password’;GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' WITH GRANT OPTION;FLUSH PRIVILEGES;

重啟資料庫,然後可以試試前面提到的從Node1登入到Node2是否能成功!

接下來,Ubuntu有一個特別的使用者叫debian-sys-maint會來維持Mysql的執行任務,由於資料庫的複製,這個維護的執行只會在第一個節點成功進行,在其他節點上則會失敗,所以要將啟動節點上的/etc/mysql/debian.cnf檔案拷貝到其他節點上,執行如下命令:

scp /etc/mysql/debian.cnf root@192.168.1.175:/etc/mysql/scp /etc/mysql/debian.cnf root@192.168.1.176:/etc/mysql/

執行過程中可能會失敗,這個問題是因為在/etc/mysql/my.cnf檔案中有一行要改為:

PermitRootLogin yes
' ?* ~9 h0 I1 n% ~: K! j7 i

這樣就會成功了!

當以上步驟都完成了之後,可以準備開始啟動叢集了!

啟動叢集
7 S$ v: ]) D* m

在Node1上將mysql服務先停掉然後重啟,注意一定要在前面提到的wsrep_cluster_address="gcomm://"的節點上(本例中就是Node1)執行最開始的啟動程式:

service mysql stopservice mysql start --wsrep-new-cluster
& O/ [9 X0 P: O& I' j

在其他節點上執行:

service mysql restart 驗證是否成功 檢視資料表
) R& S! `; s0 F2 q; X8 K

登入Node1:

mysql -u root -pEnter password:mysql> SHOW STATUS LIKE 'wsrep%';
% r3 a5 E7 |" p7 T

重點關注的是下面這幾行:

wsrep_ready | ON

如果狀態是 ON,那麼就要看:

wsrep_cluster_size | 3
: i% c3 l+ i# V; f/ b$ t7 {2 v

如果是3,那麼是成功的,否則是不成功的!

資料庫複製測試

在Node1上建立一個表:

CREATE database test;
2 S. a7 ?7 `' w

立刻到Node2和Node3節點上使用 show databases; 檢視是否也有了test這個資料庫,如果有則成功!