|
|
Pacemaker集群资源管理
( M' b- b& X0 n+ e4 `: H# F) q1、集群资源代理/ p4 Y' ?6 z2 n, F6 {/ S6 v
在 pacemaker高可用集群中，资源就是集群所维护的高可用服务对象。根据用户的配置，资源有不同的种类，其中最为简单的资源是原始资源(primitive Resource),此外还有相对高级和复杂的资源组(Resource Group)和克隆资源(Clone Resource)等集群资源概念。在 Pacemaker集群中，每一个原始资源都有一个资源代理(Resource Agent, RA), RA是一个与资源相关的外部脚本程序，该程序抽象了资源本身所提供的服务并向集群呈现一致的视图以供集群对该资源进行操作控制。通过 RA,几乎任何应用程序都可以成为 Pacemaker集群的资源从而被集群资源管理器和控制。RA的存在，使得集群资源管理器可以对其所管理的资源“不求甚解"，即集群资源管理器无需知道资源具体的工作逻辑和原理（ RA已将其封装），资源管理器只需向 RA发出 start、 stop、Monitor等命令， RA便会执行相应的操作。从资源管理器对资源的控制过程来看，集群对资源的管理完全依赖于该资源所提供的，即资源的 RA脚本功能直接决定了资源管理器可以对该资源进行何种控制，因此一个功能完善的 RA在发行之前必须经过充分的功能测试。在多数情况下，资源 RA以 shell脚本的形式提供，当然也可以使用其他比较流行的如 c、 python、 perl等语言来实现 RA。) R4 `% J) D, M9 ]
在 pacemaker集群中，资源管理器支持不同种类的资源代理，这些受支持的资源代理包括 OCF、LSB、 Upstart、 systemd、 service、 Fencing、 Nagios Plugins，而在 Linux系统中，最为常见的有 OCF(open Cluster Framework)资源代理、 LSB（ Linux standard Base)资源代理、systemd和 service资源代理。) c) f& Y, D7 N( E" w) L
（1） OCF0 b2 i- a9 Q, X# ^
OCF是开放式集群框架的简称，从本质上来看， OCF标准其实是对 LSB标准约定中 init脚本的一种延伸和扩展。 OCF标准支持参数传递、自我功能描述以及可扩展性，此外，OCF标准还严格定义了操作执行后的返回代码，集群资源管理器将会根据0资源代理返回的执行代码来对执行结果做出判断。因此，如果OCF脚本错误地提供了与操作结果不匹配的返回代码，则执行操作后的集群资源行为可能会变得莫名其妙，而对于不熟悉OCF脚本的用户，这将会是个非常困惑和不解的问题，尤其是当集群依赖于OCF返回代码来在资源的完全停止状态、错误状态和不确定状态之间进行判断的时候。因此，在OCF脚本发行使用之前一定要经过充分的功能测试，否则有问题的OCF脚本将会扰乱整个集群的资源管理。在Pacemaker集群中，OCF作为一种可以自我描述和高度灵活的行业标准，其已经成为使用最多的资源类别。
" A! O: m9 T# C+ m（2） LSB
, f' q2 m' y2 |# Y- M4 e% k/ N1 X LSB是最为传统的 Linux“资源标准之一，例如在 Redhat的 RHEL6及其以下版本中（或者对应的 centos版本中），经常在/etc/init.d目录下看到的资源启动脚本便是LSB标准的资源控制脚本。通常，LSB类型的脚本是由操作系统的发行版本提供的，而为了让集群能够使用这些脚本，它们必须遵循 LSB的规定， LSB类型的资源是可以配置为系统启动时自动启动的，但是如果需要通过集群资源管理器来控制这些资源，则不能将其配置为自动启动，而是由集群根据策略来自行启动。
$ s7 h, o1 n8 n$ g（3） Systemd% l1 Y, P" I# o' y5 N! j+ s
在很多 Linux的最新发行版本中， systemd被用以替换传统“sysv"风格的系统启动初始化进程和脚本，如在 Redhat的 RHEL7和对应的 centos7操作系统中，systemd已经完全替代了 sysvinit启动系统，同时 systemd提供了与 sysvinit以及 LSB风格脚本兼容的特性，因此老旧系统中已经存在的服务和进程无需修改便可使用 systemd在 systemd中，服务不再是/etc/init.d目录下的 shell脚本，而是一个单元文件（ unit-file），Systemd通过单元文件来启停和控制服务， Pacemaker提供了管理 Systemd类型的应用服务的功能。: H9 w9 f% Z3 |3 L4 l- |' M
（4） Service( Z; j: T5 \1 X, n" l
Service是 Pacemaker支持的一种特别的服务别名，由于系统中存在各种类型的服务（如 LSB、 Systemd和 OCF), Pacemaker使用服务别名的方式自动识别在指定的集群节点上应该使用哪一种类型的服务。当一个集群中混合有 Systemd、 LSB和 OCF类型资源的时候，Service类型的资源代理别名就变得非常有用，例如在存在多种资源类别的情况下，Pacemaker将会自动按照 LSB、 Systemd、 Upstart的顺序来查找启动资源的脚本。在 pacemaker中，每个资源都具有属性，资源属性决定了该资源 RA脚本的位置，以及该资源隶属于哪种资源标准。例如，在某些情况下，用户可能会在同一系统中安装不同版本或者不同来源的同一服务（如相同的 RabbitMQ Cluster安装程序可能来自 RabbitMQ官方社区也可能来自 Redhat提供的 RabbitMQ安装包），在这个时候，就会存在同一服务对应多个版本资源的情况，为了区分不同来源的资源，就需要在定义集群资源的时候通过资源属性来指定具体使用哪个资源。在 pacemaker集群中，资源属性由以下几个部分构成。1 N# X' S6 K5 U7 |+ Q4 ~8 ?# `
Resource_id:用户定义的资源名称。3 e# X; l; x" j! `
Standard：脚本遵循的标准，允许值为OCF、Service、Upstart、Systemd、LSB、Stonith。
1 F/ ~" l; j; ~# R Type：资源代理的名称，如常见的IPaddr便是资源的。
8 @& m2 y( |- M8 r; H( d Provider：OCF规范允许多个供应商提供同一资源代理，Provider即是指资源脚本的提供者，多数OCF规范提供的资源代均使用Heartbeat作为Provider。
& O2 p% q: z" r( C例如在集群中创建一个名称为VirtualIP：) i, L! d5 S+ L7 k7 a1 Q
Resource_id Standard：Provider：Type pcs resource create VirtualIP ocf:heartbeat:IPaddr2 ip=192.168.0.99 nic=eth22 P- w/ c- @5 c# n
常用的命令方法2 X Y! E$ g: c7 W2 c( r" z! `
pcs resource list 查看集群中所有可用资源列表
5 z. Q9 |. @8 o' N+ i. I. k- q3 P$ D6 C5 m7 L, R
pcs resource standards 查看支持的资源代理标准
+ m) E( m) S4 [+ D$ |& N
" g2 w- c5 z; w& s; F8 g ^pcs resource providers 查看集群中可用资源代理提供程序列表
' p, U y, b0 A" c8 d6 [! {2 ~
8 v" R, Y1 R2 K- G2 s4 |! @4 ?pcs resource describe Standard：Provider：Type 查看Standard：Provider：Type指定的资源代理的详细信息。
z2 T* `/ s! b, a2 g
! i( o6 B' F1 u4 @5 L# Y) U% Upcs resource cleanup resource_id 重置资源状态
! ?1 l( ^+ h4 P- S, x5 X% m
j! ?1 L& }% x5 J3 c1、查看http的资源代理
! e# {4 O) v2 q7 X) D$ f% J. K4 l+ x9 \0 A: J$ t
# pcs resource list |grep http
6 F6 z! J P) ?- iservice:httpd - systemd unit file for httpd+ f( A2 s; O$ \ S5 M5 x n
5 L$ M0 Z' R8 r" e2 Lsystemd:httpd - systemd unit file for httpd- [/ j1 s& v! k! S. M' t+ [
/ I4 q3 |3 Y* J: `# L& J; s
( y' S- A! B6 s2 n( j; i+ w8 f- o2、查看怎么创建http资源：) k2 h% z6 o. u$ ]7 S, n5 X0 U
# pcs resource describe systemd:httpd1 f+ j" @4 h6 E g' i
6 |$ r: ~- @; b% |- Vsystemd:httpd - systemd unit file for httpd
* h& m H* ]$ R- L8 N% O; o# B$ X) I& C) l( ^! _
Cluster Controlled httpd4 @. G/ t. R; w" v7 o4 x! q( A
: S5 d2 m" w; l' K) w4 c3 rDefault operations:7 t% w' _! ~+ u* M7 D9 P
. F% }8 |8 P3 x7 ~8 gstart: interval=0s timeout=100
) l2 V# ?3 Z. [ Z- L) L& Q# U8 G& N
W2 ]9 ?. M3 t2 Q- D. ~8 }& H' Rstop: interval=0s timeout=1006 q) c3 U3 A2 o) K5 _0 r3 }; L
' J& ~, p x/ q# }0 _0 T9 Z
monitor: interval=60 timeout=1009 K$ Z- V2 Z" w) R- b
0 m! g* ?- `1 j2 C/ [& w' O2 ?% \4 d8 Z- z# V" y ]6 ~
3、创建http资源：+ T" `/ u: k+ {9 T, l- B
# pcs resource create http systemd:httpd2 T8 `$ }5 s2 q `" ?1 n% \- Y, U
, u( k- _( ]3 J2 u8 |4 f
2、集群资源约束 X+ X9 _& x+ a- C, v
集群是由众多具有特定功能的资源组成的集合，集群中的每个资源都可以对外提供独立服务，但是资源彼此之间存在依赖与被依赖的关系。如资源B的启动必须依赖资源A的存在，因此资源A必须在资源B之前启动，再如资源A必须与资源B位于同一节点以共享某些服务，则资源 B与 A在故障切换时必须作为一个逻辑整体而同时迁移到其他节点，在 pacemaker中，资源之间的这种关系通过资源约束或限制（ Resource constraint)来实现。 pacemaker集群中的资源约束可以分为以下几类。
/ \3 m4 S- X0 y/ M6 Q& x* \) G( |) l6 x* E
位置约束(Location)：位置约束限定了资源应该在哪个集群节点上启动运行。
* P+ h' t B8 u; |% z4 c顺序约束(Order)：顺序约束限定了资源之间的启动顺序。
$ u3 t V$ t" \7 [- h资源捆绑约束(Colocation)：捆绑约束将不同的资源捆绑在一起作为一个逻辑整体，即资源 A位于 c节点，则资源 B也必须位于 c节点，并且资源 A、 B将会同时进 行故障切换到相同的节点上。0 P9 Q# u( O6 v
在资源配置中， Location约束在限定运行资源的节点时非常有用，例如在 Openstack高可用集群配置中，我们希望 Nova-ompute资源仅运行在计算节点上，而nova-api和 Neutron-sever等资源仅运行在控制节点上，这时便可通过资源的Location约束来实现。例如，我们先给每一个节点设置不同的 osprole属性（属性名称可自定义），计算节点中该值设为 compute，控制节点中该值设为 controller，如下：+ ]. Y: ]& q( {8 i! T
5 \# `: m% W) `! @2 g+ d3 {pcs property set --node computel Osprole=compute
; ?' D& }8 S1 O8 h( G" c3 Y
3 ~" J; a& s3 u0 ^. N4 _pcs property set --node computel osprole=compute
$ C% E1 ?- N! r$ X' ]4 ^% Z8 g% z! J9 R" Z- A. e/ |$ o
pcs property set --node controller1 osprole=controller
) L6 @9 G3 ]3 @" o0 ?* ]/ V" g/ u0 g1 B# }/ A5 e6 |; F
pcs property set --node controller2 osprole=controller
6 z' \+ `7 y* l0 A. Y# w7 u+ y$ m3 B$ O" L) b
pcs property set --node controller3 osprole=controller0 V) A6 z+ m h+ C$ Z" k
" t0 A4 t1 ?- ^: i. W
{6 L2 ?7 x2 A( Q
然后，通过为资源设置 Location约束，便可将 Nova-compute资源仅限制在计算节点上运行，Location约束的设置命令如下：$ U, C3 @" B1 ], I
即资源 Nova-compute-clone仅会在 osprole等于 compute的节点上运行，也即计算节点上运行。- z" e' j. ]' \. O2 [
pcs constraint location nova-compute-clone rule resource-discovery=exclusive score=0 osprole eq compute4 G; j! G4 _2 t r2 E2 I
- I; Z# I% a, L+ k3 i, ]在 pacemaker集群中，order约束主要用来解决资源的启动依赖关系，资源启动依赖在Linux系统中非常普遍。例如在Openstack高可用集群配置中，需要先启动基础服务如 RabbitMQ和 MySQL等，才能启动 Openstack的核心服务，因为这些服务都需要使用消息队列和数据库服务；再如在网络服务 Neutron中，必须先启动Neutron-server服务，才能启动Neutron的其他 Agent服务，因为这些 Agent在启动时均会到 Neutron-sever中进行服务注册。 Pacemaker集群中解决资源启动依赖的方案便是 order约束。例如，在 openstack的网络服务 Neutron配置中，与 Neutron相关的资源启动顺序应该如下：Keystone-->Neutron-server-->Neutron-ovs-cleanup-->Neutron-netns-cleanup-->Neutron-openvswitch-agent-->Neutron-dncp-agent-->Neutron-l3-agent。上述依赖关系可以通过如下Order约束实现：
; e- H% @0 ?; |; E" `pcs constraint order start keystone-clone then neutron-server-api-clone
, Q; x; z' h% B' ]' n' [8 Y
4 ~; k8 ~( L. C1 gpcs constraint order start neutron-server-api-clone then neutron-ovs-cleanup-clone8 z. y2 S: o; n" V+ R
& B1 }$ r) E* _1 h4 M7 R
pcs constraint order start neutron-ovs-cleanup-clone then Neutron-netns-cleanup-clone" {4 b" N* @' \0 A
- p: k! n& C j& L. R9 r
pcs constraint order start Neutron-netns-cleanup-clonethen Neutron-openvswitch-agent-clone D8 h2 f9 c/ [3 J) }
* a- T0 G; a0 \+ j; b) m$ }pcs constraint order start Neutron-openvswitch-agent-clone then Neutron-dncp-agent-clone
, l( u" y) r z' A6 G
5 W$ |' p$ o0 ^8 c: ]pcs constraint order start Neutron-dncp-agent-clone then Neutron-l3-agent-clone7 B" n- q) C0 l9 G9 {$ T: l! ]
1 `4 C' V7 I/ z' @3 }3 C( W2 E
' j! z. j) b: b0 I% o
Colocation约束主要用于根据资源 A的节点位置来决定资源 B的位置，即在启动资源 B的时候，会依赖资源 A的节点位置。例如将资源 A与资源 B进行 Colocation约束，假设资源A已经运行在 node1上，则资源 B也会在node1上启动，而如果node1故障，则资源B与 A会同时切换到node2而不是其中某个资源切换到 node3。在 Openstack高可用集群配置中，通常需要将 Libvirtd-compute与 Neutron-openvswitch-agent进行资源捆绑，要将 Nova-compute与 Libvirtd-compute进行资源捆绑，则 Colocation约束的配置如下：
/ C4 {" I$ W9 m6 a2 l
# X! g* Q' u; `' |pcs constraint colocation add nova-compute-clone with libvirtd-compute-clone
5 S' l$ @' K4 p+ W9 q8 F( h# e& z# ^* a5 |$ U) U
pcs constraint colocation add libvirtd-compute-clone with neutron-openvswitch-agent-compute-clone
$ |% e* _& p& m1 F% H
* n% _) q0 {8 q1 \3 I6 J$ s( n+ \! r2 @6 d2 P
Location约束、 Order约束和 Colocation约束是 Pacemaker集群中最为重要的三个约束通过这几个资源约束设置，集群中看起来彼此独立的资源就会按照预先设置有序运行。* ^% y$ r# d* P5 @5 g
3、集群资源类型
, U5 V" O' G: t: q在 Pacemaker集群中，各种功能服务通常被配置为集群资源，从而接受资源管理器的调度与控制，资源是集群管理的最小单位对象。在集群资源配置中，由于不同高可用模式的需求，资源通常被配置为不同的运行模式，例如 Active/Active模式、 Active/Passive模式以及 Master/Master模式和 Master/Slave模式，而这些不同资源模式的配置均需要使用 Pacemaker提供的高级资源类型，这些资源类型包括资源组、资源克隆和资源多状态等。
9 x! J0 ]/ K/ `+ m+ k& V/ g（1）资源组7 v1 }- k1 `9 U5 `3 [- ?
在Pacemaker集群中，经常需要将多个资源作为一个资源组进行统一操作，例如将多个相关资源全部位于某个节点或者同时切换到另外的节点，并且要求这些资源按照一定的先后顺序启动，然后以相反的顺序停止，为了简化同时对多个资源进行配置，供了高级资源类型一资源组。通过资源组，用户便可并行配置多个资源，资源组的创建很简单，其语法格式如下：
: p' ^/ u2 a5 y+ i: upcs resource group add group_name resource_id ... [resource_id] [--before resource_id] --after resource_id
: v7 W6 h: @( i# K: ]& a7 w
! E2 a% R4 o- k# A使用该命令创建资源组时，如果指定的资源组目前不存在，则此命令会新建一个资源组，如果指定的资源组已经存在，则此命令会将指定的资源添加到该资源组中并且组中的资源会按照该命令中出现的先位置顺序启动，并以相反的顺序停止。在该命令中，还可使用–before和–after参数指定所添加的资源与组中已有资源的相对启动顺序。在为资源组添加资源时，不仅可以将已有资源添加到组中，还可以在创建资源的同时顺便将其添加到指定的资源组中，命令语法如下：
) _1 L; k. d9 O" vpcs resource create resource_id Standard:Provider:Type丨 type [ resource_options] [op operation_action operation_options] --group group_name5 t+ t! E1 D1 W ?% Y6 H
& \3 w+ ^5 I: u$ u- h1 T0 Q如下是资源组操作中经常使用的命令语法：
, h. k. G( \2 b! S2 z2 U i' u7 K! B9 q) ]
将资源从组中删除，如果该组中没有资源，这个命令会将该组删除：
7 `2 ^ L1 u( U Q" spcs resource group remove group_name resource_id ...( X3 e& F* r6 M! j/ |
查看目前巳经配置的资源组：
. Y% i2 b# }7 U8 g! k3 Cpcs resource group list
6 {/ I- f- G$ ?7 f创建名为Mygroup的资源组，并添加资源 IPaddr和 HAproxy：9 z- ^# ^" J8 \6 Y
pcs resource group add MyGroup IPaddr HAproxy
4 X. j, A$ V9 `# z6 [: c8 m/ J/ Z在 Pacemaker集群中，资源组所包含的资源数目是不受限的，资源组中的资源具有如下的基本特性：6 h% z% I" z9 c) W
$ ^6 D# D' ~, t3 x) V5 T$ b
资源按照其指定的先后顺序启动，如在前面示例的 MyGroup资源组中，首先启动 IPaddr，然后启动 HAproxy。7 Z+ E1 n4 ]: t
资源按照其指定顺序的相反顺序停止，如首先停止 HAproxy，然后停止 IPaddr* Z& E' r. D9 w7 Z
如果资源组中的某个资源无法在任何节点启动运行，那么在该资源后指定的任何资源都将无法运行，如 IPaddr不能启动，则 HAproxy也不能启动。
/ @2 T0 X, @' p8 Z9 ]资源组中后指定资源不影响前指定资源的运行，如 HAproxy不能运行，但IPaddr却可以正常运行。$ {5 M- I7 h3 {4 \
在集群资源配置过程中，随着资源组成员的增加，集群资源的配置工作将会明显减少，因为管理员只需要添加资源到资源组中，然后便可对资源组进行整体操作。资源组具有组属性，并且资源组会继承组成员的部分属性，主要被继承的资源属性包括 Priority、Targct-role、Is-managed等，资源属性决定了资源在集群中的行为规范，以及资源管理器可以对其进行哪些操作，因此，了解资源的常见属性也是非常有必要的，如下是资源属性中比较重要的几个属性解释及其默认值。
# o" [; r4 m8 z7 p6 v
7 y9 b; s& G: \. HPriority:资源优先级，其默认值是0，如果集群无法保证所有资源都处于运行状态，则低优先权资源会被停止，以便让高优先权资源保持运行状态。
- R1 s+ r$ p+ y2 B2 ]5 o( MTarget-role：资源目标角色，在pcs其默认值是started，但在crm里其默认值为Stopped。表示集群应该让这个资源处于何种状态，允许值为：, F( D2 B& a' C7 A9 y* H
Stopped：表示强制资源停止；
; M% U: \/ F6 |Started:表示允许资源启动，但是在多状态资源的情况下不能将其提升为 Master资源；
+ v3 F6 ?8 H9 Y; @) U' c% k8 s8 VMaster:允许资源启动，并在适当时将其提升为 Master。
, L; @! X* g* W9 j. wis-managed：其默认值是true，表示是否允许集群启动和停止该资源，false表示不允许。3 j1 g* S9 r1 j/ k1 \9 @
Resource-stickiness：默认值是0，表示该资源保留在原有位置节点的倾向程度值。
+ ]* @4 R: o4 J( y9 ]Requires：默认值为 fencing，表示资源在什么条件下允许启动。
$ s" @8 a+ }2 I5 D+ b6 _（2）资源克隆
1 B7 a& R2 T; W7 ?克隆资源是Pacemaker集群中的高级资源类型之一，通过资源克隆，集群管理员可以将资源克隆到多个节点上并在启动时使其并行运行在这些节点上，例如可以通过资源克隆的形式在集群中的多个节点上运行冗余IP资源实例，并在多个处于 Active状态的资源之间实现负载均衡。通常而言，凡是其资源代理支持克隆功能的资源都可以实现资源克隆，但需要注意的是，只有己经规划为可以运行在Active/Active高可用模式的资源才能在集群中配置为克隆资源。配置克隆资源很简单，通常在创建资源的过程中同时对其进行资源克隆，克隆后的资源将会在集群中的全部节点上存在，并且克隆后的资源会自动在其后添加名为 clone的后缀并形成新的资源 ID，资源创建并克隆资源的语法如下：5 O3 k. T' {& f6 @" ~* F% ~" Q
+ n7 ~' ]: E. @1 ^, f% ?6 v
pcs resource create resource_id standard:provider: type| type [resource options] --clone[meta clone_options] e6 m# J4 {+ R( ?
* C- K! d. I% R6 H克隆后的资源 ID不再是语法中指定的 Resource_id,而是 Resource_id-clone并且该资源会在集群全部节点中存在。在 Pacemaker集群中，资源组也可以被克隆，但是资源组克隆不能由单一命令完成，必须先创建资源组然后再对资源组进行克隆，资源组克隆的命令语法如下：$ m! @. L ~" b
pcs resource clone resource_id group_name [clone_optione] ...
- Z6 b: W+ A7 T% d( h
$ w5 J" h4 o) V1 ]2 Z4 e克隆后资源的名称为 Resource_id-clone或 Group_name-clone在资源克隆命令中，可以指定资源克隆选项(clone_options),如下是常用的资源克隆选项及其意义。
f; ^0 J: {8 G5 {5 ]
$ c, b6 H, v" aPriority/Target-role/ls-manage：这三个克隆资源属性是从被克隆的资源中继承而来的，具体意义可以参考上一节中的资源属性解释。& l$ u- y* S; T
Clone-max：该选项值表示需要存在多少资源副本才能启动资源，默认为该集群中的节点数。双节点的HA，则默认值为2。
# p( F ~" S9 {. u$ L; z. G$ aClone-node-max：表示在单一节点上能够启动多少个资源副本，默认值为1。
% f( ]0 P$ U: Z" l+ ?`Notify：表示在停止或启动克隆资源副本时，是否在开始操作前和操作完成后告知其他所有资源副本，允许值为 False和 True，默认值为 False。; W+ w: Y) F$ L \# A# k
Globally-unique：表示是否允许每个克隆副本资源执行不同的功能，允许值为 False和 True。如果其值为 False,则不管这些克隆副本资源运行在何处，它们的行为都是完全和同的，因此每个节点中有且仅有一个克隆副本资源处于 Active状态。其值为 True,则运行在某个节点上的多个资源副本实例或者不同节点上的多个副本实例完全不一样。如果Clone-node-max取值大于1，即一个节点上运行多个资源副本，那么 Globally-unique的默认值为 True，否则为 False。' P7 T5 H) h m5 a: p' ]
Ordered：表示是否顺序启动位于不同节点上的资源副本，“。为顺序启动，、为并行启动，默认值是 False。0 O5 t1 H& C M0 ?- l
Interleave：该属性值主要用于改变克隆资源或者 Masters资源之间的 ordering约束行为， Interleave可能的值为 True和 False,如果其值为 False,则位于相同节点上的后一个克隆资源的启动或者停止操作需要等待前一个克隆资源启动或者停止完成才能进行，而如果其值为 True,则后一个克隆资源不用等待前一个克隆资源启动或者停止完成便可进行启动或者停止操作。 Interleave的默认值为 False。
; \, c6 y* K# j. z; v3 \# j3 V6 f9 m+ tmaintenance：处于维护模式的资源不受群集的监视。默认值：false& _+ w$ k$ W* l' k
在通常情况下，克隆资源会在集群中的每个在线节点上都存在一个副本，即资源副本数目与集群节点数目相等，但是，集群管理员可以通过资源克隆选项Clone-max将资源副本数目设为小于集群节点数目，如果通过设置使得资源副本数目小于节点数目，则需要通过资源位置约束（ Location Constraint)将资源副本指定到相应的节点上，设置克隆资源的位置约束与设置常规资源的位置约束类似。例如要将克隆资源 Web-clone限制在 node1节点上运行，则命令语法如下：. v2 r n7 O+ |6 x
^1 S* C5 f8 ^8 L9 Xpcs constraint location web-clone prefers node1
" M" a' Z9 Y9 @( M3 A% ~$ M( ^. r6 j# R* G0 N+ f- u$ G4 N. `
（3）资源多态
7 ~- Y# V0 ^; x0 N多状态资源是 Pacemaker集群中实现资源 Master/Master或 Master/S1ave高可用模式的机制，并且多态资源是一种特殊的克隆资源，多状态资源机制允许资源实例在同一时刻仅处于 Master状态或者Slave状态。多状态资源的创建只需在普通资源创建的过程中指定一 Master参数即可，Master/Slave多状态类型资源的创建命令语法如下：
7 c' M' N( j8 k# q: n& bpcs resource create resource_id standard：provider: type| type [resource options] --master [meta master_options]! }% D; _! S3 x1 _: I4 t4 s6 g
1 R& J) y4 p' n9 e {多状态资源是一种特殊的克隆资源，默认情况下，多状态资源创建后也会在集群的全部节点中存在，多状态资源创建后在集群中的资源名称形如 Resource_id-master。需要指出的是，在 Master/Slave高可用模式下，尽管在集群中仅有一个节点上的资源会处于 Master状态，其他节点上均为 Slave状态，但是全部节点上的资源在启动之初均为 Slave状态，之后资源管理器会选择将某个节点的资源提升为 Master。另外，用户还可以将已经存在的资源或资源组创建为多状态资源，命令语法如下：
/ `5 i$ Y8 S! c0 v& tpcs resource master master/slave_name resource_id group_name [master_options]
* C3 g7 N4 H; L0 A
1 J, T" a2 J" p$ n. p1 S在多状态资源的创建过程中，可以通过Master选项（ Master_options)来设置多状态资源的属性，Master_options主要有以下两种属性值：% _; U0 N+ p/ r0 F1 y6 R$ R6 Z7 d. u/ P
' p3 U% C% a$ F0 R/ @0 o/ y BMaster-max：其值表示可将多少个资源副本由Slave状态提升至 Master状态，默认值为1，即仅有一个 Master。) A' ^ \7 X l2 M6 A2 N
Master-node-max：其值表示在同一节点中可将多少资源副本提升至 Master状态，默认值为1。5 G. M6 N) ?" S, Z7 Y
在通常情况下，多状态资源默认会在每个在线的集群节点中分配一个资源副本，如果希望资源副本数目少于节点数目，则可通过资源的Location约束指定运行资源副本的集群节点，多状态资源的Location约束在实现的命令语法上与常规资源没有任何不同。此外，在配置多状态资源的Ordering约束时，可以指定对资源进行的操作是提升（Promote）还是降级(Demote)操作：
2 X7 }. M0 S1 v% {4 g
- k/ o4 q2 z/ p" c+ Xpcs constraint order [action] resource_id then [action] resource_id [options] X- e! M! ~5 } _0 b& ]3 `
" J# p# j7 f. u1 M2 `5 u( k( g
Promote操作即是将对应的资源（resource_id)提升为 Master状态， Demote操作即是将资源(resource_id)降级为 Slave状态，通过 ordering约束即可设定被提升或降级资源的顺序。$ F; w: n$ N+ i, M% C
（4）集群资源规则
: J" \% T5 W' Z资源规则（Rule）使得 pacemaker集群资源具备了更强的动态调节能力，资源规则最常见的使用方式就是在集群资源运行时设置一个合理的粘性值（Resource-stickness)'以防止资源回切到资源创建之初指定的高优先级节点上，即动态改变资源粘性值以防止资源意外回切。在大规模的集群资源配置中，资源规则的另一重要作用就是通过设置节点属性，将多个具有某一相同属性值的物理节点聚合到一个逻辑组中，然后通过资源的 Location约束，利用节点组的这个共有节点属性值，将资源限制在该节点组上运行，即只允许此节点组中的节点运行该资源，在 Openstack高可用集群配置中，将会使用这种方式来限制不同的资源运行在不同的节点组上（控制节点组和计算节点组），大致的配置方式就是先为选定的节点设置某一自定义属性，以将其归纳到一个节点组，如下配置命令将计算节点和控制节点分别设置为不同的节点属性：1 b& ^5 H% a ^8 }. ]1 G
pcs property set --node computel osprole=compute
' ]+ C3 y; U/ u( }2 n" ^! g2 L' @$ |1 g0 O8 A& Y, H0 [
pcs property set --node computel osprole=compute
7 t* X) x$ B# k* G% ~. a2 F/ a. x
pcs property set --node controller1 osprole=controller" v3 W+ e y1 t! c6 e
P1 A4 Q- ^# b+ l. H% Z
pcs property set --node controller2 osprole=controller3 r" h: I* D, n$ K& t
! s* l) B' @; d0 D5 j% d, L a3 `- Epcs property set --node controller3 osprole=controller
5 j: d2 L& E6 f+ d4 D6 N( G* n
* y" F' F2 R2 k0 e- _
6 J7 S$ Z; O9 _. H" N. n此处通过为节点分别设置不同的osprole属性值，将节点划分为两个集合，即计算节点组和控制节点组，将节点 compute1和 compte2归纳到 compute节点组，节点controller1、controller2以及 controller3归纳到 controller节点组，然后通过资源的 Location约束将资源限制到不同的节点组中运行，配置命令如下：( Y2 S. H8 w% ?( g! q# D s
pcs constraint location nova-compute-clone rule resource-discovery=exclusive score=0 osprole eq compute3 C% u7 I6 Q0 [
" ?, |3 b" L3 g6 K1 I$ @/ g8 spcs constraint location nova-api-clone rule resource-discovery=exclusive score=0 osprole eq controller
# Z }( u+ S) x* _9 r* `
# [8 m5 h; D( y6 q. z
7 G* h0 H# d6 j# i a: [在上述命令中，当Rule表达式“osprole-compute" 或者"osprole=controller"成立，即Rule为True，则执行对应资源的Location约束。此处，通过资源Location 约束的“ resource-discovery-exclusive"配置，资源nova-compute-clone只能运行在compute节点组中，而 compute组中只有 compute1和compute2节点，因此nova-compute-clone只能在 compute1和 compute2上运行，绝不会在 controller1、controller2及controller3上运行。同样， nova-api-clone资源只会在controller组中的三个节点上运行。绝不会在 compute1和 compute2节点上运行。0 j* p5 ^1 V2 W& p0 h7 t7 F- `: z, {
6 }3 M' Y9 } H$ J' }+ U* i
在 Pacemaker集群中，每个资源的 Rule都会包含一个或多个数字、时间及日期表达式， Rule最终的取值则取决于多个表达式布尔运算的结果。布尔运算可以是管理员指定的逻辑与或者逻辑或操作，此外， Rule的效果总是以 constraint的形式体现。因此， Rule通常在 Constraint命令中配置，如下语句是配置资源 Rule的语法格式：8 Y: C" a9 `* r6 \) g: U6 C$ N2 @
pcs constraint rule add constraint_id [rule_type] [score=score] (id=rule-id] expression丨date_expression丨date-spec options
: `" K" f- v+ [' G9 l% o
1 A. y% g" J. ?如果忽略 score值，则使用默认值 INFINITY,如果忽略 ID,则自动从 Constraint_id生成一个规则 ID,而 Rule-type可以是字符表达式或者日期表达式。需要注意的是，在删除资源 Rule时候，如果此 Rule是 Constraint中的最后一个 Rule，则该 Constraint将被删除，删除资源 Rule语法：pcs constraint rule remove rule_id
; V5 r1 u+ H6 `3 y7 F2 H* f0 a& V
6 @" i5 D' |7 F资源 Rule的表达式主要分为节点属性表达式和时间/日期表达式，节点属性表达式由以下几个部分组成。
2 V x+ N0 i4 H! D
- D) O3 |, R* D; ?5 Z/ J' WValue：用户提供的用于同节点属性值进行比较的值。: ]- {, d3 S2 ~9 b1 Y' Z
Attribute：节点属性变量名，其值即是 value要匹配的节点属性值。
9 W2 A+ I6 z. b. |5 SType：确定使用哪种类型的值匹配，允许的值包括字符串、整数、版本号(Version)。
1 d% ^0 P7 F) d& S5 v KOperation：操作符，确定用户提供的1“与节点 Attribute的值如何匹配，主要包括以下几种操作符。" ~; o6 M3 ]$ i
lt：如果 value 小于 Attribute的值，表达式为正 True；
% m% |2 N9 H& }6 X% t; B& R6 @gt：如果 value 大于 Attribute的值，表达式为正 True；- I; ^+ c2 n( f0 H# w/ _5 f& a
lte：如果value 小于等于 Attribute的值，表达式为正 True；* u }8 t% y4 b; x4 I( e% }/ K1 y
gte：如果 value 大于等于 Attribute的值，表达式为正 True；# E) N/ p$ Q: W9 o# D
eq：如果 value 等于 Attribute的值，表达式为正；/ { Y- t1 T$ W. [- F8 d
ne：如果 value不等于 Attribute的值，表达式为正 True；
$ m5 m, C: m, f/ v' J/ ?$ Vdefined：如果表达式中的 Attribute在节点中有定义，则表达式为 True;: B( T9 y, U1 b, n5 ^+ H8 `
not_defined：如果节点中没有定义表达式中的 Attribute，则表达式为True。
0 g' {8 f5 A; n$ a% A1 ^2 K- Z要通过Rule的节点属性表达式来确定资源的Location，则通常的命令语法如下：/ S6 e4 m) U& G
' ~# H! ^1 H( F( Z' `pcs resource constraint location resource_id rule [rule_id] [role=master|slave] [score=score expression]6 A9 d3 Q& k- O1 |5 ~9 [, h
4 i4 w* t! b/ t% A
7 H: p- S1 t& O
此处的表达式可以是以下几种形式：
! A7 X7 i$ {5 D9 j# Y7 V* w
/ s# W: B+ [# g( [1 V8 p defined|not_defined attribute
: J' Q: X7 f9 f) J, D0 \4 q# @! u# p9 E! S& u
attribute lt|gt|Ite|gte|eq|ne value
, ?* x- A9 x% \4 h) v9 e! Y$ S1 x3 i% o
date [start=start] [end=end] operation=gt|lt|in-range. h6 k {7 ? m$ B2 r. G% w |2 ?( y
# z+ V) e3 V* Z# ~$ p) l date-spec date_spec_options
& h5 D3 W3 n+ G4 s! v
1 W6 s& c; B: _/ M/ h3 P) @* W- Y; s# B
在 Openstack高可用集群配置中，使用最多的是第二种形式的表达式，例如要限制 Nova-compute服务仅运行在计算节点上，则可以通过如下 Rule和 Location配置实现：% |) t- n; Z2 d: A
pcs constraint location nova-compute-clone rule resource-discovery=exclusive score=0 osprole eq compute
! M/ |1 {4 o7 o- z3 ]
: D" z/ k1 @8 O* Q5 S3 ?上述命令中，"osprole eq compute"即是 Rule的表达式，其中 osprole是节点的Atfribute, Compute是用户指定的节点属性值，该表达式的操作符是等于符号（该命令语句中的规则表达式的意思就是，当节点的值等于用户指定值（ compute)的时候，则 Rule表达式为 True（计算节点属性中已经预先设置了osprole属性值为compute )。- V3 W7 t5 N+ N% @9 F
" u% G, d/ \; \% [' m) K. ?
（5）集群参数' ^* p" J& U/ r1 F
cluster-name 集群名字
2 M7 L$ Y3 a- c, kAn arbitrary name for the cluster; z4 I1 m' K* d+ Y
- q- h( p' J n `4 O! qThis optional value is mostly for users' ' convenience as desired in administration, but may also be used in Pacemaker configuration rules via the #cluster-name node attribute, and by higher-level tools and resource agents.& ~4 G2 ?3 |/ G4 C8 H
' P; [' Q" i/ j1 VDefault : (null)
. G& a, N" b1 I1 d+ P
! U+ ?% i/ \% T v( j1 wstonith-enabled4 d4 ?; [7 Z- {8 k
6 v5 N2 ~/ i. C/ X5 X# X4 o( H4 v& t" X& m
有fencing设备时，则需要修改为true。
6 x: C; s2 V! |1 s1 a* l6 L: @9 X- ^( M
没有 Fencing设备时，禁用STONITH 组件功能，在 stonith-enabled=“false” 的情况下，分布式锁管理器 (DLM) 等资源以及依赖DLM 的所有服务（例如 cLVM2、GFS2 和 OCFS2）都将无法启动。# i8 X8 c5 g- W" s6 L
8 e, _( A5 ]# o) ^stonith-action当节点需要隔离时发送到隔离设备的操作7 Q# S: I. i$ v* R' e
Action to send to fence device when a node needs to be fenced ("poweroff" is a deprecated alias for "off") m/ a# n1 \ L j0 \2 O2 p
- [* }0 D; `" X
Allowed values: reboot, off, poweroff
) T R! ~# @; u8 e2 N$ g) W8 q/ {. Y4 e
Default : reboot+ m! s- f) J+ `
- ?2 W) w ^8 A& f2 a5 V- s( `
( W- q& ^, {% @9 Vplacement-strategy 集群应该如何为节点分配资源
# d' h4 z* H& [! XHow the cluster should allocate resources to nodes
9 R% U0 |. _4 C/ x7 ?+ W$ [6 G7 e) q
. |! r( f1 F( V" ?* d* P, E [0 _Allowed values: default, utilization, minimal, balanced
5 n: d, D7 c& q: h& N' f. @: E2 R f3 Q2 \7 e* d( P. u9 o8 r5 l3 E* V
Default : default
2 p0 [& B; A) Y) D/ G% v3 v. P, Q, w1 {* n k0 z, E
. a4 x, U: ]! {5 o7 t6 u
no-quorum-policy 群集没有仲裁时该怎么办# ?! L6 \$ m! [: f) M4 g/ D
What to do when the cluster does not have quorum
4 t) t' ]: R5 m6 v* p) b
( @4 H9 _1 p. v% q/ @& iAllowed values: stop, freeze, ignore, suicide
6 z' S/ r e# a6 U* ?7 D, i4 t5 B& Y- F- T1 L0 Y, t- r$ H0 M
Default : stop
2 Q ^3 p7 S( V" Y5 P4 F- N8 C
' H6 r |: O' S; k/ D
. f' k2 e4 G R' fmaintenance-mode 维护模式，集群是否应避免监视、启动和停止资源。
/ O" f# `# H5 J* u9 l( ]Whether the cluster should refrain from monitoring, starting, and stopping resources
' S5 F" d% D# L8 g8 n8 }0 @0 n4 c7 @. M1 x. J
Default : false: i( L$ k: ~0 E
3 p# C" Q! C! @. y) y
! o0 K; V% u+ }, `
resource-stickiness 资源在多大程度上希望留在原地？5 y4 M$ n/ c5 d+ f2 H
How much does the resource prefer to stay where it is?- ]. Z* H9 S& B$ V# a; C- V7 A
& m& q0 G' i( d8 j; l: eDefault : 0
* p( G; M* t$ {- o
* `. s) W/ |, T. s8 D" p! N$ X8 w. l0 X; @! O/ M
migration-threshold 在将此节点标记为不具备承载此资源的资格之前，节点上的此资源可能会发生多少次故障。值为0表示此功能已禁用。
% D7 b7 ?9 T. c" q% I4 K8 @3 GHow many failures may occur for this resource on a node, before this node is marked ineligible to host this resource. A value of 0 indicates that this feature is disabled.
- `- L: Z4 Y! j/ t3 d5 b9 L) h) L, M( b' |: _3 M
Default : 0- ~9 Y* L) S/ e8 E i% n. b
: o: p0 H6 q. A2 J' n- f9 D8 A* x8 B2 l; K5 y: X! q
PCS命令详解和参数说明
) n4 c, b; I* X) R1 ]安装3 Z# h2 u! P; K: T) ]2 l
公网安装
9 U" \. s+ I4 ^) B1.安装群集软件：) ^! J8 W* T& i' h" R( B, Q
yum -y install corosync pacemaker pcs
7 X2 T# Y7 B0 V9 A ~, p: c yum -y install fence-agents resource-agents4 [, G2 N8 p: x) l. w% o
9 e8 p: A, ]. d
$ c" ^! A1 d- S' n7 v2.拷贝配置文件、启动脚本7 H2 N+ s/ \6 M
注意：群集需要严格的时间同步机制，如果启用了防火墙需要开放相应的端口。4 W( ~' z( e `
mkdir -p /etc/cluster/: X6 f# M, C }, ^" b
ln -s /etc/rc.d/init.d/corosync /etc/rc.d/init.d/cman/ P- r! o x2 v9 N) |/ |" j
ln -s /usr/sbin/corosync-cmapctl /usr/sbin/corosync-objctl
+ `/ W v9 _# `, }3 N cp /etc/corosync/corosync.conf.example /etc/corosync/corosync.conf
# E9 W- b" z$ g3 g9 j( A- M; G# N5 R' f3 ~7 K
/ x5 V3 j$ s2 F, Y
内网安装
% t$ e4 P: ^2 n1 S# q# E其实就是在有外网的情况下汇总corosync pacemaker pcs fence-agents resource-agents 这些包放在一个文件夹拷贝到内网环境，用rpm安装即可。, t" _8 M/ L3 Q; e& ^: [: I4 I
9 V; q0 K4 W( D _7 L6 @如果不会在公网上将包和依赖下载的，看我这篇文章: T6 l [% j y
【yum】linux离线安装rpm包及其依赖和卸载包及其依赖: W% g. I' M. Z8 f. i
4 B" K! a7 m( ^1 H `, Y( G' A最后面centos8或bclinux8.2离线安装pcs以及搭建pcs、pcs的使用说明，中有实操内网安装。8 C" q8 c8 J- I4 f% K
( q) F. L/ {+ n- b# d. I建立集群/ `# `: E0 `& {/ v8 M6 Z7 V
下面内容来源于网上，建议结合我这实操的做下对比【这内容在最下面的文章中哈】
) j& M' t( M* Q% k- |8 o& ^# }, {+ f3 n2 |
4 d3 p( @* B$ S9 I- m
1、配置群集节点的认证as the hacluster user:
3 U% f. `, ~6 L( Y. _5 M3 w( `: w; p1 J$ |
# pcs cluster auth node1 node2, J) A8 v. x9 [/ \) \
8 l3 H& o: W0 B- X$ ?$ u
2、创建一个二个节点的群集
_6 ?& r% p- G" ]7 Z# pcs cluster setup --name mycluster node1 node2( [1 c4 e8 M2 }7 s/ }( O% }
# pcs cluster start --all ## 启动群集2 D# j4 Y+ \# G, o5 x U* w1 D
; H w C, T; d
" x; g9 ^0 s' P3、设置资源默认粘性（防止资源回切）
( F0 \+ k7 a7 j. @4 ~# pcs resource defaults resource-stickiness=100" f' N& w. q& {# ~3 p3 i
# pcs resource defaults
9 w# \/ F4 y3 H3 j0 D' K' M& t: G, _/ p0 X
# s. H/ W; ?% M! Z: r% Q4、设置资源超时时间7 g% l( Z! s) H3 X
# pcs resource op defaults timeout=90s
( U9 S' q8 i9 x/ Y# pcs resource op defaults
3 i, d, s7 r" ]1 B/ }- t! U+ ~: Y7 g# e8 [; X4 w' B
' p A& V5 e l6 d5、二个节点时，忽略节点quorum功能; V! m- k8 J% S
# pcs property set no-quorum-policy=ignore
$ _3 D. H! H: A; g: [! q7 n) v$ ]# A2 G, @ J- r7 k+ n
6、没有 Fencing设备时，禁用STONITH 组件功能6 c. U7 o4 z, U) `; M
在 stonith-enabled=“false” 的情况下，分布式锁管理器 (DLM) 等资源以及依赖DLM 的所有服务（例如 cLVM2、GFS2 和 OCFS2）都将无法启动。
0 o8 P7 t7 j4 Z* E, e# pcs property set stonith-enabled=false+ ]( C* \: z5 ^/ P8 F- {, m
# crm_verify -L -V ## 验证群集配置信息
5 n. O4 T* k3 R
4 \; M- t% K+ [; v0 O2 ^& B/ ~) q* @7 A$ H
建立集群资源+ W& j6 t; n0 {/ O6 S" x& C
1、查看可用资源7 F8 q$ d8 {8 g: g
# pcs resource list ## 查看支持资源列表，pcs resource list ocf:heartbeat Y+ i' E3 E) j" a# j0 j3 w
# pcs resource describe agent_name ## 查看资源使用参数，pcs resource describe ocf:heartbeat:IPaddr2
4 U' `8 _8 Z+ U2 ^
! ?4 h- S" O* {4 W2 `2 l* j% o: M& [
2、配置虚拟IP【vip】2 o% F* ^: P. P2 k& b) m9 G
# pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip="192.168.10.15" cidr_netmask=32 nic=eth0 op monitor interval=30s / r; k; }8 ]# u0 V
- j$ Z1 N. R. S
绑定服务
! `- _6 A/ _. g- P( a' x配置Apache(httpd)* {) S0 P) Q6 \0 z
# pcs resource create WebServer ocf:heartbeat:apache httpd="/usr/sbin/httpd" configfile="/etc/httpd/conf/httpd.conf" statusurl="http://localhost/server-status" op monitor interval=1min% V3 I. R% t9 u+ M& f+ C
' T& A( M3 x P6 Z7 u+ v3 V1 p: d" Q配置Nginx
) Z* l) |7 ]2 h2 @+ [9 B" V: o0 u# pcs resource create WebServer ocf:heartbeat:nginx httpd="/usr/sbin/nginx" configfile="/etc/nginx/nginx.conf" statusurl="http://localhost/ngx_status" op monitor interval=30s
' t* t# b2 y/ y5 G' v2 r4 _) S7 ^! X# u0 Y
配置FileSystem3 L2 `& I- h! w R9 T# U
1、配置FileSystem+ q9 ]& R& h9 M
# pcs resource create WebFS ocf:heartbeat:Filesystem device="/dev/sdb1" directory="/var/www/html" fstype="ext4"& e0 H6 y! M( ?; J: f3 F
9 C- B& [/ W: ]5 a# pcs resource create WebFS ocf:heartbeat:Filesystem device="-U 32937d65eb" directory="/var/www/html" fstype="ext4"
! g* P. R! c$ d8 ]
$ O6 {7 [* ]1 G/ Q4 v4 Q! }
9 M$ R, d2 P+ h1 Z' E4 m" O; p2、配置FileSystem-NFS6 i8 F6 u8 d! N& m9 j6 m/ `
# pcs resource create WebFS ocf:heartbeat:Filesystem device="192.168.10.18:/mysqldata" directory="/var/lib/mysql" fstype="nfs" options="-o username=your_name,password=your_password" op start timeout=60s op stop timeout=60s op monitor interval=20s timeout=60s
9 @# M |3 J/ v h% @: N1( X0 ?# n9 i& P) U
配置Iscsi
- L @7 e! d3 J7 s" A# pcs resource create WebData ocf:heartbeat:iscsi portal="192.168.10.18" target="iqn.2008-08.com.starwindsoftware:" op monitor depth="0" timeout="30" interval="120"5 y* M9 s! U* v3 C/ ]
: c5 S% v' M/ L' N: d( ?+ z9 U& m# pcs resource create WebFS ocf:heartbeat:Filesystem device="-U 32937d65eb" directory="/var/www/html" fstype="ext4" options="_netdev"9 H- ~5 F g5 c& W3 c
! J4 o& g/ D9 x; o
, d1 Q3 ], y( I2 A! F配置DRBD
8 D! C$ p3 _4 z& t* l8 Q& [# pcs resource create WebData ocf:linbit:drbd drbd_resource=wwwdata op monitor interval=60s7 N; q' W6 X) B! G
& u" B: w" {% m. X2 C. [2 F, `
# pcs resource master WebDataClone WebData master-max=1 master-node-max=1 clone-max=2 clone-node-max=1 notify=true
7 }; C1 q/ Q6 R% |0 J5 c5 m8 U! Z) {6 L( `" z+ T H1 ^; ?; T; K
# pcs resource create WebFS ocf:heartbeat:Filesystem device="/dev/drbd1" directory="/var/www/html" fstype="ext4"- e1 F- {% T) c1 w* U0 s& _' r
. `8 q9 T+ ]8 [7 {$ X& n% t) c* G E& L7 [# t7 O2 U- I
配置MySQL1 G7 Z' H) U3 @6 e) u; Z
# pcs resource create MySQL ocf:heartbeat:mysql binary="/usr/bin/mysqld_safe" config="/etc/my.cnf" datadir="/var/lib/mysql" pid="/var/run/mysqld/mysql.pid" socket="/tmp/mysql.sock" op start timeout=180s op stop timeout=180s op monitor interval=20s timeout=60s
( L' c' U K' H" ]8 G$ Y4 d& f/ N3 Y# o# X9 ]& l
' Z; v0 B0 P+ T" J. \
配置Pingd，检测节点与目标的连接有效性0 j- X5 G( C Y. X% t6 n
# pcs resource create PingCheck ocf:heartbeat:pingd dampen=5s multiplier=100 host_list="192.168.10.1 router" op monitor interval=30s timeout=10s
0 j/ ?' j# d1 `* k# {
; ~: y9 u0 v4 L# P/ y
4 h( T, Y2 h6 B$ R3 l+ G! Q. t* g创建资源clone，克隆的资源会在全部节点启动
' |' V4 H! G' A: z! B8 f* w* ~# pcs resource clone PingCheck, h, H6 I5 V* C( y$ _
# pcs resource clone ClusterIP clone-max=2 clone-node-max=2 globally-unique=true ## clone-max=2，数据包分成2路+ O$ C( E Q- [9 p, i* C* z
# pcs resource update ClusterIP clusterip_hash=sourceip ## 指定响应请求的分配策略为：sourceip
9 Q( m4 U( U" h- G
- { B0 g8 j _# b Y9 H [0 R# ^( o5 r0 N; G! R0 \' e
调整集群资源6 \5 K3 Z, J: f4 A/ [. S( T
1、配置资源约束
1 T+ D" [. _' ^+ i7 _; \' N# pcs resource group add WebSrvs ClusterIP ## 配置资源组，组中资源会在同一节点运行
& u9 `+ y ~; _. O# pcs resource group remove WebSrvs ClusterIP ## 移除组中的指定资源+ ~- T# k! G: I) b
# pcs resource master WebDataClone WebData ## 配置具有多个状态的资源，如 DRBD master/slave状态% d B4 E: y% q1 Q L) | @
# pcs constraint colocation add WebServer ClusterIP INFINITY ## 配置资源捆绑关系: U3 o% k* }. R; [- E% u" w- u
# pcs constraint colocation remove WebServer ## 移除资源捆绑关系约束中资源
( S/ }1 f" _$ ~: ~) W# pcs constraint order ClusterIP then WebServer ## 配置资源启动顺序6 Y, }. l# D# b+ w3 p4 S+ J# t
# pcs constraint order remove ClusterIP ## 移除资源启动顺序约束中资源
5 s1 Y5 O8 r) d4 c: G+ C- t# pcs constraint ## 查看资源约束关系， pcs constraint --full7 u* N1 A$ t# ?9 @, W2 P/ x$ T
% D' o% ~ t( k4 V1 r$ e6 |: e; ?
2、配置资源位置" W% H8 X; z" G' u7 w! @, A; J1 m; r
# pcs constraint location WebServer prefers node11 ## 指定资源默认某个节点，node=50 指定增加的 score g1 t, C* v/ p4 U5 M. B7 D/ Q! ^
# pcs constraint location WebServer avoids node11 ## 指定资源避开某个节点，node=50 指定减少的 score7 w& W+ ?3 h) U; n. ^
# pcs constraint location remove location-WebServer ## 移除资源节点位置约束中资源ID，可用pcs config获取0 J' ^. E1 T5 ^% f9 N
# pcs constraint location WebServer prefers node11=INFINITY ## 手工移动资源节点，指定节点资源的 score of INFINITY
& _0 t, N7 z3 W7 l1 i- u; m! o9 x# crm_simulate -sL ## 验证节点资源 score 值
1 x7 I$ [" n/ q2 g: M
( P1 V' C& N) H, @ \6 J2 A, P: D ~: r
3、修改资源配置
8 B9 C" W u n- c# pcs resource update WebFS ## 更新资源配置1 ^+ L' z9 g/ P/ @ R" j0 a {
# pcs resource delete WebFS ## 删除指定资源
, ^0 n+ ]( A- r5 {- ~0 X! N2 [+ n# Y) |5 [) |+ M. l. P$ ~! D1 w
0 z0 o6 X4 r3 Y, m5 J
4、管理群集资源
0 y$ x; k& J; z2 X/ y# pcs resource disable ClusterIP ## 禁用资源
, R! P+ n, r5 G- p" g; f9 o# pcs resource enable ClusterIP ## 启用资源3 w3 N' z# f% k: l1 B# m. l9 c
# pcs resource failcount show ClusterIP ## 显示指定资源的错误计数
; ~- B) m) k P. \6 \1 b# pcs resource failcount reset ClusterIP ## 清除指定资源的错误计数 / J" {# ^) j6 {, W; F, p" n
# pcs resource cleanup ClusterIP ## 清除指定资源的状态与错误计数
+ E+ {8 N: [$ X8 k U# t, T$ j5 p: I* s5 `7 _! A7 k# g
8 u* A8 A; w- {( G" p0 n$ q/ p- j5
1 X0 k7 o/ D" [' S K
8 K* [; @* B0 j8 s9 H* A7 U8 U p配置Fencing设备，启用STONITH
6 m6 \" A% J+ k0 a! q. j1、查询Fence设备资源" {! G7 y: @2 s- [& A6 X' i1 Q) b. ^
# pcs stonith list ## 查看支持Fence列表
: s8 _& ]/ z6 y8 w2 Y( u3 G0 ~- l# pcs stonith describe agent_name ## 查看Fence资源使用参数，pcs stonith describe fence_vmware_soap: Z! i Q8 g# p( [7 Q/ Q. V
2 o1 S4 i" ?: r- M: D+ i5 v
* _. [; _9 A! R ~8 Y
2、配置fence设备资源
8 y# M- A- }8 T) j# pcs stonith create ipmi-fencing fence_ipmilan \! S, w. C+ a4 Z/ |$ t
pcmk_host_list="pcmk-1 pcmk-2" ipaddr="10.0.0.1" login=testuser passwd=acd123 \
) X5 j Q" _, Z0 c3 R op monitor interval=60s
& H7 z) q' z9 d1 U5 o8 g9 }. v/ q( A) r/ a, j
mark:
5 `5 ?3 d" n) K0 E& jIf the device does not support the standard port parameter or may provide additional ones, you may also need to set the special pcmk_host_argument parameter. See man stonithd for details.
' v9 d3 `9 j; @8 h8 h! u% TIf the device does not know how to fence nodes based on their uname, you may also need to set the special pcmk_host_map parameter. See man stonithd for details.& P$ D& ^ X7 o4 @8 D1 ]
If the device does not support the list command, you may also need to set the special pcmk_host_list and/or pcmk_host_check parameters. See man stonithd for details.+ v+ c; ]) I R3 k1 `* f9 M, a
If the device does not expect the victim to be specified with the port parameter, you may also need to set the special pcmk_host_argument parameter. See man stonithd for details.
3 c) @5 Y1 q1 iexample: pcmk_host_argument="uuid" pcmk_host_map="node11:4;node12:5;node13:6" pcmk_host_list="node11,node12" pcmk_host_check="static-list"' ] p! U, ?* A* B
8 E2 X- k6 \! {- N7 {1 u
O7 l' w; G F2 B z
3、配置VMWARE (fence_vmware_soap)1 h9 T( U( O4 W' A) H& y! R0 D! |
特别说明：本次实例中使用了第3项（pcs stonith create vmware-fencing fence_vmware_soap）这个指定pcmk配置参数才能正常执行Fencing动作。. [) V. o5 |" W4 [* a; v( z
" q+ Y; l, T4 c3.1、确认vmware虚拟机的状态：
. V1 ~0 ?! p) u/ y$ t# fence_vmware_soap -o list -a vcenter.example.com -l cluster-admin -p -z ## 获取虚拟机UUID
/ C. V, r& M" P/ ]6 K# fence_vmware_soap -o status -a vcenter.example.com -l cluster-admin -p -z -U ## 查看状态, V4 C: ~: A% c5 \3 p" _5 A
# fence_vmware_soap -o status -a vcenter.example.com -l cluster-admin -p -z -n
! V. @' h8 q) a) {, u% i# j5 R' M+ j. l! y7 p0 u* p- V
; d5 p) l2 ^ q: d3.2、配置fence_vmware_soap
) q' a" j6 O# I9 E7 _# pcs stonith create vmware-fencing-node11 fence_vmware_soap action="reboot" ipaddr="192.168.10.10" login="vmuser" passwd="vmuserpd" ssl="1" port="node11" shell_timeout=60s login_timeout=60s op monitor interval=90s
- T2 V) M- K% B0 H1 C& Y; m( T( Z4 ~+ M* e7 `% H4 r& c
# pcs stonith create vmware-fencing-node11 fence_vmware_soap action="reboot" ipaddr="192.168.10.10" login="vmuser" passwd="vmuserpd" ssl="1" uuid="421dec5f-c484-3d69-ddfb-65af46530581" shell_timeout=60s login_timeout=60s op monitor interval=90s0 V0 J' s; z% _# D3 }+ l
: `# ~+ t# y1 M7 s& W& H; a& ?# pcs stonith create vmware-fencing fence_vmware_soap action="reboot" ipaddr="192.168.10.10" login="vmuser" passwd="vmuserpd" ssl="1" pcmk_host_argument="uuid" pcmk_host_check="static-list" pcmk_host_list="node11,node12" pcmk_host_map="node11:421dec5f-c484-3d69-ddfb-65af46530581;node12:421dec5f-c484-3d69-ddfb-65af46530582" shell_timeout=60s login_timeout=60s op monitor interval=90s+ C; S+ N& X1 G. O( e$ \8 A2 L( z i0 Q
7 J. |* w3 u, x8 e6 A( u
* s/ |4 O1 {5 Q( z7 \ L注：如果配置fence_vmware_soap设备时用port=vm name在测试时不能识别，则使用uuid=vm uuid代替；+ [+ m# b6 z0 Q; g( Y) {
建议使用pcmk_host_argument、pcmk_host_map、pcmk_host_check、pcmk_host_list参数指明节点与设备端口关系，格式：# G+ h' N, m6 \5 l- }4 a7 N0 p# w
4 C% S& z6 c; D* H pcmk_host_argument="uuid" pcmk_host_map="node11:uuid4;node12:uuid5;node13:uuid6" + p6 `3 i& |" r* _6 n, U) b: t$ A, S
pcmk_host_list="node11,node12,node13" pcmk_host_check="static-list"7 B6 X' @2 F4 M5 W9 ^4 H8 b2 p
+ {0 X" q6 |! d0 S1 o8 c' I$ K
' G, }9 k) \) l" T9 [ K
4、配置SCSI
3 @ D5 x7 ? z' F# ls /dev/disk/by-id/wwn-* ## 获取Fencing磁盘UUID号，磁盘须未格式化% Z' `& Q4 X) p& `! {
# pcs stonith create iscsi-fencing fence_scsi \
' W/ [( i! L; b; i, S- c% ^' Y3 ?# H1 i action="reboot" devices="/dev/disk/by-id/wwn-0x600e002" meta provides=unfencing
' D3 y" ^( S* ^" @1 Y0 b5 D& E& a- z
, n+ z7 e7 G, [( k5、配置DELL DRAC
: F: I1 e$ o p* A! P, V# pcs stonith create dell-fencing-node11 fence_drac
, k8 Z& r+ x6 z- p: B. i1 J7 ^.....( ^" C# x- m; n, M3 b$ J
) e, h, D: }) z% a- Z, K) k4 A; D
: Y2 U& G* P2 M% J7 A5 s2 j6、管理 STONITH' {0 Z, s& M# U# z( K Y
# pcs resource clone vmware-fencing ## clone stonith资源，供多节点启动- K9 }; j, e# D$ V; t
# pcs property set stonith-enabled=true ## 启用 stonith 组件功能
3 N. w5 v) p4 ~' j2 ?# pcs stonith cleanup vmware-fencing ## 清除Fence资源的状态与错误计数* p4 H# [9 A$ F: t, {! s
# pcs stonith fence node11 ## fencing指定节点0 {( V/ G! Y' q/ N# }
- ]& P; c7 [* h
; ~- K: Z J7 ]
) h2 D E. X) q1 R7 ^, l+ W4 t. c7、管理tomcat
' @6 \, A* E ?6 b* y, A, i* i#pcs resource create tomcat ersweb statusurl=http://127.0.0.1 java_home=/usr/java/jdk1.6.0_12/ catalina_home=/usr/local/Ers/tomcat/ op monitor interval=30s3 V" P \6 C* Z! q% Q, e$ N* p
: Y. ~2 j+ X" I7 Q3 x$ L$ E! ~
集群操作命令
7 A1 G, E' w6 O2 C8 e- p1、验证群集安装
) c: _% A, k. l5 ]- o. @8 j# pacemakerd -F ## 查看pacemaker组件，ps axf | grep pacemaker: E6 r+ a0 O+ m4 i* O+ ^
# corosync-cfgtool -s ## 查看corosync序号
7 M6 h; P$ h7 [1 b+ m# corosync-cmapctl | grep members ## corosync 2.3.x( ]/ B$ V9 Z7 w; U' V7 Z/ N
# corosync-objctl | grep members ## corosync 1.4.x
% |4 C' s. B% x, K
" T9 k, l' B8 Q" b% J8 i! M. ?$ A: I( a4 |% Q
2、查看群集资源
5 Y( Z2 W$ Z H% _4 p- _# pcs resource standards ## 查看支持资源类型
, o( N1 H/ L( n V9 |# @# pcs resource providers ## 查看资源提供商$ o7 S+ j" ~# S3 E# {/ Q
# pcs resource agents ## 查看所有资源代理
% i# |5 w2 D4 ]* R2 r# pcs resource list ## 查看支持资源列表
8 m8 l# I/ m. R# pcs stonith list ## 查看支持Fence列表& z. X5 p, _: B& N
# pcs property list --all ## 显示群集默认变量参数
& j$ C. C0 O) I2 A# crm_simulate -sL ## 检验资源 score 值& h* F) y S# T$ d
, Z0 k, z- \" Q
: Z+ o# p! ]; y% N3、使用群集脚本
9 O- i+ F) Z$ H' G# pcs cluster cib ra_cfg ## 将群集资源配置信息保存在指定文件( m4 a! m3 N& X
# pcs -f ra_cfg resource create ## 创建群集资源并保存在指定文件中（而非保存在运行配置）
- \! _+ Z. G4 } @! @# pcs -f ra_cfg resource show ## 显示指定文件的配置信息，检查无误后
0 r" D0 d, t% t% P/ F5 B2 v% d% D# pcs cluster cib-push ra_cfg ## 将指定配置文件加载到运行配置中: M1 v. z! _0 I$ R9 D. D8 g
3 m, B, p1 y; x) H& Z ]
/ C- g, I- o2 m' V
4、STONITH 设备操作/ k) I/ p1 L; ?! G# s; I, q
# stonith_admin -I ## 查询fence设备
" W+ I0 B7 }' Q; l& G5 c# stonith_admin -M -a agent_name ## 查询fence设备的元数据，stonith_admin -M -a fence_vmware_soap
; N( [- o1 X& r% b2 w# stonith_admin --reboot nodename ## 测试 STONITH 设备/ i" h, Z6 O3 h* L/ G2 @
; ?. R1 B! M# x( I- a" T3 X. M) r$ u* h: S8 r8 K
5、查看群集配置
/ |5 y" x, d' i) e: G. N# j) ?# crm_verify -L -V ## 检查配置有无错误: R( j/ i5 n& _8 J9 t9 m
# pcs property ## 查看群集属性' v+ F3 e+ P; i
# pcs stonith ## 查看stonith
2 M/ M2 v1 ~9 x3 ?# pcs constraint ## 查看资源约束
! d B: K# e6 F0 [1 O# pcs config ## 查看群集资源配置
! | R8 I# S; d+ v- S# pcs cluster cib ## 以XML格式显示群集配置* u& R" u" K+ R9 W
2 H0 v! }- U4 p6 H7 ?; \) Z7 `
& D `* q% u8 j6、管理群集( J& y0 i4 A f( k, T: b0 T
# pcs status ## 查看群集状态9 y# q( E# m1 S
# pcs status cluster; a5 q# Q2 P) C' h
# pcs status corosync: J1 ?% h2 @0 e/ G* _: q/ S
# pcs cluster stop [node11 ## 停止群集
- y( c) p2 }% a3 l* `# pcs cluster start --all ## 启动群集! F- N b3 b7 ?7 B
# pcs cluster standby node11 ## 将节点置为后备standby状态，pcs cluster unstandby node11 & N5 Z: r/ V' m0 G
# pcs cluster destroy [--all ## 删除群集，[--all同时恢复corosync.conf文件
( E4 B# B& h5 Q* C5 @& g! X2 V' ~( f# pcs resource cleanup ClusterIP ## 清除指定资源的状态与错误计数6 h$ S, x! K2 f
# pcs stonith cleanup vmware-fencing ## 清除Fence资源的状态与错误计数
- E; r5 X: u' V- V
" F$ e+ P' h. F. ]6 E3 o: L5 B7 o( C" A. L- k! z# z8 Y1 y
+ D0 j. n, p6 g
7 c& Q3 q4 G# x P6 l4 G( m' z7 F |
|
发表于 2024-4-18 17:00:22