crm相关使用方法

admin

crmsh - 概述 #[url=][/url]
% z$ M% [1 I( G6 b/ c

8 `# k; s& z/ B; q' ?

crm 命令有多个子命令，这些子命令用于管理资源、CIB、节点和资源代理等。它提供了全面的帮助系统，并嵌入了示例。所有示例都遵循附录 B 中所述的命名约定。

提示：交互式 crm 提示符

使用不带自变量（或只带一个 sublevel 自变量）的 crm，crm 外壳将进入交互式模式。此模式由以下提示符指示：

crm(live/HOSTNAME)COPY

为了容易阅读，我们的文档在交互式 crm 提示符中省略了主机名。仅当您需要在特定的节点（如 alice）上运行交互式外壳时，才包含主机名，例如：

crm(live/alice)COPY

1.1.1.1 获得帮助 #[url=][/url]

8 ~$ @" [( L8 k3 L

可通过以下方式之一访问帮助：

• 输出 crm 及其命令行选项的用法：
  root # crm --helpCOPY
• 列出所有可用的命令：
  root # crm helpCOPY
• 访问其他帮助部分，而不只是命令参考：
  root # crm help topicsCOPY
• 查看 configure 子命令的完整帮助文本：
  root # crm configure helpCOPY
• 要列显 configure 的 group 子命令的语法、用法及示例：
  root # crm configure help groupCOPY
  
  ) A0 _8 m: M5 s0 J( q
  以下命令的作用相同：
  root # crm help configure groupCOPY
  
  ; |+ L6 W' w/ o4 k- _1 T9 J- q

几乎所有 help 子命令（请不要与 --help 选项混淆）的输出都会打开文本编辑器。此文本编辑器允许您向上/向下滚动，以便更加方便地阅读帮助文本。要退出文本编辑器，请按 Q 键。

提示：在 Bash 和交互式外壳中使用 Tab 键补全

crmsh 不仅为交互式外壳提供 Tab 键补全，还全面支持在 Bash 中直接使用此功能。例如，键入 crm help config→| 会补全文字（就像在交互式外壳中一样）。

3 Z' }* i9 {. G
1.1.2 执行 crmsh 的子命令 #[url=][/url]
1 ]: n2 }0 |" r$ H, A

crm 命令本身可按以下方式使用：

• 直接：：  将所有子命令连接到 crm 中，按 Enter，您将立即看到输出。例如，输入 crm help ra 可获取有关 ra 子命令（资源代理）的信息。
  可以缩写子命令，只要缩写后的子命令是唯一的即可。例如，可以将 status 缩写为 st，crmsh 可以识别该缩写。
  另一项功能是缩写参数。通常，您是通过 params 关键字添加参数的。如果 params 部分是第一个且是唯一存在的部分，则您可以省略它。例如，下面一行：
  root # crm primitive ipaddr ocf:heartbeat:IPaddr2 params ip=192.168.0.55COPY
  
  
  相当于下行：
  root # crm primitive ipaddr ocf:heartbeat:IPaddr2 ip=192.168.0.55COPY
• 作为 crm 外壳脚本:  Crm 外壳脚本包含 crm 的子命令。有关详细信息，请参见第 8.1.4 节 “使用 crmsh 的外壳脚本”。
• 作为 crmsh 群集脚本：： 此类脚本是元数据、对 RPM 包的参照、配置文件及多个 crmsh 子命令捆绑在一起并以单个描述性名称命名的集合。可以通过 crm script 命令管理这些内容。
  请不要将它们与 crmsh 外壳脚本相混淆：尽管两者具有一些共同的目标，但 crm 外壳脚本只包含子命令，而群集脚本所包含的远远不只是简单的命令枚举。有关详细信息，请参见第 8.1.5 节 “使用 crmsh 的群集脚本”。
• 作为内部外壳交互:  输入 crm 以进入内壳。提示更改为 crm(live)。使用 help 可获取可用子命令的概述。由于内壳具有不同级别的子命令，您可以键入一个子命令然后按 Enter“进入”相应的级别。
  例如，如果输入 resource，则进入资源管理级别。提示符将更改为 crm(live)resource#。要退出内壳，可使用命令 quit、bye 或 exit。如果需要返回上一个级别，可使用 back、up、end 或 cd。
  您可以键入 crm 和相应的子命令（不含任何选项）直接输入级别，然后按 Enter。
  内壳还支持使用 Tab 键完成子命令和资源。输入命令的开头，按 →| 和 crm 完成相应对象。
  
  

除了前面说明的方法外，crmsh 还支持执行同步命令。使用 -w 选项可以激活该命令。如果已启动不带 -w 选项的 crm，则可以稍后通过将用户自选设置的 wait 设为 yes (options wait yes) 来启用它。如果此选项已启用，则 crm 将会等到事务完成为止。事务一经启用，就会打印出点以指示进度。同步命令执行仅适用于 resource start 之类的命令。

注意：管理和配置子命令之间的区别

crm 工具有管理功能（子命令 resource 和 node），可用于配置（cib 和 configure）。

以下小节概述了 crm 工具的一些重要方面。

1.1.3 显示有关 OCF 资源代理的信息 #[url=][/url]

由于在群集配置中一直需要处理资源代理，crm 工具包含了 ra 命令。使用该命令可以显示有关资源代理的信息并对其进行管理（如需其他信息，另请参见第 6.3.2 节 “支持的资源代理类”）：

root # crm racrm(live)ra# COPY

; Z! V5 n4 B  G! Y) ~

命令 classes 可列出所有类和提供程序：

crm(live)ra# classes lsb ocf / heartbeat linbit lvm2 ocfs2 pacemaker service stonith systemdCOPY

要获取某个类（和提供程序）的所有可用资源的概述，可使用 list 命令：

crm(live)ra# list ocfAoEtarget           AudibleAlarm        CTDB                ClusterMonDelay               Dummy               EvmsSCC             EvmsdFilesystem          HealthCPU           HealthSMART         ICPIPaddr              IPaddr2             IPsrcaddr           IPv6addrLVM                 LinuxSCSI           MailTo              ManageRAIDManageVE            Pure-FTPd           Raid1               RouteSAPDatabase         SAPInstance         SendArp             ServeRAID...COPY

可使用 info 查看资源代理的概述：

crm(live)ra# info ocf:linbit:drbdThis resource agent manages a DRBD* resourceas a master/slave resource. DRBD is a shared-nothing replicated storagedevice. (ocf:linbit:drbd)Master/Slave OCF Resource Agent for DRBDParameters (* denotes required, [] the default):drbd_resource* (string): drbd resource name    The name of the drbd resource from the drbd.conf file.drbdconf (string, [/etc/drbd.conf]): Path to drbd.conf    Full path to the drbd.conf file.Operations' defaults (advisory minimum):    start         timeout=240    promote       timeout=90     demote        timeout=90     notify        timeout=90     stop          timeout=100    monitor_Slave_0 interval=20 timeout=20 start-delay=1m    monitor_Master_0 interval=10 timeout=20 start-delay=1mCOPY

$ H9 G- I' [; E* V

按 Q 退出查看器。

提示：直接使用 crm

在之前的示例中，我们使用了 crm 命令的内壳。但是您不一定非要使用它。将相应子命令添加到 crm 中也可获得相同的结果。例如，在外壳中输入 crm ra list ocf 可以列出所有 OCF 资源代理。

5 M# f# G/ l3 N
+ X: _  H- v+ \2 Q: s1.1.4 使用 crmsh 的外壳脚本 #[url=][/url]

Crmsh 外壳脚本提供了将 crmsh 子命令枚举到文件中的便捷方式。如此，您便可轻松地注释特定行或稍后重新运行这些行。请注意，crmsh 外壳脚本只能包含 crmsh 子命令,不允许包含任何其他命令。

您需要先创建包含特定命令的文件，然后才能使用 crmsh 外壳脚本。例如，下面的文件会列显群集的状态并提供所有节点的列表：

例 1.1︰ 简单 CRMSH 外壳脚本 #[url=][/url]

# A small example file with some crm subcommandsstatusnode listCOPY

  N- @& j% Z% N$ J

以井字符号 (#) 开头的所有行都是注释，可忽略。如果行过长，可在结尾处插入反斜杠 (\)，然后在下一行继续。建议缩进属于特定子命令的行以便于阅读。

要使用此脚本，请使用以下其中一种方法：

root # crm -f example.cliroot # crm < example.cliCOPY

2 D' b& r9 G# T  p1 {. N6 X1.1.5 使用 crmsh 的群集脚本 #[url=][/url]
. E  X% Y3 R9 |' t4 Y
) o: x0 z9 ]* e( P, p* p/ S7 W

从所有群集节点收集信息并部署任何更改是一项关键的群集管理任务。您不必在不同的节点上手动执行相同的过程（这很容易出错），可以使用 crmsh 群集脚本来代替该过程。

请不要将它们与 crmsh 外壳脚本相混淆，第 8.1.4 节 “使用 crmsh 的外壳脚本”中对后者进行了介绍。

对比 crmsh 外壳脚本，群集脚本另外会执行如下任务：

• 安装特定任务所需的软件。
• 创建或修改任何配置文件。
• 收集信息并报告群集的潜在问题。
• 将更改部署到所有节点。
  
  

crmsh 群集脚本并不能取代其他群集管理工具，它只是提供了一种集成的方式用于在群集中执行上述任务。有关详细信息，请参见http://crmsh.github.io/scripts/。

1.1.5.1 使用 #[url=][/url]
4 G4 r" `' `& N( s1 g) j" y

要获取所有可用群集脚本的列表，请运行：

root # crm script listCOPY

6 g6 ^( E( |9 t/ n: H! v

要查看脚本的组成部分，请使用 show 命令和群集脚本的名称，例如：

root # crm script show mailtomailto (Basic)MailTo This is a resource agent for MailTo. It sends email to a sysadminwhenever  a takeover occurs.1. Notifies recipients by email in the event of resource takeover  id (required)  (unique)      Identifier for the cluster resource  email (required)      Email address  subject      SubjectCOPY

show 的输出包含标题、简要说明和过程。每个过程分为一系列按给定顺序执行的步骤。

每个步骤都包含一份必要参数与可选参数及其简要说明和默认值的列表。

每个群集脚本都可识别一组通用参数。这些参数可传递给任何脚本：

表 1.1︰ 通用参数 #[url=][/url]
[td]

参数	自变量	描述
action	INDEX	如果设置此参数，则只会执行单个操作（verify 会返回索引）
dry_run	BOOL	如果设置此参数，则只会模拟执行（默认值：no）
nodes	LIST	列出要对其执行脚本的节点
port	NUMBER	要连接的端口
statefile	FILE	在以单一步进方式执行时，状态将保存在给定文件中
sudo	BOOL	如果设置此参数，crm 将在适当的情况下提示输入 sudo 口令并使用 sudo（默认值：no）
timeout	NUMBER	以秒为单位的执行超时（默认值：600）
user	USER	以给定用户的身份运行脚本

* c/ Z) e6 _4 g& K+ n) {
6 x& J& t, v$ s$ u, |, m1 h+ Z4 S1 w
1.1.5.2 校验和运行群集脚本 #[url=][/url]

在运行某个群集脚本之前，请检查该脚本将要执行的操作并校验其参数，以免出现问题。群集脚本可能会执行一系列操作，并且可能会出于各种原因而失败。因此，在运行脚本之前校验参数有助于避免出现问题。

例如，mailto 资源代理需要唯一的标识符和一个电子邮件地址。要校验这些参数，请运行：

root # crm script verify mailto id=sysadmin email=tux@example.org1. Ensure mail package is installed        mailx2. Configure cluster resources        primitive sysadmin ocf:heartbeat:MailTo                email="tux@example.org"                op start timeout="10"                op stop timeout="10"                op monitor interval="10" timeout="10"        clone c-sysadmin sysadminCOPY

# [: F* u, |- m$ j9 x8 D1 _1 x

verify 将会列显步骤，并将所有占位符替换为您的给定参数。如果 verify 发现任何问题，将会报告问题。如果一切正常，请将 verify 命令替换为 run：

root # crm script run mailto id=sysadmin email=tux@example.orgINFO: MailToINFO: Nodes: alice, bobOK: Ensure mail package is installedOK: Configure cluster resourcesCOPY

9 y3 S! \5 Y0 Q# A  Q' G5 M* p

使用 crm status 检查您的资源是否已集成到群集中：

root # crm status[...] Clone Set: c-sysadmin [sysadmin]     Started: [ alice bob ]COPY

5 f. t8 {+ y3 v6 j$ z; o* M5 b
1.1.6 使用配置模板 #[url=][/url]

& z4 u' s3 q% h9 N' Q% p% n; p
注意：弃用通告

配置模板已弃用，将来会被去除。配置模板将由群集脚本取代，具体请参见第 8.1.5 节 “使用 crmsh 的群集脚本”。

6 K' w5 F# V! U

配置模板可为 crmsh 提供即时可用的群集配置。请不要将其与资源模板（如第 8.3.3 节 “创建资源模板”中所述）混淆。资源模板只适用于群集，而不适用于 crm 外壳。

配置模板只需稍作更改，即可满足特定用户的需要。每次使用模板创建配置时，都会出现警告消息，提示您哪些可以稍后编辑以供将来自定义。

以下步骤显示了如何创建简单有效的 Apache 配置：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 从配置模板创建一个新配置：
  
  
  • 切换到 template 子命令：
    crm(live)configure# templateCOPY
  • 列出可用的配置模板：
    crm(live)configure template# list templatesgfs2-base   filesystem  virtual-ip  apache   clvm     ocfs2    gfs2COPY
  • 确定需要的配置模板。由于我们需要 Apache 配置，因此选择了 apache 模板并将其命名为 g-intranet：
    crm(live)configure template# new g-intranet apacheINFO: pulling in template apacheINFO: pulling in template virtual-ipCOPY
    
    
• 定义参数：
  
  + N2 P1 E2 |# A% `! M, A+ d: q
  • 列出您创建的配置：
    crm(live)configure template# listg-intranetCOPY
  • 显示需要由您填充的最少的必要更改：
    crm(live)configure template# showERROR: 23: required parameter ip not setERROR: 61: required parameter id not setERROR: 65: required parameter configfile not setCOPY
  • 调用首选的文本编辑器，填写显示为错误（如步骤 3.b 中所示）的所有行：
    crm(live)configure template# editCOPY
    
    $ a1 a3 v* a# j* g. X8 D7 g
• 显示配置并检查配置是否有效（粗体文本取决于您在步骤 3.c 中进入的配置）：
  crm(live)configure template# showprimitive virtual-ip ocf:heartbeat:IPaddr \    params ip="192.168.1.101"primitive apache ocf:heartbeat:apache \    params configfile="/etc/apache2/httpd.conf"    monitor apache 120s:60sgroup g-intranet \    apache virtual-ipCOPY
• 应用配置：
  crm(live)configure template# applycrm(live)configure# cd ..crm(live)configure# showCOPY
• 将更改提交到 CIB：
  crm(live)configure# commitCOPY
  
  1 |. I1 j: K$ T# Z( O  R& g4 d

* W1 t: n8 {0 w. c
% H, [! G6 `+ f8 ]7 {

如果知道细节，可以更加简化命令。上述过程可汇总为外壳上的以下命令：

root # crm configure template \   new g-intranet apache params \   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"COPY

如果在 crm 内壳中，可使用以下命令：

crm(live)configure template# new intranet apache params \   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"COPY

# E9 o5 C; k+ Q% Y

但是，前一条命令仅会从配置模板创建其配置。它不会将其应用或提交到 CIB。

8.1.7 使用阴影配置进行测试 #[url=][/url]

4 y& A3 C* o: v/ d6 G
( {! Q/ [0 h* W5 T  s3 E

阴影配置可用于测试不同的配置方案。如果创建了多个阴影配置，则可逐一测试这些配置，以查看更改的影响。

一般的流程显示如下：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 创建新的阴影配置：
  crm(live)configure# cib new myNewConfigINFO: myNewConfig shadow CIB createdCOPY
  
  
  如果省略阴影 CIB 的名称，则会创建临时名称 @tmp@。
• 要将当前的活动配置复制到阴影配置中，可使用以下命令，否则请跳过此步骤：
  crm(myNewConfig)# cib reset myNewConfigCOPY
  
  9 a2 i8 Q' n/ \7 m9 A( c
  使用上面的命令便于稍后修改现有资源。
• 照常进行更改。创建阴影配置后，会应用所有更改。要保存所有更改，请使用以下命令：
  crm(myNewConfig)# commitCOPY
• 如果再次需要活动群集配置，可使用以下命令切换回此配置：
  crm(myNewConfig)configure# cib use livecrm(live)# COPY
  
  7 J4 M3 `# {$ ^" q# K! H6 C

" h7 D* r. m0 z6 I9 D( ~

: H3 ^! q6 H7 l) u- r1.1.8 调试配置更改 #[url=][/url]
* d$ w% s8 R2 `
! r% t+ B% c- n1 @5 D6 i
% F5 O. `+ ~+ t: X  J

将配置更改装载回群集之前，建议使用 ptest 复查更改。使用 ptest 命令可显示提交更改后产生的操作图。您需要 graphviz 包才能显示该图形。以下示例是一个抄本，添加了监视操作：

root # crm configurecrm(live)configure# show fence-bob primitive fence-bob stonith:apcsmart \        params hostlist="bob"crm(live)configure# monitor fence-bob 120m:60scrm(live)configure# show changedprimitive fence-bob stonith:apcsmart \        params hostlist="bob" \        op monitor interval="120m" timeout="60s"crm(live)configure# ptestcrm(live)configure# commitCOPY

1.1.9 群集图表 #[url=][/url]

要输出群集图表，请使用命令 crm configure graph。它会在当前的窗口上显示当前配置，因此需要配备 X11。

如果您希望使用可缩放矢量图 (SVG)，请使用以下命令：

root # crm configure graph dot config.svg svgCOPY

" z: t$ z4 J! v7 l' F$ x6 L1.2 管理 Corosync 配置 #[url=][/url]


5 R) t' f* d2 n/ E

Corosync 是大多数 HA 群集的基础讯息交换层。corosync 子命令提供了用于编辑和管理 Corosync 配置的命令。

例如，要列出群集的状态，请使用 status：

root # crm corosync statusPrinting ring status.Local node ID 175704363RING ID 0        id      = 10.121.9.43        status  = ring 0 active with no faultsQuorum information------------------Date:             Thu May  8 16:41:56 2014Quorum provider:  corosync_votequorumNodes:            2Node ID:          175704363Ring ID:          4032Quorate:          YesVotequorum information----------------------Expected votes:   2Highest expected: 2Total votes:      2Quorum:           2  Flags:            Quorate Membership information----------------------    Nodeid      Votes Name 175704363          1 alice.example.com (local) 175704619          1 bob.example.comCOPY

diff 命令非常有用：它可以比较所有节点上的 Corosync 配置（如果未另行指定）并打印出各自的差异：

root # crm corosync diff--- bob+++ alice@@ -46,2 +46,2 @@-       expected_votes: 2-       two_node: 1+       expected_votes: 1+       two_node: 0COPY

2 R. S, Y" [( x; i9 S: C1 u$ s

有关细节，请参见 http://crmsh.nongnu.org/crm.8.html#cmdhelp_corosync。

1.3 配置群集资源 #[url=][/url]


) A  y2 z1 s& P1 V

作为群集管理员，您需要在群集中为服务器上运行的每个资源或应用程序创建群集资源。群集资源可以包括网站、电子邮件服务器、数据库、文件系统、虚拟机和任何其他基于服务器的应用程序或在任意时间对用户都可用的服务。

有关可创建的资源类型的概述，请参见第 6.3.3 节 “资源类型”。

1.3.1 从文件装载群集资源 #[url=][/url]
3 O/ L; r3 W; |' T) E- [2 g
# Z5 ~6 ?! w! a1 k

可从本地文件或网络 URL 装载部分或全部配置。可定义三种不同方法：

replace

此选项会将当前配置替换为新的源配置。

update

此选项会尝试导入源配置。它会向当前配置添加新项目或更新现有项目。

push

此选项会将内容从来源导入到当前配置中（与 update 相同）。不过，它会去除在新配置中不可用的对象。

: k8 c- J8 g. v

要从文件 mycluster-config.txt 装载新配置，请使用以下语法：

root # crm configure load push mycluster-config.txtCOPY

3 c3 {! ~7 V( J; o
8 O1 L2 }6 D, N% S1.3.2 创建群集资源 #[url=][/url]
3 j0 E: y2 C8 }
6 |4 l, @6 g* B* r# {

有三种 RA（资源代理）类型可用于群集（有关背景信息，请参见第 6.3.2 节 “支持的资源代理类”）。要将新资源添加到群集，请按如下操作：

• 以 root 用户身份登录，然后启动 crm 工具：
  root # crm configureCOPY
• 配置原始 IP 地址：
  crm(live)configure# primitive myIP ocf:heartbeat:IPaddr \     params ip=127.0.0.99 op monitor interval=60sCOPY
  
  
  上一命令配置了名称为 myIP 的“原始资源”。需要选择一个类（此处为 ocf）、提供程序 (heartbeat) 和类型 (IPaddr)。此外，此原始资源还需要其他参数，如 IP 地址。根据设置更改地址。
• 显示您所做的更改并进行复查：
  crm(live)configure# showCOPY
• 提交更改使其生效：
  crm(live)configure# commitCOPY
  
  ( [! Z2 J7 |3 c

4 k+ g8 n+ s- ?

1.3.3 创建资源模板 #[url=][/url]
: ]& ]: L% @4 D2 I* a, w
' V; k# g) @1 V1 x' F) v4 {' l

如果希望使用类似的配置创建多个资源，则资源模板可以简化此项任务。有关一些基本背景信息，另请参见第 6.5.3 节 “资源模板和约束”。不要将它们与第 8.1.6 节 “使用配置模板”中的“常规”模板相混淆。使用 rsc_template 命令可以熟悉其语法：

root # crm configure rsc_templateusage: rsc_template <name> [<class>:[<provider>:]]<type>        [params <param>=<value> [<param>=<value>...]]        [meta <attribute>=<value> [<attribute>=<value>...]]        [utilization <attribute>=<value> [<attribute>=<value>...]]        [operations id_spec            [op op_type [<attribute>=<value>...] ...]]COPY

例如，以下命令将会根据 ocf:heartbeat:Xen 资源和一些默认值及操作新建一个名称为 BigVM 的资源模板：

crm(live)configure# rsc_template BigVM ocf:heartbeat:Xen \   params allow_mem_management="true" \   op monitor timeout=60s interval=15s \   op stop timeout=10m \   op start timeout=10mCOPY

4 n5 p# Z; U. l

定义了新的资源模板后，可以将其用作原始资源或在顺序、共置或 rsc_ticket 约束中引用。要引用资源模板，请使用 @ 符号：

crm(live)configure# primitive MyVM1 @BigVM \   params xmfile="/etc/xen/shared-vm/MyVM1" name="MyVM1"COPY

/ ?9 d. Y+ L! {. N3 B" @$ I8 a

新的原始资源 MyVM1 将继承 BigVM 资源模板中的所有配置。例如，上述两者的等效配置有：

crm(live)configure# primitive MyVM1 ocf:heartbeat:Xen \   params xmfile="/etc/xen/shared-vm/MyVM1" name="MyVM1" \   params allow_mem_management="true" \   op monitor timeout=60s interval=15s \   op stop timeout=10m \   op start timeout=10mCOPY

如果希望重写一些选项或操作，只需将它们添加到您的（原始）定义中。例如，下面这个新的原始资源 MyVM2 会让监视操作的超时增加一倍，而其他值保持不变：

crm(live)configure# primitive MyVM2 @BigVM \   params xmfile="/etc/xen/shared-vm/MyVM2" name="MyVM2" \   op monitor timeout=120s interval=30sCOPY

$ T  T4 D% v) k8 t; Z

资源模板可以在约束中引用，以表示所有原始资源都派生自该模板。这有助于生成更加清晰明了的群集配置。除了位置约束外，允许在所有约束中进行资源模板引用。共置约束不能包含多次模板引用。

: c) ~9 c$ u0 }, |+ a1.3.4 创建 STONITH 资源 #[url=][/url]
$ Z2 C  M* w; ?  N
- D# |8 h- g& O5 y4 O

就 crm 而言，STONITH 设备只是另一种资源。要创建 STONITH 资源，请执行以下操作：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 使用以下命令获取所有 STONITH 类型的列表：
  crm(live)# ra list stonithapcmaster                  apcmastersnmp              apcsmartbaytech                    bladehpi                   cycladesdrac3                      external/drac5             external/dracmc-telnetexternal/hetzner           external/hmchttp           external/ibmrsaexternal/ibmrsa-telnet     external/ipmi              external/ippower9258external/kdumpcheck        external/libvirt           external/nutexternal/rackpdu           external/riloe             external/sbdexternal/vcenter           external/vmware            external/xen0external/xen0-ha           fence_legacy               ibmhmcipmilan                    meatware                   nw_rpc100srcd_serial                 rps10                      suicidewti_mpc                    wti_npsCOPY
• 从以上列表中选择 STONITH 类型并查看可用的选项列表。使用以下命令：
  crm(live)# ra info stonith:external/ipmiIPMI STONITH external device (stonith:external/ipmi)ipmitool based power management. Apparently, the power offmethod of ipmitool is intercepted by ACPI which then makesa regular shutdown. If case of a split brain on a two-nodeit may happen that no node survives. For two-node clustersuse only the reset method.Parameters (* denotes required, [] the default):hostname (string): Hostname    The name of the host to be managed by this STONITH device....COPY
• 使用 stonith 类（您在步骤 3 中选择的类型）和相应的参数（如果需要）创建 STONITH 资源，例如：
  crm(live)# configurecrm(live)configure# primitive my-stonith stonith:external/ipmi \    params hostname="alice" \    ipaddr="192.168.1.221" \    userid="admin" passwd="secret" \    op monitor interval=60m timeout=120sCOPY
  
  

1.3.5 配置资源约束 #[url=][/url]
$ f7 Z' [7 o  y& C3 ^  l- [
8 l4 e! d! s" U: D* s- R

配置所有资源只是任务的一部分。即使群集了解所有需要的资源，它仍然不能正确处理它们。例如，尽量不要在 DRBD 的从属节点上装入文件系统（事实上，这将导致 DRBD 出现故障）。定义约束以使这些信息可用于群集。

有关约束的更多信息，请参见第 6.5 节 “资源约束”。

1.3.5.1 位置约束 #[url=][/url]
' ~8 U+ V8 _" F, o% w9 |
" |5 X) }. x9 i* \# x
6 f& ^6 f6 ~* F! l# P( J

location 命令定义资源可以、不可以或首选在哪些节点上运行。

每个资源可多次添加此类约束。对于给定资源，将评估所有 location 约束。下面是个简单的示例，它将首选在名为 alice 的节点上运行资源 fs1 的值设置为 100：

crm(live)configure# location loc-fs1 fs1 100: aliceCOPY

另一个示例是使用 pingd 的位置：

crm(live)configure# primitive pingd pingd \    params name=pingd dampen=5s multiplier=100 host_list="r1 r2"crm(live)configure# location loc-node_pref internal_www \    rule 50: #uname eq alice \    rule pingd: defined pingdCOPY

位置约束的另一个用例是将基元资源分组为资源集。例如，如果多个资源依赖于 ping 属性来进行网络连接，则此功能会十分有用。以前，需要在配置中复制 -inf/ping 规则数次，因此不必要地增加了复杂性。

以下示例将创建资源集 loc-alice，该资源集引用虚拟 IP 地址 vip1 和 vip2：

crm(live)configure# primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.5crm(live)configure# primitive vip2 ocf:heartbeat:IPaddr2 params ip=192.168.1.6crm(live)configure# location loc-alice { vip1 vip2 } inf: aliceCOPY

在某些情况下，为 location 命令使用资源模式会有效且方便得多。资源模式是用两个斜杠括起的正则表达式。例如，可以使用以下命令全部匹配上述虚拟 IP 地址：

crm(live)configure# location  loc-alice /vip.*/ inf: aliceCOPY

1.3.5.2 共置约束 #[url=][/url]


0 X; z3 O3 `: P4 _9 K+ w3 ^: Y

colocation 命令用于定义哪些资源应在相同主机上运行，哪些资源应在不同主机上运行。

只能设置 +inf 或 -inf 的分数，定义必须始终或不得在相同节点上运行的资源。还可以使用有限分数。在这种情况下，共置将称为建议，群集可决定不遵循它们，从而在出现冲突时不停止其他资源。

例如，要始终在同一个主机上运行 ID 为 filesystem_resource 和 nfs_group 的两个资源，可使用以下约束：

crm(live)configure# colocation nfs_on_filesystem inf: nfs_group filesystem_resourceCOPY

对于主从属配置，除在本地运行资源以外，还有必要了解当前节点是否为主节点。

& s! m. T' c! G1.3.5.3 共置没有依赖性的资源集 #[url=][/url]
0 S  N. F8 Q4 I# k* [" W

有时，将一组资源放置在同一个节点上（定义共置约束）会很有用，但前提是这些资源之间不存在硬依赖性。

如果您想要将多个资源放置在同一个节点上，但不想疲于应对每一个资源的故障，那么，您可以使用命令 weak-bond。

root # crm configure assist weak-bond RES1 RES2COPY

weak-bond 的实施将使用给定的资源自动创建虚设资源和共置约束。

; U8 w" m8 X. @  F' R: n0 j1.3.5.4 顺序约束 #[url=][/url]
+ h2 [8 B6 {3 \/ @
, V* I5 @% g9 T! c# s

order 命令定义操作顺序。

有时必需提供资源操作顺序。例如，在设备可用于系统之前，您不能装入文件系统。使用顺序约束可在另一个资源满足某个特殊条件之前或之后启动或停止某项服务，如已启动、已停止或已升级到主资源。

在 crm 外壳中使用以下命令配置顺序约束：

crm(live)configure# order nfs_after_filesystem mandatory: filesystem_resource nfs_groupCOPY

$ a& o1 }, D% d6 X! z
1.3.5.5 示例配置约束 #[url=][/url]


8 |/ D. `" U, s3 g7 V

本节中使用的示例必须与其他约束结合使用。其中最基本的就是让所有资源与 DRBD 资源的主资源在同一台计算机上运行。在启动其他资源前，DRBD 资源必须是主资源。在 DRBD 设备不是主资源时尝试装入 DRBD 只会失败。必须实现以下约束：

• 文件系统必须始终与 DRBD 资源的主资源位于同一节点上。
  crm(live)configure# colocation filesystem_on_master inf: \    filesystem_resource drbd_resource:MasterCOPY
• NFS 服务器及 IP 地址必须与文件系统位于相同的节点上。
  crm(live)configure# colocation nfs_with_fs inf: \   nfs_group filesystem_resourceCOPY
• NFS 服务器及 IP 地址在装入文件系统后启动：
  crm(live)configure# order nfs_second mandatory: \   filesystem_resource:start nfs_groupCOPY
• 必须在 DRBD 资源提升为节点上的主资源后才能在此节点上装入文件系统。
  crm(live)configure# order drbd_first inf: \    drbd_resource:promote filesystem_resource:startCOPY
  
  

: w* T- J+ f+ u2 [

2 E( i4 I: A1 G1 h; |5 Z1.3.6 指定资源故障转移节点 #[url=][/url]


9 M, S' n, N- l( e8 M. c  J  a

要确定资源故障转移，可使用元属性 migration-threshold。如果所有节点上的故障计数超过 migration-threshold，资源将处于停止状态。例如：

crm(live)configure# location rsc1-alice rsc1 100: aliceCOPY

- P; l( d  H" ~

通常，rsc1 首选在 alice 上运行。如果失败，将检查 migration-threshold 并与将它与故障计数进行比较。如果故障计数 >= migration-threshold，则会将该资源迁移到具有下一个最佳自选设置的节点。

根据 start-failure-is-fatal 选项，启动失败会将失败计数设置为 inf。停止故障可导致屏蔽。如果未定义 STONITH，将不会迁移资源。

有关概述，请参见第 6.5.4 节 “故障转移节点”。

1.3.7 指定资源故障回复节点（资源粘性） #[url=][/url]
! @1 p" E: I/ \# v3 e) o
7 ]7 p! V, [; W
; I1 n9 a# e, ]8 C) @

当原始节点恢复联机并位于群集中时，资源可能会故障回复到该节点。为防止资源故障回复到之前运行它的节点，或者要指定让该资源故障回复到其他节点，请更改其资源粘性值。可以在创建资源时或之后指定资源粘性。

有关概述，请参见第 6.5.5 节 “故障回复节点”。

% {2 N8 [! C! f. h& W9 O7 u5 r1.3.8 根据负载影响配置资源放置 #[url=][/url]
2 T. J! ^% V$ b+ g3 u% W

4 f/ k' G& M6 E6 c% T( V- K$ j

某些资源可能具有特定的容量要求，如最低内存量。如果无法满足要求，资源可能无法完全启动或运行时性能下降。

要考虑此情况，可使用 High Availability Extension 指定以下参数：

• 特定节点提供的容量。
• 特定资源需要的容量。
• 资源放置整体策略。
  
  ' f; h" d* o6 w7 ^& I2 y& m9 [; F4 B

6 W/ d: C! D) A+ w5 e

有关参数的详细背景信息和配置示例，请参见第 6.5.6 节 “根据资源负载影响放置资源”。

要配置资源要求和节点提供的容量，请使用利用率属性。可根据个人喜好命名利用率属性，并根据配置需要定义多个名称/值对。在某些情况下，某些代理（例如 VirtualDomain）将自行更新利用率。

在下例中，我们假定您已有群集节点和资源的基本配置，现在想要配置特定节点提供的容量以及特定资源需要的容量。

过程 1.1︰ 使用 crm 添加或修改利用率属性 #[url=][/url]

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 要指定节点提供的容量，请使用以下命令并将占位符 NODE_1 替换为节点名称：
  crm(live)configure# node NODE_1 utilization memory=16384 cpu=8COPY
  
    p0 C: Z% K* q0 T
  上例中的这些值将假定 NODE_1 向资源提供 16 GB 内存和 8 个 CPU 核心。
• 要指定资源需要的容量，请使用：
  crm(live)configure# primitive xen1 ocf:heartbeat:Xen ... \     utilization memory=4096 cpu=4COPY
  
  , _7 g0 Q& Y' ]3 W$ l6 G
  这会使资源消耗 NODE_1 的 4096 个内存单元以及 4 个 CPU 单元。
• 使用 property 命令配置放置策略：
  crm(live)configure# property ...COPY
  
  ; m' p7 ?8 L0 N
  可用值如下：
  default（默认值）
  不考虑利用率值。根据位置得分分配资源。如果分数相等，资源将均匀分布在节点中。
  utilization
  在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。但仍会根据分配给节点的资源数执行负载平衡。
  minimal
  在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。尝试将资源集中到尽可能少的节点上（以节省其余节点上的能耗）。
  balanced
  在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。尝试均匀分布资源，从而优化资源性能。
  
  4 P' _% ]6 K5 f1 ?注意：配置资源优先级
  可用的放置策略是最佳方法 - 它们不使用复杂的启发式解析程序即可始终实现最佳分配结果。确保正确设置资源优先级，以便首选调度最重要的资源。
• 退出 crmsh 之前提交更改：
  crm(live)configure# commitCOPY
  
    a: z. J6 b( L: |3 ]

, n6 ^$ U; h- b9 f: l
' u7 C" Z& o; p# U+ ]. n, N

以下示例演示了配有四台虚拟机、节点数相等的三节点群集：

crm(live)configure# node alice utilization memory="4000"crm(live)configure# node bob utilization memory="4000"crm(live)configure# node charlie utilization memory="4000"crm(live)configure# primitive xenA ocf:heartbeat:Xen \    utilization hv_memory="3500" meta priority="10" \    params xmfile="/etc/xen/shared-vm/vm1"crm(live)configure# primitive xenB ocf:heartbeat:Xen \    utilization hv_memory="2000" meta priority="1" \    params xmfile="/etc/xen/shared-vm/vm2"crm(live)configure# primitive xenC ocf:heartbeat:Xen \    utilization hv_memory="2000" meta priority="1" \    params xmfile="/etc/xen/shared-vm/vm3"crm(live)configure# primitive xenD ocf:heartbeat:Xen \    utilization hv_memory="1000" meta priority="5" \    params xmfile="/etc/xen/shared-vm/vm4"crm(live)configure# property placement-strategy="minimal"COPY

/ X9 U; b/ `; s6 Q9 o

如果三个节点都处于正常状态，那么 xenA 将首先放置到一个节点上，然后是 xenD。xenB 和 xenC 将分配在一起或者其中一个与 xenD 分配在一起。

如果一个节点出现故障，可用的总内存将不足以托管所有资源。将确保分配 xenA，xenD 也同样如此。但是，只能再分配 xenB 和 xenC 中的一个，由于它们的优先级相同，结果不确定。要解决这种不确定性，需要为其中一个资源设置更高的优先级。

- f4 Y+ h' z  F; \) P: _! j1.3.9 配置资源监视 #[url=][/url]
/ A* Y* \9 J8 r
; L" W1 G1 U' m  h& |
1 _$ i, D* T& @

要监视资源，有两种可能性：使用 op 关键字或 monitor 命令定义监视操作。以下示例使用 op 关键字配置 Apache 资源并且每 60 分钟监视一次：

crm(live)configure# primitive apache apache \  params ... \  op monitor interval=60s timeout=30sCOPY

同样也可以使用以下方式来实现：

crm(live)configure# primitive apache apache \   params ...crm(live)configure# monitor apache 60s:30sCOPY

" a7 ^1 i0 p. o

有关概述，请参见第 6.4 节 “资源监视”。

9 q! w: D9 U3 _1.3.10 配置群集资源组 #[url=][/url]

' l  O  y5 [- e9 y( e0 _
8 c# R  K3 M% v, O% L6 o! L

群集的一个最常见元素是需要放置在一起的一组资源。按顺序启动，并按相反顺序停止。为了简化此配置，我们支持组的概念。以下示例创建了两个原始资源（一个 IP 地址和一个电子邮件资源）：

• 以系统管理员的身份运行 crm 命令。提示符更改为 crm(live)。
• 配置这两个原始资源：
  crm(live)# configurecrm(live)configure# primitive Public-IP ocf:heartbeat:IPaddr \   params ip=1.2.3.4 id= Public-IPcrm(live)configure# primitive Email systemd:postfix \   params id=EmailCOPY
• 以正确顺序按其相关标识符对原始资源进行分组：
  crm(live)configure# group g-mailsvc Public-IP EmailCOPY
  
  

; E0 v2 k, D0 Y/ I1 n1 I( r
4 v% P, a' i$ s" M! S/ j3 r/ k% b

要更改组成员的顺序，请使用 configure 子命令中的 modgroup 命令。使用以下命令可将原来的 Email 移到 Public-IP 前面。（只供展示功能之用）：

crm(live)configure# modgroup g-mailsvc add Email before Public-IPCOPY

如果您要从某个组去除资源（例如 Email），则使用以下命令：

crm(live)configure# modgroup g-mailsvc remove EmailCOPY

( f& `) u2 q- K9 u

有关概述，请参见第 6.3.5.1 节 “组”。

1.3.11 配置克隆资源 #[url=][/url]


- k1 V" ~0 [$ \' H

最初将克隆构想成便于启动一个 IP 地址的 N 个实例并使它们分布在群集各处以保持负载平衡的一种方法。事实证明，它们可用于多种用途，包括与 DLM 集成、屏蔽子系统和 OCFS2。您可以克隆资源代理支持的任何资源。

要了解有关克隆资源的更多信息，请参见第 6.3.5.2 节 “克隆资源”。

1.3.11.1 创建匿名克隆资源 #[url=][/url]

要创建匿名克隆资源，首先要创建一个原始资源，然后使用 clone 命令来引用它。执行下列操作：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 配置原始资源，例如：
  crm(live)configure# primitive Apache ocf:heartbeat:apacheCOPY
• 克隆原始资源：
  crm(live)configure# clone cl-apache ApacheCOPY
  
  8 ?* c5 R% Q- n3 y

4 Y( F3 x1 \; V4 K% U
  G! A, \! r: S( E; Y' \
1.3.11.2 创建可升级克隆资源 #[url=][/url]
- Q9 X3 j6 [( D7 Q* g
) e1 H9 n6 X  ~' m. e! D( R
& \/ S% S$ N8 c; V& U# V2 q% O

可升级克隆资源（以前称为多状态资源）是一种特殊的克隆。此类型允许实例处于两种运行模式中的其中一种，可以是主动/被动、主要/次要或主/从模式。

要创建可升级克隆资源，首先要创建一个原始资源，然后再创建可升级克隆资源。可升级克隆资源必须至少支持升级和降级操作。

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 配置原始资源。必要时更改时间间隔：
  crm(live)configure# primitive my-rsc ocf:myCorp:myAppl \    op monitor interval=60 \    op monitor interval=61 role=MasterCOPY
• 创建可升级克隆资源：
  crm(live)configure# ms ms-rsc my-rscCOPY
  
  , [7 B% y) U& S  R4 f7 A8 [; T. D

2 ?" z% h4 d/ H0 o

- L2 s8 f8 }) n+ q- u
1.4 管理群集资源 #[url=][/url]

' Y  |/ M; N2 y0 ~( y
1 G1 R: o% a* q3 }

除可用于配置群集资源外，crm 工具还可用于管理现有资源。以下小节进行了概述。

1.4.1 显示群集资源 #[url=][/url]

当管理群集时，crm configure show 命令会列出诸如群集配置、全局选项、原始资源及其他的当前 CIB 对象：

root # crm configure shownode 178326192: alicenode 178326448: bobprimitive admin_addr IPaddr2 \        params ip=192.168.2.1 \        op monitor interval=10 timeout=20primitive stonith-sbd stonith:external/sbd \        params pcmk_delay_max=30property cib-bootstrap-options: \        have-watchdog=true \        dc-version=1.1.15-17.1-e174ec8 \        cluster-infrastructure=corosync \        cluster-name=hacluster \        stonith-enabled=true \        placement-strategy=balanced \        standby-mode=truersc_defaults rsc-options: \        resource-stickiness=1 \        migration-threshold=3op_defaults op-options: \        timeout=600 \        record-pending=trueCOPY

- f7 [$ ~! H) s2 G: j, w0 S5 ]

如果您有许多资源，show 的输出会十分冗长。为限制输出，请使用资源名称。例如，如果只想列出原始资源 admin_addr 的属性，请将资源名称追加到 show 后：

root # crm configure show admin_addrprimitive admin_addr IPaddr2 \        params ip=192.168.2.1 \        op monitor interval=10 timeout=20COPY

: y& L: H, T8 S0 `4 ^

但在某些情况下，您可能希望更精确地限制特定资源的输出。那么，您可以使用过滤器。过滤器可将输出限定到特定组件。例如，要想仅列出节点，可使用 type:node：

root # crm configure show type:nodenode 178326192: alicenode 178326448: bobCOPY

如果您还对原始资源感兴趣，请使用 or 运算符：

root # crm configure show type:node or type:primitivenode 178326192: alicenode 178326448: bobprimitive admin_addr IPaddr2 \        params ip=192.168.2.1 \        op monitor interval=10 timeout=20primitive stonith-sbd stonith:external/sbd \        params pcmk_delay_max=30COPY

此外，要搜索以特定字符串开头的对象，请使用以下表示法：

root # crm configure show type:primitive and and 'admin*'primitive admin_addr IPaddr2 \        params ip=192.168.2.1 \        op monitor interval=10 timeout=20COPY

( O) R' Y  \( W$ X0 i

要列出所有可用类型，请输入 crm configure show type: 并按 →| 键。Bash 补全会为您提供所有类型的列表。

1.4.2 启动新的群集资源 #[url=][/url]
$ E. ^4 R; `+ s; {& }

$ |4 Q% Q( h6 P

要启动新的群集资源，您需要相应的标识符。按如下所示继续：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crmCOPY
• 切换到资源级别：
  crm(live)# resourceCOPY
• 使用 start 启动资源，然后按 →| 键显示所有已知资源：
  crm(live)resource# start IDCOPY
  
  8 O& d  }) H3 ^" O9 F

! ~, L2 d7 S; w; r0 S6 m/ A7 i
+ E0 H8 v* I8 b3 C( i1.4.3 清理资源 #[url=][/url]
9 j3 M' k0 d; |" Q

如果资源失败，它会自动重启动，但每次失败都会增加资源的失败计数。如果为资源设置了 migration-threshold，当故障计数达到该迁移阈值时，将不再允许节点运行该资源。

• 打开外壳并以 root 用户身份登录。
• 获取所有资源的列表。
  root # crm resource list  ...Resource Group: dlm-clvm:1         dlm:1  (ocf:pacemaker:controld) Started         clvm:1 (ocf:heartbeat:clvm) StartedCOPY
• 例如，要清理资源 dlm，请执行以下操作：
  root # crm resource cleanup dlmCOPY
  
  % o5 c( d) g. `8 R5 e3 t; N! H

0 g5 ]2 X$ f( _7 e* _* S# I" O& B6 @6 j
7 r8 ^; ^3 z  z: U6 B& j
1.4.4 删除群集资源 #[url=][/url]
/ h; L: Q  q" u
; A- B4 x# M1 Y# q7 N4 \5 t
* i: A5 M: C' O; l% D0 c

请按如下操作以删除群集资源：

• 以 root 用户身份登录，然后启动 crm 交互式外壳：
  root # crm configureCOPY
• 运行以下命令来获取您的资源列表：
  crm(live)# resource statusCOPY
  
  5 Z  o/ _4 w$ o& O9 p
  例如，输出可能类似于以下内容（其中 myIP 是资源的相关标识符）：
  myIP    (ocf:IPaddr:heartbeat) ...COPY
• 删除具有相关标识符的资源（也暗指 commit）：
  crm(live)# configure delete YOUR_IDCOPY
• 提交更改：
  crm(live)# configure commitCOPY
  
  

' b" r$ u# `* l0 a7 R' @% L
8 O; t# t, N1 [6 v
' v2 g, [7 o( f/ o5 i- j) l1.4.5 迁移群集资源 #[url=][/url]

9 \( L, Q% `% e: ~3 ~, b
; W* q9 ]" L8 [6 v+ P& O

虽然资源已配置为在发生硬件或软件故障时自动故障转移（或迁移）到群集的其他节点，但您也可以使用 Hawk2 或命令行将资源手动迁移到其他节点。

对此任务使用 migrate 命令。例如，要将 ipaddress1 资源迁移到名为 bob 的群集节点，请使用以下命令：

root # crm resourcecrm(live)resource# migrate ipaddress1 bobCOPY

7 Q1 S! f( i/ @. R" z  u
1.4.6 分组/标记资源 #[url=][/url]
9 J+ Z: ]/ s. [' H+ q; s3 m  ?4 S2 X0 F0 q

使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。此功能十分适用于对概念上相关的资源进行分组。例如，如果有多个资源与某个数据库相关，您可以创建一个名为 databases 的标记，并将与该数据库相关的所有资源都添加到此标记：

root # crm configure tag databases: db1 db2 db3COPY

这样，只需使用一条命令就能启动所有这些资源：

root # crm resource start databasesCOPY

同样，也可以一次性停止所有这些资源：

root # crm resource stop databasesCOPY

3 G% O/ [, L+ y% Q8 d1.4.7 获取运行状态 #[url=][/url]
0 Y( [& ]/ ^6 E6 K4 q1 a% @
4 h+ c7 e  s* ~# y* k7 ^1 S

可以使用所谓的脚本来显示群集或节点的“运行”状态。脚本可以执行不同的任务，并不局限于显示运行状态。不过，本节重点介绍如何获取运行状态。

要获取有关 health 命令的所有细节，请使用 describe：

root # crm script describe healthCOPY

该命令将显示所有参数及其默认值的说明和列表。要执行脚本，请使用 run：

root # crm script run healthCOPY

如果您希望只运行整套命令中的一个步骤，可以使用 describe 命令列出步骤类别中的所有可用步骤。

例如，以下命令将执行 health 命令的第一个步骤。将在 health.json 文件中储存输出以供做进一步调查：

root # crm script run health    statefile='health.json'COPY

- [" g, N, P  e" b2 B# I' u

您也可以使用 crm cluster health 运行以上命令。

有关脚本的更多信息，请参见 http://crmsh.github.io/scripts/。

9 Y3 _2 Q+ K2 K! o) I) p7 I1.5 设置独立于 cib.xml 的密码 #[url=][/url]
- K& n* ~5 P- N  H2 U

如果群集配置包含密码之类的敏感信息，应将其储存在本地文件中。这样的话，这些参数将永远不会记录到或导入支持报告中。

使用 secret 前，最好先运行 show 命令了解一下所有资源的概况：

root # crm configure showprimitive mydb ocf:heartbeat:mysql \   params replication_user=admin ...COPY

* H7 I' R! \0 I  f1 v% n- _

要为上面的 mydb 资源设置口令，请使用以下命令：

root # crm resource secret mydb set passwd linuxINFO: syncing /var/lib/heartbeat/lrm/secrets/mydb/passwd to [your node list]COPY

) t' X( Q% F+ K' Z4 Y

使用以下命令可以取回保存的密码：

root # crm resource secret mydb show passwdlinuxCOPY

( b/ F' o0 U% i/ ^$ {

请注意，节点之间需要同步参数，使用 crm resource secret 命令可以帮助您处理好同步问题。强烈建议仅使用此命令管理机密参数。

( h' y1 G5 v! p9 B1.6 检索历史记录信息 #[url=][/url]
# Q: ^' J: f; V$ O& ]# S9 F0 z6 w7 s

* }, I+ B! k* g

调查群集的历史记录是一项复杂的任务。为简化此任务，crmsh 包含了 history 命令及其子命令。假定已正确配置 SSH。

每个群集都会移动状态、迁移资源或启动重要进程。这些操作均可通过 history 子命令进行检索。

默认情况下，所有 history 命令会查看最近一小时的事件。要更改此时间段，请使用 limit 子命令。语法为：

root # crm historycrm(live)history# limit FROM_TIME [TO_TIME]COPY

有效示例如下所示：

limit4:00pm , limit16:00

上述两个命令表达同一个意思：今天下午 4 点。

limit2012/01/12 6pm

2012 年 1 月 12 日下午 6 点

limit"Sun 5 20:46"

当年当月 5 日（星期日）晚上 8:46

要查找更多示例以及如何创建时间段的信息，请访问 http://labix.org/python-dateutil。

info 子命令显示 crm report 涵盖的所有参数：

crm(live)history# infoSource: livePeriod: 2012-01-12 14:10:56 - endNodes: aliceGroups: Resources:COPY

0 O! h  [. S8 B! d* r1 w, `

要将 crm report 限制为使用特定参数，请使用 help 子命令查看可用的选项。

要降低细节级别，请使用 detail 子命令及级别：

crm(live)history# detail 1COPY

级别数字越高，报告就越详细。默认值为 0（零）。

设置上述参数后，使用 log 显示日志消息。

要显示上次转换操作，请使用以下命令：

crm(live)history# transition -1INFO: fetching new logs, please wait ...COPY

此命令会提取日志并运行 dotty（从 graphviz 包）以显示转换图。外壳会打开日志文件，您在其中可以使用 ↓ 和 ↑ 光标键浏览内容。

如果希望不要打开转换图，请使用 nograph 选项：

crm(live)history# transition -1 nograph

/ H) G9 v8 s0 m4 E" a) Z
1 e0 ~& z, a6 T

admin

CRM shell / text based
3 Q' x1 u+ L1 c$ KThe crm shell provides an "edit" function which will invoke the editor (default VI) with the current cib and allow for modification of any values inside the cib and once saved, will apply to the live cluster configuration.  This will trigger a one time probe of the modified resource to pick up any changes that were made to the primitive.
, I5 T5 z( R- u( r# crm configure edit
You may choose to edit the entire cib (all objects) or a set of objects.  To bring up a single primitive in the editor, use the following command.  
  h' S2 W1 x. C+ d3 c# s2 z8 b% h# crm configure edit <primitive name>
5 u5 b+ l  P$ m; L: C! IYou may also choose to edit the xml version of the cib.
% H, |& P2 z! S" I/ \# crm configure edit xml
As you save your edits,  crm shell will run a quick syntax check (crm configure verify)  and prompt if it detects any errors and allow you to make edits before committing.  
& f3 X4 x: _6 Z" N; SAdditional Information
( Q, Y* m) M& HA quick text backup can be taken of your cluster configuration using the following command.
/ ?$ g+ x' b7 N. V' d3 x6 R# crm configure show > /root/cib_backup.txt
. q% g% ]7 ~) r9 ]) w' ?To restore a cib from a backup file previously created.
/ L  k, u: j4 v2 l, U' E* I# crm configure load replace /root/cib_backup.txt

admin

8.1 crmsh - 概述 #
  @8 {3 q" h- h( P3 W1 @# wcrm 命令有多个子命令，这些子命令用于管理资源、CIB、节点和资源代理等。它提供了全面的帮助系统，并嵌入了示例。所有示例都遵循附录 B 中所述的命名约定。

" X0 J4 T& C) e7 r# i+ S! y. {提示提示：交互式 crm 提示符
7 A; W' M* A. C) C5 J使用不带自变量（或只带一个 sublevel 自变量）的 crm，crm 外壳将进入交互式模式。此模式由以下提示符指示：

COPY
为了容易阅读，我们的文档在交互式 crm 提示符中省略了主机名。仅当您需要在特定的节点（如 alice）上运行交互式外壳时，才包含主机名，例如：

COPY
8.1.1 获得帮助 #
, i; c* K, o7 @0 r/ b0 D/ P可通过以下方式之一访问帮助：
+ q+ p/ Z. W' y) J, T
1 r& n7 P  H' m$ B/ p1 x2 H9 Q7 T输出 crm 及其命令行选项的用法：
( W0 \- s" m. w
crm --help
, l# N# \: M. o7 ]/ y! k' QCOPY
& x4 K6 o5 ]2 e3 O5 B, R+ Y列出所有可用的命令：
. G% ?  G9 F4 W! P( D
- M  ~( }/ v6 O" R/ a. p+ Q4 R2 qcrm help
COPY
, l  d5 @' ^  G访问其他帮助部分，而不只是命令参考：

2 R' r7 q3 n* E* K% scrm help topics
- m: @0 n8 X; b2 ECOPY
查看 configure 子命令的完整帮助文本：

9 \- @- f' `1 A8 S( G; P9 [) Bcrm configure help
COPY
) U- ?" s  l7 K要列显 configure 的 group 子命令的语法、用法及示例：

- A. C6 m; ?& Z: q' G0 rcrm configure help group
COPY
4 g- o# U3 D" Z3 h7 n以下命令的作用相同：

8 W$ Y3 r3 r! I2 D9 E% Pcrm help configure group
, B- c8 F; \" j& Z& ZCOPY
7 }0 v7 R) O% I, h- m! h: t3 V; R几乎所有 help 子命令（请不要与 --help 选项混淆）的输出都会打开文本编辑器。此文本编辑器允许您向上/向下滚动，以便更加方便地阅读帮助文本。要退出文本编辑器，请按 Q 键。
; G3 k6 g9 U8 L8 [! g: h- Q
+ C- ]9 ^. p1 A9 h提示提示：在 Bash 和交互式外壳中使用 Tab 键补全
) R. u' k8 s2 _, T/ f3 K3 ^crmsh 不仅为交互式外壳提供 Tab 键补全，还全面支持在 Bash 中直接使用此功能。例如，键入 crm help config→| 会补全文字（就像在交互式外壳中一样）。
. r- o# s, C+ X- O4 f3 |) p
8.1.2 执行 crmsh 的子命令 #
# o* c4 p3 N- c7 j7 u& Ecrm 命令本身可按以下方式使用：
5 y" D; u, K- Z4 Y1 \
直接：：  将所有子命令连接到 crm 中，按 Enter，您将立即看到输出。例如，输入 crm help ra 可获取有关 ra 子命令（资源代理）的信息。
5 U( L" ?! `' n$ ^7 x( w' f2 t
可以缩写子命令，只要缩写后的子命令是唯一的即可。例如，可以将 status 缩写为 st，crmsh 可以识别该缩写。

# y' D; V3 v6 F! m9 L另一项功能是缩写参数。通常，您是通过 params 关键字添加参数的。如果 params 部分是第一个且是唯一存在的部分，则您可以省略它。例如，下面一行：
2 L; i! V8 O) K+ J. t) k
crm primitive ipaddr ocf:heartbeat:IPaddr2 params ip=192.168.0.55
COPY
相当于下行：
5 Y( F5 a, B; E, A2 I1 K) s, o, P
crm primitive ipaddr ocf:heartbeat:IPaddr2 ip=192.168.0.55
COPY
% s2 W' j* _0 P9 R. i作为 crm 外壳脚本:  Crm 外壳脚本包含 crm 的子命令。有关详细信息，请参见第 8.1.4 节 “使用 crmsh 的外壳脚本”。

作为 crmsh 群集脚本：： 此类脚本是元数据、对 RPM 包的参照、配置文件及多个 crmsh 子命令捆绑在一起并以单个描述性名称命名的集合。可以通过 crm script 命令管理这些内容。

0 w5 z  ?% S5 |9 P1 O$ f请不要将它们与 crmsh 外壳脚本相混淆：尽管两者具有一些共同的目标，但 crm 外壳脚本只包含子命令，而群集脚本所包含的远远不只是简单的命令枚举。有关详细信息，请参见第 8.1.5 节 “使用 crmsh 的群集脚本”。

作为内部外壳交互:  输入 crm 以进入内壳。提示更改为 crm(live)。使用 help 可获取可用子命令的概述。由于内壳具有不同级别的子命令，您可以键入一个子命令然后按 Enter“进入”相应的级别。

例如，如果输入 resource，则进入资源管理级别。提示符将更改为 crm(live)resource#。要退出内壳，可使用命令 quit、bye 或 exit。如果需要返回上一个级别，可使用 back、up、end 或 cd。
# ^* I4 b6 r" J/ O! E
9 }- f3 ^' h" H您可以键入 crm 和相应的子命令（不含任何选项）直接输入级别，然后按 Enter。
# f) a$ S1 g1 K. e; z! `0 }, p6 b
内壳还支持使用 Tab 键完成子命令和资源。输入命令的开头，按 →| 和 crm 完成相应对象。
$ Y1 P1 N$ V/ q% }; @- @
$ L% p( q- I3 o. {1 V( F除了前面说明的方法外，crmsh 还支持执行同步命令。使用 -w 选项可以激活该命令。如果已启动不带 -w 选项的 crm，则可以稍后通过将用户自选设置的 wait 设为 yes (options wait yes) 来启用它。如果此选项已启用，则 crm 将会等到事务完成为止。事务一经启用，就会打印出点以指示进度。同步命令执行仅适用于 resource start 之类的命令。

4 ^# V" W% K; W& _) w; _注意注意：管理和配置子命令之间的区别
) N5 }+ X3 l. U' |8 ncrm 工具有管理功能（子命令 resource 和 node），可用于配置（cib 和 configure）。
) I! V% m3 K9 o3 u( ]
以下小节概述了 crm 工具的一些重要方面。

8.1.3 显示有关 OCF 资源代理的信息 #
由于在群集配置中一直需要处理资源代理，crm 工具包含了 ra 命令。使用该命令可以显示有关资源代理的信息并对其进行管理（如需其他信息，另请参见第 6.3.2 节 “支持的资源代理类”）：

+ Z% Q# N7 f% m9 l9 }! S/ dcrm ra
0 G+ q4 h6 I  l, B( n# Z; K; _4 [COPY
, p* _* a0 ?% x% \9 q+ V( l% O命令 classes 可列出所有类和提供程序：

classes
lsb
1 C  @: C( R, Z, i; H ocf / heartbeat linbit lvm2 ocfs2 pacemaker
service
4 s4 Z. |3 L( V% v1 g# |& @, s) j stonith
3 f/ f# P) c6 m7 _; q* O' U systemd
COPY
" J( `2 o; r0 e7 Z; G要获取某个类（和提供程序）的所有可用资源的概述，可使用 list 命令：
; x. ~; y$ a* N8 Z* \% {7 H
: E6 z9 W# G# ^" ~list ocf
AoEtarget           AudibleAlarm        CTDB                ClusterMon
, |" Z3 Q$ |0 _; _1 FDelay               Dummy               EvmsSCC             Evmsd
. a+ E+ g  y# ?3 A- ?0 n) I% r: HFilesystem          HealthCPU           HealthSMART         ICP
IPaddr              IPaddr2             IPsrcaddr           IPv6addr
LVM                 LinuxSCSI           MailTo              ManageRAID
8 r. G3 P, T, D' MManageVE            Pure-FTPd           Raid1               Route
SAPDatabase         SAPInstance         SendArp             ServeRAID
...
COPY
- B6 D* f. F& V. n% L4 M/ [可使用 info 查看资源代理的概述：

info ocf:linbit:drbd
& b, A* _' ]) W: C6 s1 @This resource agent manages a DRBD* resource
, d. V: R% p0 k6 Das a master/slave resource. DRBD is a shared-nothing replicated storage
device. (ocf:linbit:drbd)

Master/Slave OCF Resource Agent for DRBD

2 ?9 E- ^! J1 S! VParameters (* denotes required, [] the default):
! V. W! Z/ ^5 j; \: J& v
drbd_resource* (string): drbd resource name
  _) d+ u# d8 t3 @8 }) j    The name of the drbd resource from the drbd.conf file.
5 _$ Y& h/ j2 H( r; ]4 v
2 c& r' J# B6 ?! W/ L, kdrbdconf (string, [/etc/drbd.conf]): Path to drbd.conf
- F$ L; ]3 H$ T6 n' @. b    Full path to the drbd.conf file.
, D3 p0 Y) H! H1 c
3 K5 w0 i3 I  b* ~% cOperations' defaults (advisory minimum):

    start         timeout=240
- L7 w- \3 Q* Z$ ?; _+ f6 G    promote       timeout=90
. q0 o7 c( m* o2 |+ P    demote        timeout=90
, G( g* z2 }/ U9 l3 m/ B; C9 s! _2 _    notify        timeout=90
    stop          timeout=100
    monitor_Slave_0 interval=20 timeout=20 start-delay=1m
7 F8 v, z% ?; U" e) G7 H    monitor_Master_0 interval=10 timeout=20 start-delay=1m
COPY
按 Q 退出查看器。
) J% h; d% f+ E2 {5 j! h9 Y, S
+ X, p5 u1 r& f' ]# d/ ]提示提示：直接使用 crm
. c* \# ~  O& H3 `6 s" `; M在之前的示例中，我们使用了 crm 命令的内壳。但是您不一定非要使用它。将相应子命令添加到 crm 中也可获得相同的结果。例如，在外壳中输入 crm ra list ocf 可以列出所有 OCF 资源代理。

8.1.4 使用 crmsh 的外壳脚本 #
+ @" m' S/ w# ]# r& `; JCrmsh 外壳脚本提供了将 crmsh 子命令枚举到文件中的便捷方式。如此，您便可轻松地注释特定行或稍后重新运行这些行。请注意，crmsh 外壳脚本只能包含 crmsh 子命令,不允许包含任何其他命令。
, }1 A! n. o7 R$ c* W" Y; S: [
6 y( i% h3 G2 J. _1 C0 m5 k/ u您需要先创建包含特定命令的文件，然后才能使用 crmsh 外壳脚本。例如，下面的文件会列显群集的状态并提供所有节点的列表：
  {# g3 V9 I% I2 ^1 ]2 j3 E! O
. _* L# O: m% R3 I1 Y例 8.1︰ 简单 CRMSH 外壳脚本 #
  ~) B+ I9 b- e, h/ k- s! K# A small example file with some crm subcommands
status
node list
' r# S: h; D( r# b$ Q% V0 aCOPY
以井字符号 (#) 开头的所有行都是注释，可忽略。如果行过长，可在结尾处插入反斜杠 (\)，然后在下一行继续。建议缩进属于特定子命令的行以便于阅读。
" Z9 ]" E8 B: C9 x5 t
; U$ m) c0 I4 t, X# M. x要使用此脚本，请使用以下其中一种方法：
- Z8 @6 P! Y) c' N
crm -f example.cli
crm < example.cli
COPY
  G+ \+ M( X/ @( s7 s( X8.1.5 使用 crmsh 的群集脚本 #
# e0 u+ M2 |( |: Q从所有群集节点收集信息并部署任何更改是一项关键的群集管理任务。您不必在不同的节点上手动执行相同的过程（这很容易出错），可以使用 crmsh 群集脚本来代替该过程。

) d7 F0 d8 L# b$ Y+ a请不要将它们与 crmsh 外壳脚本相混淆，第 8.1.4 节 “使用 crmsh 的外壳脚本”中对后者进行了介绍。

对比 crmsh 外壳脚本，群集脚本另外会执行如下任务：

( Q: Q0 v2 g0 M& o; N安装特定任务所需的软件。

/ d  m% T6 @7 S5 t8 r创建或修改任何配置文件。
/ C4 z2 k- U8 U2 J# V
' d" y" T. ?5 [& C; O收集信息并报告群集的潜在问题。
8 }, u2 M9 i5 V: u/ i
将更改部署到所有节点。
: o6 L* d2 j. \( W
crmsh 群集脚本并不能取代其他群集管理工具，它只是提供了一种集成的方式用于在群集中执行上述任务。有关详细信息，请参见http://crmsh.github.io/scripts/。

8.1.5.1 使用 #
要获取所有可用群集脚本的列表，请运行：
! h& k3 W' [" ^, G( y
& U2 b( Y, U( x3 t, u6 Acrm script list
COPY
1 V6 q, C" ?2 {. x/ N8 t要查看脚本的组成部分，请使用 show 命令和群集脚本的名称，例如：

* C7 A) x2 w$ U3 ~5 _2 o3 J  Ncrm script show mailto
0 h: U/ X! J) R1 Cmailto (Basic)
6 H( p3 H- y# R! ]9 dMailTo

$ {% l- f" w7 {1 k  f7 C, w This is a resource agent for MailTo. It sends email to a sysadmin
whenever  a takeover occurs.
& B! c1 p% [- l. K
1. Notifies recipients by email in the event of resource takeover

) Q# ^0 k+ ]0 ]- `; n4 o/ l# x  id (required)  (unique)
/ r* C! C$ Z4 d      Identifier for the cluster resource
( G$ n+ m* S3 a& o  email (required)
6 F  B" f: b/ B) D9 Y      Email address
  subject
; F8 i7 U5 _- f7 H4 V      Subject
COPY
show 的输出包含标题、简要说明和过程。每个过程分为一系列按给定顺序执行的步骤。

; X. |8 q. G! l, P7 z# ^每个步骤都包含一份必要参数与可选参数及其简要说明和默认值的列表。

2 P+ b6 _8 j: `每个群集脚本都可识别一组通用参数。这些参数可传递给任何脚本：

) J9 F7 B; D) c" z+ x1 i2 S% p, P表 8.1︰ 通用参数 #
) T1 \, P$ p" z. R8 m5 W参数        自变量        描述
action        INDEX        如果设置此参数，则只会执行单个操作（verify 会返回索引）
! }" z) q; N7 e# wdry_run        BOOL        如果设置此参数，则只会模拟执行（默认值：no）
nodes        LIST        列出要对其执行脚本的节点
! L9 u/ A. |' M; R! C$ S, gport        NUMBER        要连接的端口
statefile        FILE        在以单一步进方式执行时，状态将保存在给定文件中
sudo        BOOL        如果设置此参数，crm 将在适当的情况下提示输入 sudo 口令并使用 sudo（默认值：no）
timeout        NUMBER        以秒为单位的执行超时（默认值：600）
" Q' s4 P+ h2 e# c  uuser        USER        以给定用户的身份运行脚本
8.1.5.2 校验和运行群集脚本 #
在运行某个群集脚本之前，请检查该脚本将要执行的操作并校验其参数，以免出现问题。群集脚本可能会执行一系列操作，并且可能会出于各种原因而失败。因此，在运行脚本之前校验参数有助于避免出现问题。

5 |/ E" z% B$ c# |5 H. g例如，mailto 资源代理需要唯一的标识符和一个电子邮件地址。要校验这些参数，请运行：

. Z) f5 g9 {$ n/ D# i" pcrm script verify mailto id=sysadmin email=tux@example.org
1. Ensure mail package is installed

: D+ n" a: p- }# X9 l. x; p        mailx
* s+ l+ r2 a8 r- R# B
2. Configure cluster resources

4 @- c4 r) O/ \: `) @        primitive sysadmin ocf:heartbeat:MailTo
$ z& `7 L* D+ n; G  G* ~                email="tux@example.org"
                op start timeout="10"
/ u9 D% L" L3 U* u' c3 T                op stop timeout="10"
                op monitor interval="10" timeout="10"

        clone c-sysadmin sysadmin
( @, i6 U- X( vCOPY
; K; l8 S1 t. r6 c! w" j. `  e: {verify 将会列显步骤，并将所有占位符替换为您的给定参数。如果 verify 发现任何问题，将会报告问题。如果一切正常，请将 verify 命令替换为 run：
2 Q! q  w3 ^/ l3 M& g& y
8 x' [( a( T! o" R- o  \, Y  `: tcrm script run mailto id=sysadmin email=tux@example.org
* F% B$ Q, z. M; FINFO: MailTo
/ t. e1 M- H; [' \INFO: Nodes: alice, bob
OK: Ensure mail package is installed
OK: Configure cluster resources
COPY
使用 crm status 检查您的资源是否已集成到群集中：
/ D7 G3 G4 v3 _1 T
crm status
5 _  m$ e, m1 J9 d# r4 c% N* Z[...]
Clone Set: c-sysadmin [sysadmin]
     Started: [ alice bob ]
COPY
8.1.6 使用配置模板 #
注意注意：弃用通告
配置模板已弃用，将来会被去除。配置模板将由群集脚本取代，具体请参见第 8.1.5 节 “使用 crmsh 的群集脚本”。
0 M8 l! T& P) i7 O8 O
. M- G( G! i9 C& j" f) b配置模板可为 crmsh 提供即时可用的群集配置。请不要将其与资源模板（如第 8.3.3 节 “创建资源模板”中所述）混淆。资源模板只适用于群集，而不适用于 crm 外壳。
( c8 k. l( @# V" R  I9 @
5 F; e7 ~; h5 t2 d# m" \+ T配置模板只需稍作更改，即可满足特定用户的需要。每次使用模板创建配置时，都会出现警告消息，提示您哪些可以稍后编辑以供将来自定义。
4 q. ]- Z+ s7 q7 T( B( ]
' H& d; e- ]3 P- E  |以下步骤显示了如何创建简单有效的 Apache 配置：
6 |$ U: e; {7 m$ `8 U# x' X
& K' z1 b7 c/ s6 \1 E以 root 用户身份登录，然后启动 crm 交互式外壳：
/ T8 ?8 f' Z3 ]5 N
6 |- {: m3 I4 q4 `- y9 Fcrm configure
5 b" N' j0 {- C& m6 G! Z( sCOPY
' ~; N' n* R& l从配置模板创建一个新配置：
) D3 l+ t( s6 m* M
  N% U* y7 G/ Y3 k; M/ S4 @! C+ V切换到 template 子命令：

template
COPY
列出可用的配置模板：

list templates
gfs2-base   filesystem  virtual-ip  apache   clvm     ocfs2    gfs2
COPY
( \7 C& ]" o. R% b2 H确定需要的配置模板。由于我们需要 Apache 配置，因此选择了 apache 模板并将其命名为 g-intranet：
% ?# I: Y3 u. g8 x6 p$ l; S7 b
# E% L# T9 a; f% lnew g-intranet apache
INFO: pulling in template apache
INFO: pulling in template virtual-ip
( {% d7 F( I7 _7 zCOPY
定义参数：
$ d' B+ N# D  G2 ]& @5 ?8 ]
; P8 @  j: B; g: M6 H列出您创建的配置：

list
g-intranet
COPY
显示需要由您填充的最少的必要更改：
. q  z9 r4 R0 L9 I- \. m8 d7 H/ G
8 t+ D- t' T# r# R" w2 ^show
ERROR: 23: required parameter ip not set
( K, w$ I0 A( e2 Q: ]ERROR: 61: required parameter id not set
ERROR: 65: required parameter configfile not set
COPY
& z  e; H9 s0 [; t调用首选的文本编辑器，填写显示为错误（如步骤 3.b 中所示）的所有行：
- J5 r) c. x$ ~/ w. B, |
edit
* u" q3 p5 q( z& NCOPY
+ F  k, Q3 K! W8 q! e- J显示配置并检查配置是否有效（粗体文本取决于您在步骤 3.c 中进入的配置）：
1 t* ~; t4 F2 X: j8 M8 G
show
& F. Y, D* _1 G7 B4 Oprimitive virtual-ip ocf:heartbeat:IPaddr \
    params ip="192.168.1.101"
2 w) }5 _  v- b% r; r3 Fprimitive apache ocf:heartbeat:apache \
0 F, b: T4 \: M    params configfile="/etc/apache2/httpd.conf"
    monitor apache 120s:60s
group g-intranet \
    apache virtual-ip
COPY
应用配置：

( G: N' ~% b1 ?/ b8 r. Tapply
, Y# w3 f! s0 y- {2 z# K$ Lcd ..
show
; R# G1 @  b5 c: L& Q* eCOPY
' Z9 X3 _. q* g- `将更改提交到 CIB：

commit
COPY
6 A0 j5 P1 s6 t: M如果知道细节，可以更加简化命令。上述过程可汇总为外壳上的以下命令：

( T6 q- g/ k$ a6 ^3 A  ^2 V& N4 m& T- icrm configure template \
! `; w  s% t* h" U6 B" J' k   new g-intranet apache params \
   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"
/ ^8 n; K6 Y3 M* N- S. UCOPY
* v& a" X0 u0 r5 D+ I如果在 crm 内壳中，可使用以下命令：
; V8 d- {  I! P0 e( V4 ~
0 c3 k$ d, V( |: A  }new intranet apache params \
2 ]2 R4 q# T* T( ?) l4 ^   configfile="/etc/apache2/httpd.conf" ip="192.168.1.101"
( T& K3 S/ b( `0 x8 D) I# t/ P( U5 i( RCOPY
但是，前一条命令仅会从配置模板创建其配置。它不会将其应用或提交到 CIB。
  n& b, Q6 j# e! v
7 I# X' h) D0 J, o1 V& \1 Y& e! {8.1.7 使用阴影配置进行测试 #
阴影配置可用于测试不同的配置方案。如果创建了多个阴影配置，则可逐一测试这些配置，以查看更改的影响。

: Z; q( B" i8 q1 c* s) q* e+ p! M一般的流程显示如下：

以 root 用户身份登录，然后启动 crm 交互式外壳：
& A) m3 i" p) z$ q
! R* J+ r0 R4 @; X$ d' acrm configure
) x0 Z6 _- D( s+ `6 BCOPY
创建新的阴影配置：

cib new myNewConfig
INFO: myNewConfig shadow CIB created
COPY
1 C0 [" U9 ?& d9 ]/ J, L6 ~1 O如果省略阴影 CIB 的名称，则会创建临时名称 @tmp@。
; P! o/ X0 g6 Q- D" m
8 i# {+ U& |9 y+ f) c要将当前的活动配置复制到阴影配置中，可使用以下命令，否则请跳过此步骤：
; m& H/ X  Z" x$ C% g+ @
crm(myNewConfig)# cib reset myNewConfig
% w/ i5 A" G' k& LCOPY
4 v" F! Y/ I/ a1 q使用上面的命令便于稍后修改现有资源。

  R& J% {9 `2 e9 L+ w8 s照常进行更改。创建阴影配置后，会应用所有更改。要保存所有更改，请使用以下命令：

, \* `5 ?+ E  e! i3 W% Bcrm(myNewConfig)# commit
COPY
2 N4 G1 c- l1 G如果再次需要活动群集配置，可使用以下命令切换回此配置：

crm(myNewConfig)configure# cib use live
7 y$ e+ z8 b2 L/ \% o, v! K: i3 ACOPY
8.1.8 调试配置更改 #
将配置更改装载回群集之前，建议使用 ptest 复查更改。使用 ptest 命令可显示提交更改后产生的操作图。您需要 graphviz 包才能显示该图形。以下示例是一个抄本，添加了监视操作：

: `' ?$ S+ i% h8 Hcrm configure
& ?2 t* D% |$ Sshow fence-bob
0 u5 {; o0 ~) d; Z. [- F' zprimitive fence-bob stonith:apcsmart \
4 `- R& P0 f, _, c1 Q. b        params hostlist="bob"
monitor fence-bob 120m:60s
show changed
) s2 _4 U( W- A4 Hprimitive fence-bob stonith:apcsmart \
        params hostlist="bob" \
        op monitor interval="120m" timeout="60s"
5 H8 Z/ M( e& W, {0 U. \" s) {  eptest
. I2 \5 Y$ g; m/ u6 j5 Z2 q  }commit
3 [& w# R2 t. h) g6 e; ~" XCOPY
! J/ a2 Y3 v2 R% v7 v, c8.1.9 群集图表 #
" R7 a. c; Y$ {% p3 S要输出群集图表，请使用命令 crm configure graph。它会在当前的窗口上显示当前配置，因此需要配备 X11。
5 ~' d8 k4 L: Q6 i4 P; T
3 d! z' k5 O6 m. ~  ]7 ?0 @" c如果您希望使用可缩放矢量图 (SVG)，请使用以下命令：

crm configure graph dot config.svg svg
* I! W, o% o) w! ?* yCOPY
8.2 管理 Corosync 配置 #
Corosync 是大多数 HA 群集的基础讯息交换层。corosync 子命令提供了用于编辑和管理 Corosync 配置的命令。
3 Q/ H  y& O" E
7 f' l/ X1 m8 n/ d7 V0 o' I例如，要列出群集的状态，请使用 status：

' d1 j  J8 M, Z9 L0 }" r* lcrm corosync status
3 ~# p, \1 n3 W8 i( lPrinting ring status.
# |5 ^' E" a* WLocal node ID 175704363
RING ID 0
* x6 r. I' }0 x) P6 r        id      = 10.121.9.43
        status  = ring 0 active with no faults
  o& J5 b2 b5 pQuorum information
------------------
Date:             Thu May  8 16:41:56 2014
3 E& W# f5 X3 {Quorum provider:  corosync_votequorum
Nodes:            2
Node ID:          175704363
8 w2 B3 Y0 R2 z  _5 D) A4 h2 B% {/ [Ring ID:          4032
Quorate:          Yes
, K" c9 x% q( m3 e3 m' J/ t1 X
Votequorum information
----------------------
' C0 \# ?0 J6 h( P( }2 l7 j2 JExpected votes:   2
Highest expected: 2
# u9 y7 \0 I+ l- p" Z" xTotal votes:      2
' I' K( [+ n6 C/ m6 F: xQuorum:           2  
Flags:            Quorate

Membership information
4 L2 T9 E8 c. i6 _1 x----------------------
% O* ?/ c: y1 Y    Nodeid      Votes Name
175704363          1 alice.example.com (local)
175704619          1 bob.example.com
) y6 V' u/ I: ^! z$ B/ i3 e# CCOPY
) B; k! w# Y& |  wdiff 命令非常有用：它可以比较所有节点上的 Corosync 配置（如果未另行指定）并打印出各自的差异：
8 J( R" E. h- d
5 e  |' Z  ^+ ?$ z& L, w. O$ Rcrm corosync diff
; Z8 D* ]. Y' E( X; p--- bob
+++ alice
@@ -46,2 +46,2 @@
( I) c4 j* J' A-       expected_votes: 2
-       two_node: 1
7 H9 G  Y& r; |$ a+       expected_votes: 1
+       two_node: 0
COPY
5 c, T1 {" ^/ A4 |( V6 y有关细节，请参见 http://crmsh.nongnu.org/crm.8.html#cmdhelp_corosync。
# F1 P+ a# Z" J) i. e& B
8.3 配置群集资源 #
作为群集管理员，您需要在群集中为服务器上运行的每个资源或应用程序创建群集资源。群集资源可以包括网站、电子邮件服务器、数据库、文件系统、虚拟机和任何其他基于服务器的应用程序或在任意时间对用户都可用的服务。
$ ?+ N  e6 s' a3 b* u
0 x! f% g# O# z5 M) S$ `有关可创建的资源类型的概述，请参见第 6.3.3 节 “资源类型”。

8.3.1 从文件装载群集资源 #
2 V" m' _) T# j* c) F) c8 u可从本地文件或网络 URL 装载部分或全部配置。可定义三种不同方法：
' x% T+ T0 t( b$ s
replace
) m3 `) m8 r1 M此选项会将当前配置替换为新的源配置。

, A. c& S9 U) V5 H2 Jupdate
" |; z+ a# h% X9 `3 \' e此选项会尝试导入源配置。它会向当前配置添加新项目或更新现有项目。

push
5 d# a- V6 M: F' {. I此选项会将内容从来源导入到当前配置中（与 update 相同）。不过，它会去除在新配置中不可用的对象。
5 O" u/ z2 |1 F# m: _) g1 C
8 Z& W' d, W' M$ j* v- U要从文件 mycluster-config.txt 装载新配置，请使用以下语法：

: s% b8 n) V+ u% E$ E6 gcrm configure load push mycluster-config.txt
COPY
4 Z0 n8 H5 s! J# z8.3.2 创建群集资源 #
有三种 RA（资源代理）类型可用于群集（有关背景信息，请参见第 6.3.2 节 “支持的资源代理类”）。要将新资源添加到群集，请按如下操作：

以 root 用户身份登录，然后启动 crm 工具：

crm configure
COPY
配置原始 IP 地址：
0 b0 J. K" ?# B" D2 w3 H& Y7 Y
primitive myIP ocf:heartbeat:IPaddr \
% M# E) @1 \" C4 ^; ?' m4 Y     params ip=127.0.0.99 op monitor interval=60s
/ s1 w7 X1 y$ B2 d3 tCOPY
上一命令配置了名称为 myIP 的“原始资源”。需要选择一个类（此处为 ocf）、提供程序 (heartbeat) 和类型 (IPaddr)。此外，此原始资源还需要其他参数，如 IP 地址。根据设置更改地址。
: \1 m1 v+ g9 ?  I& a" f3 `6 j" @, Q
! s0 H6 z( t5 q显示您所做的更改并进行复查：

& X2 p$ p: o: X# A, wshow
COPY
提交更改使其生效：

: g1 i& }2 n. zcommit
COPY
8.3.3 创建资源模板 #
# h7 l- T4 Q: _8 a* W  r1 m; b3 j如果希望使用类似的配置创建多个资源，则资源模板可以简化此项任务。有关一些基本背景信息，另请参见第 6.5.3 节 “资源模板和约束”。不要将它们与第 8.1.6 节 “使用配置模板”中的“常规”模板相混淆。使用 rsc_template 命令可以熟悉其语法：

crm configure rsc_template
usage: rsc_template <name> [<class>:[<provider>:]]<type>
        [params <param>=<value> [<param>=<value>...]]
: G) n8 K- _6 y' _) @        [meta <attribute>=<value> [<attribute>=<value>...]]
        [utilization <attribute>=<value> [<attribute>=<value>...]]
. H2 t6 w1 r9 j. x$ ?        [operations id_spec
            [op op_type [<attribute>=<value>...] ...]]
COPY
例如，以下命令将会根据 ocf:heartbeat:Xen 资源和一些默认值及操作新建一个名称为 BigVM 的资源模板：
8 \* M% n1 y$ G* R* N* \
rsc_template BigVM ocf:heartbeat:Xen \
   params allow_mem_management="true" \
& w' z/ v& s* L9 s. _; l   op monitor timeout=60s interval=15s \
   op stop timeout=10m \
# N& y' g" m4 @( Y* P   op start timeout=10m
COPY
定义了新的资源模板后，可以将其用作原始资源或在顺序、共置或 rsc_ticket 约束中引用。要引用资源模板，请使用 @ 符号：

primitive MyVM1 @BigVM \
   params xmfile="/etc/xen/shared-vm/MyVM1" name="MyVM1"
- \' {+ `' \3 k, ~; DCOPY
9 T$ E6 ?* @; W/ Y7 r# G$ I* Y1 B: w0 t新的原始资源 MyVM1 将继承 BigVM 资源模板中的所有配置。例如，上述两者的等效配置有：

primitive MyVM1 ocf:heartbeat:Xen \
$ d. s% k' [) s% y0 W: }2 w6 ]- n   params xmfile="/etc/xen/shared-vm/MyVM1" name="MyVM1" \
3 s8 \& ~3 s8 [; {   params allow_mem_management="true" \
, ^1 V* L; ^" R: u: k   op monitor timeout=60s interval=15s \
+ M1 n  C1 q7 R4 l- D9 [9 ]: U6 n' @   op stop timeout=10m \
; \) S& O# S8 {. l   op start timeout=10m
7 D! o% S* W; }COPY
如果希望重写一些选项或操作，只需将它们添加到您的（原始）定义中。例如，下面这个新的原始资源 MyVM2 会让监视操作的超时增加一倍，而其他值保持不变：
2 L. l2 }* W8 ~- L) g6 t
0 u. q- a" b# B' W" B8 Bprimitive MyVM2 @BigVM \
6 T" N5 A. t; x" T   params xmfile="/etc/xen/shared-vm/MyVM2" name="MyVM2" \
9 M* ^- b7 t% Z/ F( |+ k$ U   op monitor timeout=120s interval=30s
COPY
# ~& b" z; c. {9 U9 i8 G资源模板可以在约束中引用，以表示所有原始资源都派生自该模板。这有助于生成更加清晰明了的群集配置。除了位置约束外，允许在所有约束中进行资源模板引用。共置约束不能包含多次模板引用。

8.3.4 创建 STONITH 资源 #
就 crm 而言，STONITH 设备只是另一种资源。要创建 STONITH 资源，请执行以下操作：
* b1 K9 E/ Z; x
以 root 用户身份登录，然后启动 crm 交互式外壳：
, d. ~' v2 ?( v, _, Q+ O) A+ r
crm configure
COPY
( @$ v6 j- Z/ P3 [使用以下命令获取所有 STONITH 类型的列表：
0 V4 ]1 o: d; B" Z. w+ u
ra list stonith
apcmaster                  apcmastersnmp              apcsmart
baytech                    bladehpi                   cyclades
drac3                      external/drac5             external/dracmc-telnet
external/hetzner           external/hmchttp           external/ibmrsa
( h4 c1 P) h$ f6 g3 fexternal/ibmrsa-telnet     external/ipmi              external/ippower9258
$ M/ V, H2 H$ O) U& S& eexternal/kdumpcheck        external/libvirt           external/nut
+ o0 }+ u8 l- u* E' v1 r$ w7 iexternal/rackpdu           external/riloe             external/sbd
external/vcenter           external/vmware            external/xen0
external/xen0-ha           fence_legacy               ibmhmc
ipmilan                    meatware                   nw_rpc100s
rcd_serial                 rps10                      suicide
3 N& v" P) h" j, F$ A- u- ?wti_mpc                    wti_nps
5 [4 J; o- _1 Y5 Z2 ~# K4 {COPY
从以上列表中选择 STONITH 类型并查看可用的选项列表。使用以下命令：
" x9 v3 V  u; G& C
ra info stonith:external/ipmi
, ]. l( v' ~4 lIPMI STONITH external device (stonith:external/ipmi)

ipmitool based power management. Apparently, the power off
. J$ z# L+ c! a1 F  rmethod of ipmitool is intercepted by ACPI which then makes
a regular shutdown. If case of a split brain on a two-node
it may happen that no node survives. For two-node clusters
use only the reset method.
) q' F& H% E5 |! E1 h7 Z
Parameters (* denotes required, [] the default):
$ G; S3 b8 A' |* c% {2 _" G
- e& c" ^- Y, ~7 Lhostname (string): Hostname
4 P! k' ^9 F4 s- K% J. Q$ X    The name of the host to be managed by this STONITH device.
...
COPY
3 T7 A8 |" A7 ^使用 stonith 类（您在步骤 3 中选择的类型）和相应的参数（如果需要）创建 STONITH 资源，例如：
! b$ v- I) l4 e
configure
2 G0 z8 K8 G* Kprimitive my-stonith stonith:external/ipmi \
. G6 a5 i! ?1 v$ ?    params hostname="alice" \
    ipaddr="192.168.1.221" \
3 P  l$ ]0 P4 b! ]7 H; Q" s/ A    userid="admin" passwd="secret" \
    op monitor interval=60m timeout=120s
6 w# A4 P1 z+ w! R7 a9 mCOPY
8.3.5 配置资源约束 #
配置所有资源只是任务的一部分。即使群集了解所有需要的资源，它仍然不能正确处理它们。例如，尽量不要在 DRBD 的从属节点上装入文件系统（事实上，这将导致 DRBD 出现故障）。定义约束以使这些信息可用于群集。

) A0 n2 T$ i4 y) t; }: [) {有关约束的更多信息，请参见第 6.5 节 “资源约束”。

8.3.5.1 位置约束 #
- |# O; h# ~1 v. G6 x9 }3 P0 Glocation 命令定义资源可以、不可以或首选在哪些节点上运行。
  r# O1 v" J' m  E: J
3 t8 w* }1 z; D# j% }每个资源可多次添加此类约束。对于给定资源，将评估所有 location 约束。下面是个简单的示例，它将首选在名为 alice 的节点上运行资源 fs1 的值设置为 100：
3 d8 B6 M2 l# A  M( _% E3 e
" A  x5 s, |, r- glocation loc-fs1 fs1 100: alice
COPY
另一个示例是使用 pingd 的位置：

primitive pingd pingd \
    params name=pingd dampen=5s multiplier=100 host_list="r1 r2"
location loc-node_pref internal_www \
/ R$ K0 u( o- T* C& U    rule 50: #uname eq alice \
) X* W/ I7 T  f' q    rule pingd: defined pingd
7 L0 `' _4 j; J0 T8 @3 [COPY
位置约束的另一个用例是将基元资源分组为资源集。例如，如果多个资源依赖于 ping 属性来进行网络连接，则此功能会十分有用。以前，需要在配置中复制 -inf/ping 规则数次，因此不必要地增加了复杂性。

以下示例将创建资源集 loc-alice，该资源集引用虚拟 IP 地址 vip1 和 vip2：

/ F& p* A2 a, A5 ]4 B2 }primitive vip1 ocf:heartbeat:IPaddr2 params ip=192.168.1.5
8 a( x2 H/ O$ B7 `/ K2 ?primitive vip2 ocf:heartbeat:IPaddr2 params ip=192.168.1.6
; V0 J3 m1 x1 f6 \( a3 }( x- _location loc-alice { vip1 vip2 } inf: alice
1 [0 ?; i7 l+ G1 Z5 z5 v! m* jCOPY
4 k0 [! E- X6 U0 B8 r在某些情况下，为 location 命令使用资源模式会有效且方便得多。资源模式是用两个斜杠括起的正则表达式。例如，可以使用以下命令全部匹配上述虚拟 IP 地址：
8 t) q3 d; ~5 L+ k4 c( X
location  loc-alice /vip.*/ inf: alice
: s8 a( V, B7 z, D/ Z/ MCOPY
  [- ]" Q! O7 Y3 ]2 t# S8.3.5.2 共置约束 #
colocation 命令用于定义哪些资源应在相同主机上运行，哪些资源应在不同主机上运行。

$ I* ~, r5 q5 n. T! [只能设置 +inf 或 -inf 的分数，定义必须始终或不得在相同节点上运行的资源。还可以使用有限分数。在这种情况下，共置将称为建议，群集可决定不遵循它们，从而在出现冲突时不停止其他资源。

例如，要始终在同一个主机上运行 ID 为 filesystem_resource 和 nfs_group 的两个资源，可使用以下约束：

$ i) Z! e3 A) ?" D% Acolocation nfs_on_filesystem inf: nfs_group filesystem_resource
- X' ~+ F- j' Q0 K/ }  K+ V, t/ s, tCOPY
5 r8 ?' T% x' r/ e6 v9 _0 j对于主从属配置，除在本地运行资源以外，还有必要了解当前节点是否为主节点。
- g4 I! I. L+ c- q
5 r3 ?, V0 ^3 E1 [  h: q1 B8.3.5.3 共置没有依赖性的资源集 #
有时，将一组资源放置在同一个节点上（定义共置约束）会很有用，但前提是这些资源之间不存在硬依赖性。
1 Q4 o2 V- E- X
如果您想要将多个资源放置在同一个节点上，但不想疲于应对每一个资源的故障，那么，您可以使用命令 weak-bond。
& R7 k7 k9 o% q
crm configure assist weak-bond RES1 RES2
COPY
7 b. V% H8 t7 q2 ?$ o& N) ?weak-bond 的实施将使用给定的资源自动创建虚设资源和共置约束。
; {% v4 A* P( l, C+ s. q7 ~! K
8.3.5.4 顺序约束 #
: M/ C* P- C0 M6 ~# N3 torder 命令定义操作顺序。
" q0 k5 Z% U" m! E4 \8 }; N0 }2 k
有时必需提供资源操作顺序。例如，在设备可用于系统之前，您不能装入文件系统。使用顺序约束可在另一个资源满足某个特殊条件之前或之后启动或停止某项服务，如已启动、已停止或已升级到主资源。

在 crm 外壳中使用以下命令配置顺序约束：

order nfs_after_filesystem mandatory: filesystem_resource nfs_group
COPY
8.3.5.5 示例配置约束 #
本节中使用的示例必须与其他约束结合使用。其中最基本的就是让所有资源与 DRBD 资源的主资源在同一台计算机上运行。在启动其他资源前，DRBD 资源必须是主资源。在 DRBD 设备不是主资源时尝试装入 DRBD 只会失败。必须实现以下约束：
5 R" y/ w; h! w, q( \
文件系统必须始终与 DRBD 资源的主资源位于同一节点上。
( U* y  T% O% v, k! j
colocation filesystem_on_master inf: \
% V- [/ c% I4 \$ Y    filesystem_resource drbd_resource:Master
$ [% z8 J% U0 MCOPY
9 n( S+ h) W! @5 u+ |+ YNFS 服务器及 IP 地址必须与文件系统位于相同的节点上。
2 {& Q: H7 g& N6 Y' d& J& i7 ?
/ F6 F4 r; g. n1 K1 f1 W5 {colocation nfs_with_fs inf: \
   nfs_group filesystem_resource
COPY
  \) v7 Z2 f$ f1 q, }" n% UNFS 服务器及 IP 地址在装入文件系统后启动：

order nfs_second mandatory: \
% G& [* }4 v' d- u   filesystem_resource:start nfs_group
+ J1 A1 L0 B3 R  D' H7 ]$ ~COPY
& h5 i6 v, w4 m- d5 W" n必须在 DRBD 资源提升为节点上的主资源后才能在此节点上装入文件系统。
9 p6 [4 z$ T2 [: j
. \& P! J1 w, w) q: Rorder drbd_first inf: \
' H: i* m2 n; g5 X! l2 ?5 h6 B+ w    drbd_resource:promote filesystem_resource:start
COPY
5 n0 |6 h/ l8 J' O6 Z0 [* d& T# \. ~8.3.6 指定资源故障转移节点 #
要确定资源故障转移，可使用元属性 migration-threshold。如果所有节点上的故障计数超过 migration-threshold，资源将处于停止状态。例如：
9 V8 p/ F0 @% w% z
3 m+ N+ ^# x% L; [$ f' dlocation rsc1-alice rsc1 100: alice
COPY
" _( m) Z1 i$ `; o, v通常，rsc1 首选在 alice 上运行。如果失败，将检查 migration-threshold 并与将它与故障计数进行比较。如果故障计数 >= migration-threshold，则会将该资源迁移到具有下一个最佳自选设置的节点。
( H" G  f+ O7 `- `9 K# p
根据 start-failure-is-fatal 选项，启动失败会将失败计数设置为 inf。停止故障可导致屏蔽。如果未定义 STONITH，将不会迁移资源。

0 N1 g3 f9 H2 H: k( K& b0 w有关概述，请参见第 6.5.4 节 “故障转移节点”。
' z; A* t# `- A/ B
( n; t# H, N. @4 n+ H8.3.7 指定资源故障回复节点（资源粘性） #
当原始节点恢复联机并位于群集中时，资源可能会故障回复到该节点。为防止资源故障回复到之前运行它的节点，或者要指定让该资源故障回复到其他节点，请更改其资源粘性值。可以在创建资源时或之后指定资源粘性。
# C3 Y' X7 E, e9 {( d( ]2 \
$ N8 ^6 k* }' W! v( z2 C有关概述，请参见第 6.5.5 节 “故障回复节点”。

8.3.8 根据负载影响配置资源放置 #
某些资源可能具有特定的容量要求，如最低内存量。如果无法满足要求，资源可能无法完全启动或运行时性能下降。
. S6 [6 S% q# g  g. U, ~; G
要考虑此情况，可使用 High Availability Extension 指定以下参数：

特定节点提供的容量。
' T# }6 b  p% V0 h8 |
" A/ T$ [- K% H# Z7 ]特定资源需要的容量。
* {3 z9 d! j" a
资源放置整体策略。

# E0 o! a$ d2 J% u% |' ~+ @( z有关参数的详细背景信息和配置示例，请参见第 6.5.6 节 “根据资源负载影响放置资源”。

: {' c. H7 q/ J: V/ v要配置资源要求和节点提供的容量，请使用利用率属性。可根据个人喜好命名利用率属性，并根据配置需要定义多个名称/值对。在某些情况下，某些代理（例如 VirtualDomain）将自行更新利用率。
, W0 x$ N: L% E) e5 ?& o* d
) S$ n3 N: C2 H. O5 V在下例中，我们假定您已有群集节点和资源的基本配置，现在想要配置特定节点提供的容量以及特定资源需要的容量。

过程 8.1︰ 使用 crm 添加或修改利用率属性 #
. ^4 P: ~1 k1 B* Q+ \以 root 用户身份登录，然后启动 crm 交互式外壳：

7 d" }: F) w& Q+ }7 N- t  U" y( }crm configure
+ b. p" F+ G" q! i3 r* ECOPY
要指定节点提供的容量，请使用以下命令并将占位符 NODE_1 替换为节点名称：
/ x6 ~5 u+ W: u- N' y. d
: c! K# Q3 I+ E5 m) T5 e% {node NODE_1 utilization memory=16384 cpu=8
COPY
4 V+ X7 w, z0 V; O0 \上例中的这些值将假定 NODE_1 向资源提供 16 GB 内存和 8 个 CPU 核心。

) N* I' a' @  a% b) H$ v8 a要指定资源需要的容量，请使用：
) e  x4 c0 B" T, f
primitive xen1 ocf:heartbeat:Xen ... \
     utilization memory=4096 cpu=4
+ D+ V9 ^6 B9 `4 Q# LCOPY
这会使资源消耗 NODE_1 的 4096 个内存单元以及 4 个 CPU 单元。

使用 property 命令配置放置策略：
: r. e: u' k  a! s5 a
property ...
; I$ S+ o# y: l, b. `/ ~COPY
! M3 I/ r9 \! z5 x可用值如下：

1 P; P" P/ _# y' e1 f  Fdefault（默认值）
! z8 c- W$ X3 |/ A; g- a不考虑利用率值。根据位置得分分配资源。如果分数相等，资源将均匀分布在节点中。
' j9 `6 E' E0 d" j! y. F- h! S
/ b# u2 g* z3 M* d$ C( l  |utilization
在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。但仍会根据分配给节点的资源数执行负载平衡。

minimal
在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。尝试将资源集中到尽可能少的节点上（以节省其余节点上的能耗）。

1 [. Y4 p% _/ _2 ?, Abalanced
在确定节点是否有足够的可用容量来满足资源要求时考虑利用率值。尝试均匀分布资源，从而优化资源性能。

注意注意：配置资源优先级
8 P4 {$ \% ^6 w, U" L可用的放置策略是最佳方法 - 它们不使用复杂的启发式解析程序即可始终实现最佳分配结果。确保正确设置资源优先级，以便首选调度最重要的资源。

8 K4 y) l/ i$ n# i2 U9 R退出 crmsh 之前提交更改：
2 c* t( X# G' B1 J7 E* O1 V- M
commit
% |/ h2 \$ N  Y3 D5 @& I& ^  rCOPY
8 A+ W" T" L/ z以下示例演示了配有四台虚拟机、节点数相等的三节点群集：

4 S4 [% `: \+ W" ^1 lnode alice utilization memory="4000"
node bob utilization memory="4000"
- x0 x# h. D2 K. O" q+ Cnode charlie utilization memory="4000"
primitive xenA ocf:heartbeat:Xen \
    utilization hv_memory="3500" meta priority="10" \
    params xmfile="/etc/xen/shared-vm/vm1"
+ H% {5 \; t! R4 {" |: Hprimitive xenB ocf:heartbeat:Xen \
    utilization hv_memory="2000" meta priority="1" \
    params xmfile="/etc/xen/shared-vm/vm2"
8 @1 F9 \& j# i2 a- Rprimitive xenC ocf:heartbeat:Xen \
% X- m( T, x% w3 Y/ @    utilization hv_memory="2000" meta priority="1" \
    params xmfile="/etc/xen/shared-vm/vm3"
primitive xenD ocf:heartbeat:Xen \
    utilization hv_memory="1000" meta priority="5" \
, ]* v1 |& v3 D    params xmfile="/etc/xen/shared-vm/vm4"
property placement-strategy="minimal"
6 u' W5 \  j# N1 k  Y4 GCOPY
如果三个节点都处于正常状态，那么 xenA 将首先放置到一个节点上，然后是 xenD。xenB 和 xenC 将分配在一起或者其中一个与 xenD 分配在一起。
8 f) O3 P* i' ]9 v! L( V, t4 _
如果一个节点出现故障，可用的总内存将不足以托管所有资源。将确保分配 xenA，xenD 也同样如此。但是，只能再分配 xenB 和 xenC 中的一个，由于它们的优先级相同，结果不确定。要解决这种不确定性，需要为其中一个资源设置更高的优先级。

$ h8 s0 R0 t( I5 f8.3.9 配置资源监视 #
要监视资源，有两种可能性：使用 op 关键字或 monitor 命令定义监视操作。以下示例使用 op 关键字配置 Apache 资源并且每 60 分钟监视一次：

8 {3 X$ b7 _" N4 Z8 ?primitive apache apache \
- N1 R) s4 i# s: i9 f5 i  params ... \
6 n' }9 ^/ C0 l$ _  op monitor interval=60s timeout=30s
- Q& L4 l6 e; C# g' A! q2 rCOPY
同样也可以使用以下方式来实现：

primitive apache apache \
; J0 q: I+ s4 W( h) ?7 d) g   params ...
monitor apache 60s:30s
COPY
! v( l" ~) `  _有关概述，请参见第 6.4 节 “资源监视”。
9 M5 ^1 I) U) b! }! q4 p) M
8.3.10 配置群集资源组 #
/ g* V% `  V5 Q! ~5 g  F群集的一个最常见元素是需要放置在一起的一组资源。按顺序启动，并按相反顺序停止。为了简化此配置，我们支持组的概念。以下示例创建了两个原始资源（一个 IP 地址和一个电子邮件资源）：
& F+ t5 x! z+ I+ h3 G% D
5 g, ^' Y. G0 @; r" @1 P以系统管理员的身份运行 crm 命令。提示符更改为 crm(live)。
* b$ ^$ A$ m9 C, Q6 S9 p
配置这两个原始资源：
; d/ s6 O! v  V+ a7 b. Z. O
) Y$ m; u& o; m# X" Iconfigure
" V# Z. e8 }- w# }" J$ L0 [primitive Public-IP ocf:heartbeat:IPaddr \
   params ip=1.2.3.4 id= Public-IP
primitive Email systemd:postfix \
   params id=Email
2 m) f7 _) X4 J+ e* S, Z( U4 R% bCOPY
以正确顺序按其相关标识符对原始资源进行分组：
) r% F* \, r% h- \2 m
: K$ v: H& P( C# Xgroup g-mailsvc Public-IP Email
COPY
( m: X6 {4 x; R+ Z9 F$ D- O5 G要更改组成员的顺序，请使用 configure 子命令中的 modgroup 命令。使用以下命令可将原来的 Email 移到 Public-IP 前面。（只供展示功能之用）：
4 I6 s! c: I4 }
, x9 _, D1 I( \: `" [$ Z2 |modgroup g-mailsvc add Email before Public-IP
COPY
" X% P4 A) _1 k3 w, m$ m" T如果您要从某个组去除资源（例如 Email），则使用以下命令：
: a  A0 w7 E2 A  K
% v3 N- o1 O' w! i8 cmodgroup g-mailsvc remove Email
COPY
6 e5 K' S6 C5 |; K有关概述，请参见第 6.3.5.1 节 “组”。
$ @4 i; {- E- `* ?( X* c, O" t
8.3.11 配置克隆资源 #
+ j6 q8 ~8 t( j& @5 A8 c最初将克隆构想成便于启动一个 IP 地址的 N 个实例并使它们分布在群集各处以保持负载平衡的一种方法。事实证明，它们可用于多种用途，包括与 DLM 集成、屏蔽子系统和 OCFS2。您可以克隆资源代理支持的任何资源。

0 O! p# ~  {0 s3 K) h$ ?* |要了解有关克隆资源的更多信息，请参见第 6.3.5.2 节 “克隆资源”。

0 k% n5 ]& e, q3 I8.3.11.1 创建匿名克隆资源 #
要创建匿名克隆资源，首先要创建一个原始资源，然后使用 clone 命令来引用它。执行下列操作：

以 root 用户身份登录，然后启动 crm 交互式外壳：
# y: g' m/ t( }- }1 `
6 x; c7 v$ c9 y  ]crm configure
COPY
配置原始资源，例如：
1 S' X  e- @  J( t* u( T2 ]
! o$ a5 L8 E3 h0 V. C' tprimitive Apache ocf:heartbeat:apache
; u" Z) o2 u9 A/ S, F+ J* jCOPY
  U  {: y# a$ Y. F0 @& N克隆原始资源：

clone cl-apache Apache
COPY
) `& p4 ?5 ~1 w7 n% I2 w- g8 [8.3.11.2 创建可升级克隆资源 #
可升级克隆资源（以前称为多状态资源）是一种特殊的克隆。此类型允许实例处于两种运行模式中的其中一种，可以是主动/被动、主要/次要或主/从模式。

" a& f  r+ u7 ]2 J5 Y3 V要创建可升级克隆资源，首先要创建一个原始资源，然后再创建可升级克隆资源。可升级克隆资源必须至少支持升级和降级操作。

7 u7 X& A7 Z) Y( g- k6 c8 r以 root 用户身份登录，然后启动 crm 交互式外壳：
4 e2 I; u3 k( e) C- e; b
$ M9 H! K, }9 h5 Vcrm configure
% b+ Q% V4 a, r* s, |8 L; i; }" e8 qCOPY
配置原始资源。必要时更改时间间隔：

primitive my-rsc ocf:myCorp:myAppl \
" Q9 d2 L* J- H" a5 [* c    op monitor interval=60 \
" k, W) p+ e3 g    op monitor interval=61 role=Master
COPY
, \+ S/ c, b8 o. R3 P6 J创建可升级克隆资源：

ms ms-rsc my-rsc
  i7 }, J+ b# ], A5 {COPY
& P( J, J7 A9 l) \8.4 管理群集资源 #
除可用于配置群集资源外，crm 工具还可用于管理现有资源。以下小节进行了概述。

8.4.1 显示群集资源 #
  m8 m2 D6 |  Y  o9 \当管理群集时，crm configure show 命令会列出诸如群集配置、全局选项、原始资源及其他的当前 CIB 对象：

5 ?8 _4 Y4 N% [2 v$ rcrm configure show
. y" o4 p0 ^( W6 gnode 178326192: alice
! W6 I% u0 f- c  R* Q5 c  L0 U& P; `node 178326448: bob
primitive admin_addr IPaddr2 \
/ j- ~5 l0 P: v0 L2 G9 t        params ip=192.168.2.1 \
1 j9 `1 X1 A  Z6 A6 Z; r7 P4 ^        op monitor interval=10 timeout=20
primitive stonith-sbd stonith:external/sbd \
        params pcmk_delay_max=30
property cib-bootstrap-options: \
7 o3 V# g+ o' Q( N        have-watchdog=true \
        dc-version=1.1.15-17.1-e174ec8 \
0 r: y5 ^  E7 C; D+ u! j        cluster-infrastructure=corosync \
        cluster-name=hacluster \
9 R, t! A) m/ _5 V8 h& i7 m/ j        stonith-enabled=true \
        placement-strategy=balanced \
+ w/ }; Q  K6 E8 }! ]        standby-mode=true
( p5 H4 {6 ^/ _9 q- P. jrsc_defaults rsc-options: \
        resource-stickiness=1 \
        migration-threshold=3
) }# M$ E6 e9 _. d) ?9 b$ y9 Fop_defaults op-options: \
' z  m  E, B6 y        timeout=600 \
8 f. }& P! h) p' L        record-pending=true
9 K/ Y- [! t. m/ J' c% BCOPY
如果您有许多资源，show 的输出会十分冗长。为限制输出，请使用资源名称。例如，如果只想列出原始资源 admin_addr 的属性，请将资源名称追加到 show 后：
/ q7 M1 i* u" y7 g5 f
crm configure show admin_addr
0 |4 ^; ^7 ]5 O& ^3 A1 T. Hprimitive admin_addr IPaddr2 \
% {, {; |7 Y! }5 l1 Q* _( X        params ip=192.168.2.1 \
        op monitor interval=10 timeout=20
1 S# Z& b$ F9 [7 KCOPY
0 B- M2 o; w5 i4 a. O' k4 K/ [但在某些情况下，您可能希望更精确地限制特定资源的输出。那么，您可以使用过滤器。过滤器可将输出限定到特定组件。例如，要想仅列出节点，可使用 type:node：

3 N- Z) N5 ~' o6 X) M$ o$ rcrm configure show type:node
node 178326192: alice
node 178326448: bob
+ N4 t# V* R1 l. u. r3 YCOPY
如果您还对原始资源感兴趣，请使用 or 运算符：

1 F4 j! c* H3 n5 K2 _1 z" D2 N+ x$ v8 M; R7 tcrm configure show type:node or type:primitive
node 178326192: alice
node 178326448: bob
primitive admin_addr IPaddr2 \
        params ip=192.168.2.1 \
        op monitor interval=10 timeout=20
# n! e/ j2 u% Q. ]$ ?primitive stonith-sbd stonith:external/sbd \
        params pcmk_delay_max=30
# d& X. c! F( b# l# w7 n/ |COPY
- ~  x. X$ Q8 ]此外，要搜索以特定字符串开头的对象，请使用以下表示法：

crm configure show type:primitive and and 'admin*'
primitive admin_addr IPaddr2 \
        params ip=192.168.2.1 \
* O- F! g; [& e' Y+ j: E/ S+ z& j        op monitor interval=10 timeout=20
COPY
要列出所有可用类型，请输入 crm configure show type: 并按 →| 键。Bash 补全会为您提供所有类型的列表。

9 @' {3 t3 ^; O8.4.2 启动新的群集资源 #
1 _( y! p1 e- v; J7 j& o0 z要启动新的群集资源，您需要相应的标识符。按如下所示继续：
; q6 {5 I% ]6 w* V2 g; d
以 root 用户身份登录，然后启动 crm 交互式外壳：

crm
5 N! o0 t; `1 I/ y6 Z; YCOPY
切换到资源级别：

resource
, G. V# d0 c! _5 M1 m$ }! fCOPY
4 L, E$ n- a7 h& |! i; ^% E使用 start 启动资源，然后按 →| 键显示所有已知资源：
7 J1 J+ D$ x+ l" h( ?3 \
start ID
COPY
4 e0 i7 R  c0 n8.4.3 清理资源 #
9 I8 m" M' `& n% Z4 |2 V如果资源失败，它会自动重启动，但每次失败都会增加资源的失败计数。如果为资源设置了 migration-threshold，当故障计数达到该迁移阈值时，将不再允许节点运行该资源。

$ u4 d" w6 [, S打开外壳并以 root 用户身份登录。

获取所有资源的列表。
# r3 Y8 c& ^0 p3 v$ U. `
; l( ^9 v/ ]/ M! q2 R3 w5 hcrm resource list
  ...
Resource Group: dlm-clvm:1
         dlm:1  (ocf:pacemaker:controld) Started
         clvm:1 (ocf:heartbeat:clvm) Started
COPY
例如，要清理资源 dlm，请执行以下操作：

crm resource cleanup dlm
) {: e- u! m" VCOPY
8.4.4 删除群集资源 #
, c1 a: R" [1 v) w请按如下操作以删除群集资源：

以 root 用户身份登录，然后启动 crm 交互式外壳：

; b) a' J4 L1 p; R3 wcrm configure
$ G+ p0 N" M( m8 w5 n- H( gCOPY
% ]) J5 l* r- o4 @运行以下命令来获取您的资源列表：
7 Y! p4 b# B0 X& z
% [0 m/ G1 k/ tresource status
COPY
例如，输出可能类似于以下内容（其中 myIP 是资源的相关标识符）：
) J' k, @0 V" _! i/ ]
myIP    (ocf:IPaddr:heartbeat) ...
COPY
删除具有相关标识符的资源（也暗指 commit）：
( k2 o# p6 o! p7 N# ?( t
configure delete YOUR_ID
" g: `* [- _+ s+ sCOPY
提交更改：
% l( S' E, j" V1 n8 n; R/ t
configure commit
COPY
0 \! j0 A2 |( g! X( s! \8.4.5 迁移群集资源 #
* }8 T& c* X( }7 L' t8 {9 h虽然资源已配置为在发生硬件或软件故障时自动故障转移（或迁移）到群集的其他节点，但您也可以使用 Hawk2 或命令行将资源手动迁移到其他节点。
' g( j- }1 p" P1 U  d
对此任务使用 migrate 命令。例如，要将 ipaddress1 资源迁移到名为 bob 的群集节点，请使用以下命令：

crm resource
migrate ipaddress1 bob
4 F6 l+ Q3 ?2 MCOPY
8.4.6 分组/标记资源 #
; i, `' [. Y9 l+ ?  @& F- u使用标记可以一次性引用多个资源，而无需在这些资源之间创建任何共置或顺序关系。此功能十分适用于对概念上相关的资源进行分组。例如，如果有多个资源与某个数据库相关，您可以创建一个名为 databases 的标记，并将与该数据库相关的所有资源都添加到此标记：
* H: l5 ^* [( E) M- k1 r9 s
crm configure tag databases: db1 db2 db3
5 ]+ P- y) Q6 GCOPY
这样，只需使用一条命令就能启动所有这些资源：
; W6 h! J1 g$ j5 k
crm resource start databases
- `+ [: e/ u- b+ [6 @+ Z, zCOPY
0 y" Q0 L! a' C7 r5 e同样，也可以一次性停止所有这些资源：
& \0 V% M* e/ e" A: ]+ B
% g# \0 t7 N! V: d" U' }crm resource stop databases
COPY
8.4.7 获取运行状态 #
: v" c# m/ ], r; a3 M可以使用所谓的脚本来显示群集或节点的“运行”状态。脚本可以执行不同的任务，并不局限于显示运行状态。不过，本节重点介绍如何获取运行状态。
) F& w. K( X9 [* [1 d2 c/ f8 B
要获取有关 health 命令的所有细节，请使用 describe：

crm script describe health
6 F' a* m) y* \  w% R/ YCOPY
! j0 w, |7 z3 @8 [3 _( H# K该命令将显示所有参数及其默认值的说明和列表。要执行脚本，请使用 run：

crm script run health
COPY
6 I7 U! Y4 T. [5 K2 |5 s+ C5 r如果您希望只运行整套命令中的一个步骤，可以使用 describe 命令列出步骤类别中的所有可用步骤。

例如，以下命令将执行 health 命令的第一个步骤。将在 health.json 文件中储存输出以供做进一步调查：
9 `8 ^/ B( M/ X
crm script run health
; [( O9 }* R3 M$ @& }( \    statefile='health.json'
COPY
+ q6 L6 E, x; M( F( l. M( C您也可以使用 crm cluster health 运行以上命令。
( s8 t# ?& c  m" I. O* P
4 U8 G9 y% q3 W) N+ b$ r( p有关脚本的更多信息，请参见 http://crmsh.github.io/scripts/。
. O8 o7 I  d5 y4 _% A# j& M, S
4 w. U& P& C; z' y9 @4 r9 V7 P0 X8.5 设置独立于 cib.xml 的密码 #
如果群集配置包含密码之类的敏感信息，应将其储存在本地文件中。这样的话，这些参数将永远不会记录到或导入支持报告中。
6 j1 K& z/ F  I1 b% T( k
使用 secret 前，最好先运行 show 命令了解一下所有资源的概况：
/ V6 |2 H0 M9 y( v; Z  ?$ G
9 m# k8 p! w0 t3 i0 T1 Gcrm configure show
& r2 L$ P8 J8 W; t1 p1 a* Lprimitive mydb ocf:heartbeat:mysql \
   params replication_user=admin ...
COPY
要为上面的 mydb 资源设置口令，请使用以下命令：
5 l( Z4 F2 K" |
crm resource secret mydb set passwd linux
" g1 `4 \4 \5 `, L, G! sINFO: syncing /var/lib/heartbeat/lrm/secrets/mydb/passwd to [your node list]
COPY
使用以下命令可以取回保存的密码：
% F% @$ e9 `5 x1 W& x$ m" j. V8 x- u
crm resource secret mydb show passwd
; r( [2 R+ i# o( ^( ^3 dlinux
COPY
请注意，节点之间需要同步参数，使用 crm resource secret 命令可以帮助您处理好同步问题。强烈建议仅使用此命令管理机密参数。

1 C* M% l! E4 W: V% e( `8.6 检索历史记录信息 #
: [/ u+ z: O5 R( G+ s# x调查群集的历史记录是一项复杂的任务。为简化此任务，crmsh 包含了 history 命令及其子命令。假定已正确配置 SSH。
) [# @% o2 z* z# _) ~
! ~4 N6 `: a- w8 i8 x4 S每个群集都会移动状态、迁移资源或启动重要进程。这些操作均可通过 history 子命令进行检索。
: Y9 A+ i. l0 o- Q- O
1 T# Q1 x% s: E- Y默认情况下，所有 history 命令会查看最近一小时的事件。要更改此时间段，请使用 limit 子命令。语法为：
1 O( D6 I) ?! \. Z! f3 m6 W2 W3 h2 m
/ x+ o0 x* B1 m; K9 k9 W& Xcrm history
$ F+ q6 o% ?: W" R  X+ flimit FROM_TIME [TO_TIME]
. _: j$ H- s0 h3 ^& U+ jCOPY
+ G' H6 \" N- W' H6 q2 v: B有效示例如下所示：

limit4:00pm , limit16:00
上述两个命令表达同一个意思：今天下午 4 点。
; Y$ |) V" X8 d* R  Q
limit2012/01/12 6pm
2012 年 1 月 12 日下午 6 点
+ I$ t; S; {$ P8 U
limit"Sun 5 20:46"
当年当月 5 日（星期日）晚上 8:46

要查找更多示例以及如何创建时间段的信息，请访问 http://labix.org/python-dateutil。
/ L& H! g1 a# C5 `; m2 m/ u
( G) Z/ M( P6 ninfo 子命令显示 crm report 涵盖的所有参数：

2 ?( h" I5 r) n$ \0 p- w+ a: M1 m- c# Linfo
Source: live
; u6 }$ O; P4 SPeriod: 2012-01-12 14:10:56 - end
$ _% P! V; ^5 S  ^9 O4 p, s. sNodes: alice
Groups:
Resources:
5 w% s. n* Z  w1 q$ BCOPY
" F' S) f8 g+ f1 j要将 crm report 限制为使用特定参数，请使用 help 子命令查看可用的选项。
( r# w/ B8 @- f. l5 r
& q$ n8 t0 w9 ]- l( R) S8 f. [要降低细节级别，请使用 detail 子命令及级别：
( X) f4 x# ~1 ], J
/ K* B" g8 h8 a  d) Zdetail 1
COPY
级别数字越高，报告就越详细。默认值为 0（零）。
. v0 j- m4 b8 ~! p
7 J& Y  v8 t4 t: H设置上述参数后，使用 log 显示日志消息。
; T+ J4 f0 J9 X" Z1 a" a+ @
要显示上次转换操作，请使用以下命令：
- W# N4 [2 c" ~9 D1 S5 r
8 @( A) h9 J3 Jtransition -1
INFO: fetching new logs, please wait ...
5 \; _+ G/ K* X7 r, PCOPY
' S1 Y4 K4 p* D! \' x$ c此命令会提取日志并运行 dotty（从 graphviz 包）以显示转换图。外壳会打开日志文件，您在其中可以使用 ↓ 和 ↑ 光标键浏览内容。
* i8 M1 V5 Y- }7 w& ?/ U( H
7 I, v  A- g) y如果希望不要打开转换图，请使用 nograph 选项：
1 {! p$ H; m9 Z  ~/ ^& |$ q7 k$ a
transition -1 nograph

% h+ {! }$ L" _$ C4 a! E/ I, X8 N