zkServer添加ssl协议支持方式

admin

ZooKeeper的默认网络通信没有加密，开源社区在ZOOKEEPER-2125中加入了netty以支持SSL。

值得一提的是，和其他一些开源组件一样，ZooKeeper的SASL认证配置和SSL配置都可以通过JVM变量配置。这样一来配置起来比较方便，但也带来一些问题。例如在一个JVM中启动多个ZooKeeper时，会有配置冲突。

客户端配置

• JVM变量方式

  
  

通过设置以下JVM变量启用Netty：

zookeeper.clientCnxnSocket="org.apache.zookeeper.ClientCnxnSocketNetty"

通过设置以下JVM变量启用安全通信：

zookeeper.client.secure=true

设置“secure”后的客户端只能访问服务器的“secureClientPort“

设置keystore 和 truststorJVM环境变量：

zookeeper.ssl.keyStore.location="/path/to/your/keystore"

zookeeper.ssl.keyStore.password="keystore_password"

zookeeper.ssl.trustStore.location="/path/to/your/truststore"

zookeeper.ssl.trustStore.password="truststore_password"

• ZKClientConfig方式
  . B9 S0 T1 G0 U! g3 z9 D

  
  

ZKClientConfig clientConfig = new ZKClientConfig();

conf.setProperty(ZKClientConfig.SECURE_CLIENT, "true");

conf.setProperty(ZKClientConfig.ZOOKEEPER_CLIENT_CNXN_SOCKET, "org.apache.zookeeper.ClientCnxnSocketNetty");

conf.setProperty(ZKClientConfig.SSL_KEYSTORE_LOCATION, "KeyStorePath");

conf.setProperty(ZKClientConfig.SSL_KEYSTORE_PASSWD, "KeyStorePasswd");

conf.setProperty(ZKClientConfig.SSL_TRUSTSTORE_LOCATION, "TrustStorePath");

conf.setProperty(ZKClientConfig.SSL_TRUSTSTORE_PASSWD, "TrustStorePasswd");

借助ZKClientConfig社区还实现了在同一个JVM中启动多个客户端分别连接开启Kerberos认证的不同的ZooKeeper集群，或分别连接开启认证与未开启认证的ZooKeeper集群，有机会单开一篇文章介绍。

Server端

• JVM变量方式

  
  ; k/ U- r) ^6 B& p# O

Server可以直接在zkServer.sh中增加配置：

export SERVER_JVMFLAGS="

-Dzookeeper.serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory

-Dzookeeper.ssl.keyStore.location=testKeyStore.jks

-Dzookeeper.ssl.keyStore.password=testpass

-Dzookeeper.ssl.trustStore.location=testTrustStore.jks

-Dzookeeper.ssl.trustStore.password=testpass"

export CLIENT_JVMFLAGS="

-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty

-Dzookeeper.client.secure=true

-Dzookeeper.ssl.keyStore.location=testKeyStore.jks

-Dzookeeper.ssl.keyStore.password=testpass

-Dzookeeper.ssl.trustStore.location=testTrustStore.jks

-Dzookeeper.ssl.trustStore.password=testpass"

端口在zoo.cfg中添加：

secureClientPort=2281

所有SSL模式客户端都应该连接到这一端口

• zoo.cfg方式

  
  2 H  M6 b2 p) c4 m/ T# W9 w

在zoo.cfg中添加：

secureClientPort=3183

serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory

ssl.keyStore.location=testKeyStore.jks

ssl.keyStore.password=testpass

ssl.trustStore.location=testTrustStore.jks

ssl.trustStore.password=testpass

admin

为 ZooKeeper 配置 SSL/TLS
使用 ThingWorx HA 群集时，可以为 ZooKeeper 配置 SSL 或 TLS：
配置 ZooKeeper
1.请确保正在运行的 ZooKeeper 版本支持 SSL 或 TLS。
2.获取您的 SSL 证书和信任存储。
证书的可接受文件扩展名仅有：JKS、PEM 和 PKCS12(p12)。
3.转至 apache-zookeeper-[version]-bin/conf 并更新或创建 zoo.cfg。
. M/ b/ }0 P! {9 `' ?1 q7 F/ r2 g4.添加以下条目：
- P2 Y. s$ D8 T! i! X2 vdataDir=/<path-to-zookeeper-data>/data
3 Y% N! h& Y3 ?. T7 rdataLogDir=/<path-to-zookeeper-datalog>/datalog
" ?8 p% H7 m% R3 T/ msecureClientPort=2281
tickTime=2000
) ?) i# M9 S3 d) x2 TinitLimit=5
syncLimit=2
autopurge.snapRetainCount=3
" |" V6 ^, I0 Wautopurge.purgeInterval=0
maxClientCnxns=60
admin.enableServer=true
# W3 X) I& F7 Q! r# `( BstandaloneEnabled=false
quorumListenOnAllIPs=true
sslQuorum=true
要激活 ZooKeeper 节点之间的仲裁，请在 zoo.cfg 文件中设置变量 sslQuorum=true。节点将使用自动生成的 SSL 来保护仲裁。
9 f$ t2 U8 a: d1 ~2 h9 K5.修改 <path to zookeeper>/bin/zkServer.sh
: N. }$ T* p) Z( F7 Y0 S* ].
export SERVER_JVMFLAGS="
-Dzookeeper.serverCnxnFactory=org.apache.zookeeper.server.NettyServerCnxnFactory
-Dzookeeper.ssl.keyStore.location=<path-to-zookeeper-certificates>/zookeeper.p12
% \  A0 R/ }* u. y-Dzookeeper.ssl.keyStore.password=<certificate-password>
-Dzookeeper.ssl.trustStore.location=<path-to-zookeeper-certificates>/truststore.p12
-Dzookeeper.ssl.trustStore.password=<truststore-password>
( C9 K- u. H$ m( ^-Dzookeeper.ssl.quorum.keyStore.location=<path-to-zookeeper-certificates>/zookeeper.p12
" Q- \, |0 w/ L7 P-Dzookeeper.ssl.quorum.keyStore.password=<certificate-password>
-Dzookeeper.ssl.quorum.trustStore.location=<path-to-zookeeper-certificates>/truststore.p12
-Dzookeeper.ssl.quorum.trustStore.password=<truststore-password>
-Dzookeeper.ssl.quorum.hostnameVerification=false
! {* C9 o7 I+ ]# x, v" g- ?6.启动 ZooKeeper：
./zkServer.sh start
7.在日志中，验证配置是否正确：
tail -f apache-zookeeper-3.5.6-bin/logs/<zookeeper-log-file>
配置 ThingWorx
. `' a4 G$ A0 b1 o0 z& U6 W1.将 ZooKeeper 证书复制到您的实例，或确保其在运行 ThingWorx 的计算机上可用。
4 ^  ^% n- N0 \0 R3 V* O) A+ [" d2.修改 platform-settings.json，使得文件末尾包含下列内容作为根元素，且与 PlatformSettingsConfig 属于同一级别。
"ZookeeperSettings": {
1 g' V0 f8 @- q' \1 {) O    "SSLEnabled": "true",
    # If SSL is enabled, you must include the following; trust store is optional:
    "KeyStorePath": "<path-to-zookeeper-certificates>/zookeeper.p12",
2 X+ k2 |; c3 V2 M$ B/ n1 C    "KeyStorePass": "<certificate-password>",
8 ]: h6 y+ W/ u    "TrustStorePath": "<path-to-zookeeper-certificates>/truststore.p12",
/ `5 T+ X2 r* \6 B5 H  ?2 Y# f    "TrustStorePass": "<truststore-password>"
8 b2 Z! B6 u' E  Y    "SASLEnabled": "false",
    # If SASL is enabled, you must include the following:
& v/ o. S% r1 x5 Q% X4 }9 i) h- x. p    "JaasConfPath": "/tmp1/jaas.conf",
, E2 j3 {* h% h) `7 |2 Z    "Krb5ConfPath": "/tmp1/krb5.conf"
    }
3.搜索默认 ZooKeeper 端口 2181，并将其替换为安全端口 2281。
8 t; W( f) a7 x8 J/ O4.请确保所有 CoordinatorHosts 条目和 address-resolver > connection ports 均已更新，以便与 zoo.cfg 中的 secureClientPort 值相匹配。
配置 Ignite
: e8 W2 r' ?# g& M. u" x" H1.将 Ignite 证书复制到您的 ThingWorx 实例，或确保其在运行 Ignite 服务器的计算机上可用。
2.设置 ZOOKEEPER_CONNECTION 环境变量，查找用于启动 Ignite 的 JVM_XOPTS 环境变量，并按如下所示进行更新：
- q- L2 [  r7 i& U% N# zookeeper1 represents the host name where zookeeper is available and 2281 the secure port from zoo.cfg
; _# A2 b- {$ u' Qexport ZOOKEEPER_CONNECTION=zookeeper1:2281,zookeeper2:2281,zookeeper3:2281
# update the JVM_XOPTS
( p6 f' T* R: _* zJVM_XOPTS=-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty -Dzookeeper.client.secure=true -Dzookeeper.ssl.keyStore.location=<path-to-zookeeper-certificates>/zookeeper.p12 -Dzookeeper.ssl.keyStore.password=<keystore-password> -Dzookeeper.ssl.trustStore.location=<path-to-zookeeper-certificates>/truststore.p12 -Dzookeeper.ssl.trustStore.password=<truststore-password>
配置 Connection Server
1.将 ZooKeeper 证书复制到您的实例，或确保其在运行 Connection Server 的计算机上可用。
2.在 Connection Server 配置文件中更新 cx-server.discovery.connectionString 的端口，以使用安全端口。
例如，cx-server.discovery.connectionString = "{zookeeper-host}:2281"。
3.将下列系统属性添加到 CONNECTION_SERVER_OPTS 环境变量中。
例如：
export CONNECTION_SERVER_OPTS="
- o  z) v6 O/ R$ _-Dzookeeper.clientCnxnSocket=org.apache.zookeeper.ClientCnxnSocketNetty
-Dzookeeper.client.secure=true
' b9 I0 E$ {- _; V: Z; T' @7 a-Dzookeeper.ssl.keyStore.location=<path-to-zookeeper-certificates>/zookeeper.p12
-Dzookeeper.ssl.keyStore.password=<keystore-password>
-Dzookeeper.ssl.trustStore.location=<path-to-zookeeper-certificates>/truststore.p12
-Dzookeeper.ssl.trustStore.password=<truststore-password>"
; x( k( P( H1 T9 i$ N使用 ThingWorx 安全管理工具加密密码
6 }3 w0 x  I7 T如果希望避免将普通密码插入到 platform-settings.json 文件中，则可以使用安全工具加密 twx-keystore 内的密码。您必须分别使用适用于密钥存储和信任存储密码的 encrypt.zk.keystore.password 和 encrypt.zk.truststore.password 对密码进行加密。
3 z/ x; e6 c7 V$ k8 B./security-common-cli keystore.conf set encrypt.zk.keystore.password "ptcptc"
然后，更改 platform-settings.json 文件，以使得 ThingWorx 从密钥存储中选择密码：
; q; y7 L4 Q) Y' o) {/ {"KeyStorePass": "encrypt.zk.keystore.password",
"TrustStorePass": "encrypt.zk.truststore.password"
. x, y$ x3 E: b0 J+ \- O