Ceph修改mon ip地址操作

admin · 发表于 2022-10-18 13:58:08

背景
最近公司服务器搬迁至外地机房，服务器中包含ceph存储集群，迁移到新机房需要整体修改服务器ip，因此mon节点的ip也将被修改，发现官网有修改ip的文档，正好参考官网记录一下。官网提供了只更改同一网络里的mon节点ip以及ceph集群更改到不同网络的情况下修改所有mon ip的方法。

修改同一网络里的mon ip
这被官网称为是一种正确的方法。仅更改监视器的 IP 地址ceph.conf不足以确保集群中的其他mon收到更新。要更改监mon的 IP 地址，必须添加一个具有要使用的 IP 地址的新mon节点（如添加监视器（手动）中所述），确保新mon成功加入仲裁；然后移除旧 IP 地址的mon。最后更新ceph.conf文件以确保客户端和其他守护程序知道新mon的 IP 地址。

手动添加mon节点
在目标节点上，新建 mon 的数据目录。{mon-id} 名称自己定义。

复制
mkdir /var/lib/ceph/mon/ceph-{mon-id}
mkdir -p /var/lib/ceph/mon/ceph-`hostname -s`
获取 mon 的 keyring 文件，保存在临时目录下。

复制
ceph auth get mon. -o /tmp/ceph.mon.keyring
[root@ceph1 ~]# ceph auth get mon. -o /tmp/ceph.mon.keyring
获取集群的 mon map 并保存到临时目录下。

复制
ceph mon getmap -o /tmp/monmap
[root@ceph1 ~]# ceph mon getmap -o /tmp/monmap
got monmap epoch 3
格式化mon的数据目录并指定上面两步创建的monmap和ceph.mon.keyring文件路径
[root@ceph1 ~]# ceph mon dump
dumped monmap epoch 3
epoch 3
fsid 9c7a1c4a-e1e9-4ebb-9254-c7dbaf30a23f
last_changed 2022-10-17 10:51:14.554172
created 2022-10-17 10:46:00.900267
min_mon_release 14 (nautilus)
0: [v2:192.168.120.26:3300/0,v1:192.168.120.26:6789/0] mon.ceph1
1: [v2:192.168.120.27:3300/0,v1:192.168.120.27:6789/0] mon.ceph2
2: [v2:192.168.120.28:3300/0,v1:192.168.120.28:6789/0] mon.ceph3
复制
ceph-mon -i {mon-id} --mkfs --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring

启动节点上的 mon 进程，它会自动加入集群。守护进程需要知道绑定到哪个 IP 地址，可以通过 --public-addr {ip:port} 选择指定

复制
systemctl start ceph-mon@{mon-id}
ceph-mon -i {mon-id} --public-addr {ip:port}
[root@ceph1 ~]# ceph-mon -i ceph1 --public-addr 192.168.120.26

删除mon节点
1.停止mon节点

复制
systemctl stop ceph-mon@{mon-id}
systemctl stop ceph-mon@`hostname -s`.service
2.从ceph集群移除mon节点

复制
ceph mon remove {mon-id}
[root@ceph1 ~]# ceph mon  remove ceph1

3.在ceph.conf配置文件中移除mon部分

修改所有mon节点ip
如背景所说，我们刚迁移了ceph集群的服务器到其他地市的机房。这需要改变mon节点的所有网络。在这种情况下，解决方案是为集群中的所有mon生成具有更新 IP 地址的新 monmap，并将新映射注入每个单独的mon。我这里是将192.168.28.0/24网段变更为192.168.244.0/24网段。

获取monmap，如果此时已经连接不上集群了可以在mon节点上使用第二条命令，并指定{mon-id}

复制
ceph mon getmap -o /tmp/monmap
ceph-mon -i node3  --extract-monmap /tmp/monmap

monmap内容如下：

复制
monmaptool: monmap file /tmp/monmap
epoch 7
fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
last_changed 2022-10-08T10:00:04.055141+0000
created 2022-10-08T03:45:47.301186+0000
min_mon_release 16 (pacific)
election_strategy: 1
0: [v2:192.168.28.159:3300/0,v1:192.168.28.159:6789/0] mon.node1
1: [v2:192.168.248.160:3300/0,v1:192.168.28.160:6789/0] mon.node2
2: [v2:192.168.28.161:3300/0,v1:192.168.28.161:6789/0] mon.node3

删除现有的mon：

复制
monmaptool: monmap file /tmp/monmap
monmaptool: removing node1
monmaptool: removing node2
monmaptool: removing node3
monmaptool: writing epoch 1 to  /tmp/monmap (0 monitors)

添加新的mon：

复制
monmaptool: monmap file  /tmp/monmap
monmaptool: writing epoch 1 to  /tmp/monmap (3 monitors)

停止所有mon服务并注入monmap,，每个mon节点都要执行；

复制
ceph-mon -i {mon-id} --inject-monmap /tmp/monmap
[root@ceph1 ~]# ceph-mon -i ceph1 --inject-monmap /tmp/monmap
执行完成后需要重启mon

复制
systemctl start ceph-mon@{mon-id}

[root@ceph1 ~]# ceph daemon mon.ceph1 mon_status
{
"name": "ceph1",
"rank": 0,
"state": "leader",
"election_epoch": 30,
"quorum": [
      0,
      1,
      2
],
"quorum_age": 79151,
"features": {
      "required_con": "2449958747315912708",
      "required_mon": [
         "kraken",
         "luminous",
         "mimic",
         "osdmap-prune",
         "nautilus"
      ],
      "quorum_con": "4611087854031667199",
      "quorum_mon": [
         "kraken",
         "luminous",
         "mimic",
         "osdmap-prune",
         "nautilus"
      ]
},
"outside_quorum": [],
"extra_probe_peers": [],
"sync_provider": [],
"monmap": {
      "epoch": 3,
      "fsid": "9c7a1c4a-e1e9-4ebb-9254-c7dbaf30a23f",
      "modified": "2022-10-17 10:51:14.554172",
      "created": "2022-10-17 10:46:00.900267",
      "min_mon_release": 14,
      "min_mon_release_name": "nautilus",
      "features": {
         "persistent": [
            "kraken",
            "luminous",
            "mimic",
            "osdmap-prune",
            "nautilus"
         ],
         "optional": []
      },
      "mons": [
         {
            "rank": 0,
            "name": "ceph1",
            "public_addrs": {
                  "addrvec": [
                     {
                        "type": "v2",
                        "addr": "192.168.120.26:3300",
                        "nonce": 0
                     },
                     {
                        "type": "v1",
                        "addr": "192.168.120.26:6789",
                        "nonce": 0
                     }
                  ]
            },
            "addr": "192.168.120.26:6789/0",
            "public_addr": "192.168.120.26:6789/0"
         },
         {
            "rank": 1,
            "name": "ceph2",
            "public_addrs": {
                  "addrvec": [
                     {
                        "type": "v2",
                        "addr": "192.168.120.27:3300",
                        "nonce": 0
                     },
                     {
                        "type": "v1",
                        "addr": "192.168.120.27:6789",
                        "nonce": 0
                     }
                  ]
            },
            "addr": "192.168.120.27:6789/0",
            "public_addr": "192.168.120.27:6789/0"
         },
         {
            "rank": 2,
            "name": "ceph3",
            "public_addrs": {
                  "addrvec": [
                     {
                        "type": "v2",
                        "addr": "192.168.120.28:3300",
                        "nonce": 0
                     },
                     {
                        "type": "v1",
                        "addr": "192.168.120.28:6789",
                        "nonce": 0
                     }
                  ]
            },
            "addr": "192.168.120.28:6789/0",
            "public_addr": "192.168.120.28:6789/0"
         }
      ]
},
"feature_map": {
      "mon": [
         {
            "features": "0x3ffddff8ffacffff",
            "release": "luminous",
            "num": 1
         }
      ],
      "osd": [
         {
            "features": "0x3ffddff8ffacffff",
            "release": "luminous",
            "num": 6
         }
      ],
      "client": [
         {
            "features": "0x3ffddff8ffacffff",
            "release": "luminous",
            "num": 7
         }
      ],
      "mgr": [
         {
            "features": "0x3ffddff8ffacffff",
            "release": "luminous",
            "num": 3
         }
      ]
}
}

admin · 发表于 2022-10-18 14:19:16

[root@ceph1 ~]# ceph mon add `hostname -s` 192.168.120.26:6789

		自动登录	找回密码
密码			注册