ceph块儿设备映射到物理机 rbd map、unmap以及同一个块存储镜像的多物理机挂载卸载问题

admin · 发表于 2023-5-23 15:24:07

查看池
[root@node-1 ~]# ceph osd pool ls

新建rbd块
[root@node-1 ~]# rbd create volumes/Test_pressure.img --size 100G --image-format 2

查看块信息
[root@node-1 ~]# rbd info -p volumes --image Test_pressure.img
rbd image 'Test_pressure.img':
      size 100 GiB in 25600 objects
      order 22 (4 MiB objects)
      snapshot_count: 0
      id: 30d05554c7f23
      block_name_prefix: rbd_data.30d05554c7f23
      format: 2
      features: layering, exclusive-lock, object-map, fast-diff, deep-flatten
      op_features:
      flags:
      create_timestamp: Sun Sep 26 16:57:19 2021
      access_timestamp: Sun Sep 26 16:57:19 2021
      modify_timestamp: Sun Sep 26 16:57:19 2021

将rbd块映射到主机（报错）
[root@node-1 ~]# rbd map volumes/Test_pressure.img
rbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable volumes/Test_pressure.img object-map fast-diff deep-flatten".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address

删除
[root@node-1 ~]# rbd rm -p volumes --image Test_pressure.img
Removing image: 100% complete...done.

故障排查：
rbd 块 ceph 支持两种格式：
# rbd create volumes/Test_pressure.img --size 100G --image-format 2

--image-format format-id
选择用哪个对象布局，默认为 1 。
format 1 - 新建 rbd 映像时使用最初的格式。此格式兼容所有版本的 librbd 和内核模块，但是不支持较新的功能，像克隆。
format 2 - 使用第二版 rbd 格式，librbd 和 3.11 版以上内核模块才支持（除非是分拆的模块）。此格式增加了克隆支持，使得扩展更容易，还允许以后增加新功能。

为使用rbd块新特性，使用格式2，在map时发生以上报错：

查找相关资料，找到信息如下：
笔者安装的是nautilus版本，新建rbd块指定格式2，默认格式2的rbd块支持如下特性，默认全部开启；
layering: 支持分层
striping: 支持条带化 v2
exclusive-lock: 支持独占锁
object-map: 支持对象映射（依赖 exclusive-lock ）
fast-diff: 快速计算差异（依赖 object-map ）
deep-flatten: 支持快照扁平化操作
journaling: 支持记录 IO 操作（依赖独占锁）

使用系统为centos7.6 ，内核版本3.10.0-957.10.1.el7.x86_64，根据报错内容提示可知，服务器系统内核版本，不支持有些格式2的新特性导致。可以使用 --image-feature 选项指定使用特性，不用全部开启。我们的需求仅需要使用快照等特性，开启layering即可，配置方式如下：
[root@node-1 ~]# rbd create volumes/Test_pressure.img --size 100G --image-format 2 --image-feature layering

映射到物理机
[root@node-1 ~]# rbd map volumes/Test_pressure.img
/dev/rbd0

挂载
[root@node-1 ~]# mkfs.xfs /dev/rbd0
[root@node-1 ~]# mount /dev/rbd0 /mnt/
[root@node-1 ~]# mkdir -p /mnt/test
[root@node-1 ~]# ll /mnt/
total 0
drwxr-xr-x 2 root root 6 Sep 26 17:53 test

# 经测试，内核版本3.10，仅支持此特性（layering），其它特性需要使用更高版本内核，或者从新编译内核加载特性模块才行。
# 看看format 1 format 2的区别在哪
format: 2
features: layering, exclusive-lock, object-map, fast-diff, deep-flatten # 格式2支持的功能较多，但是低内核又不支持那么多，只能把其他的功能禁用掉使用

卸载硬盘
[root@node-1 ~]# rbd unmap volumes/Test_pressure.img

删除块
[root@node-1 ~]# rbd rm -p volumes --image Test_pressure.img

一块存储调用方式
Ceph的块存储有多种使用方式：
1 KRBD方式：本文章重点讨论方式
基于内核映射的调用方式，通过Kernel中的RBD模块实现访问后端存储
2 利用QEMU模拟器挂载到虚拟机中
3 librbd方式：API库调用

二同一个块存储镜像的多物理机挂载问题
这里我们采用KRBD的方式时，关于这个问题其实可以拆分来分析：
1.能不能同一个块设备同时挂载到多个物理机？
能，但是互相不识，每个物理机的读写不会影响另一个物理机，也不会在另一个物理机上展示其文件；如果再挂一个新的物理机时，会集中把所有物理机的文件都拷过来；

关于块设备映射的文件系统格式化
虽然会多个物理机，但只需要第一次用这个块设备时，将其格式化就好了，后续物理机不要格式化，不然的话，块设备信息全部丢失，其他物理机也很无奈；
这个过程中，会出现不一致性，比如如果两个物理机都建了一个名字相同但大小不同的文件时，会以最后一个建的为准；

关于同一个块设备，我的建议是最好不要挂载多个物理机上；
挂载多个物理机虽然可以，但如果重新映射挂载物理机时会把其他物理机上文件一起拷贝过来，便会互相影响了；

关于块存储的数据复原
这里是指如果客户机挂掉了，必须用另个客户机时要把挂掉的客户机数据拷贝过来，便出现了同一个块设备挂载多个客户机了，另个客户机此时会复原原来的那个客户机数据的，这里经过小数据的测试验证。

期间遇到的一些问题
5.1 文件系统格式化不需要每次内核映射完毕后都调用，因为格式化意味着清空数据.
5.2 如果重复umount和mount操作时，不要在mount的目标路径下进行操作，因为会出现mount后调用ls命令不刷新的场景，切记~
5.3 在快照回滚或者其他场景时偶尔出现下面的问题

//问题
mount: wrong fs type, bad option, bad superblock

//解决
fsck -t ext4  /dev/rbd/rbd/foo2
三 RBD模块
rbd模块是内核中内置的一种驱动模块，可以驱动Ceph块存储；
注意的是3.10.0版本以上内核才会默认集成该驱动。

//查看RBD模块信息
modinfo rbd
//查看RBD模块所属的软件包
rpm -qf /lib/modules/3.10.0-327.el7.x86_64/kernel/drivers/block/rbd.ko
四块存储的一些常见命令
创建镜像，也可以叫块设备。
rbd create foo2 --size 2048 --image-feature layering --image-shared
创建内核映射，将块设备映射到操作系统。
sudo rbd map foo2 --name client.admin
查看块设备映射列表
rbd showmapped
删除块设备映射
sudo rbd unmap /dev/rbd/rbd/foo2
导入导出块设备
rbd import --image-format 2 /root/test1  rbd/foo2
rbd export  rbd/foo2  /root/test1
创建快照
rbd snap create rbd/foo2@snap1
查看快照
rbd snap ls rbd/foo2
回滚快照
rbd snap rollback rbd/foo2@snap1
删除快照
rbd snap rm rbd/foo2@snap1
删除镜像
rbd rm rbd/foo2
挂载、解挂块设备
sudo mount -t ext4 -o discard  /dev/rbd/rbd/foo2 /mnt/cc3
umount /mnt/cc3
格式化块设备映射
sudo mkfs.ext4 -m0 /dev/rbd/rbd/foo2
镜像空间大小
rbd diff rbd/foo2 | awk '{ SUM += $2 } END { print SUM/1024/1024 " MB" }'
PS：这个有时在多物理机挂载场景下会不准

admin · 发表于 2023-5-23 15:26:29

一、问题描述
　　云主机文件系统损坏导致云主机无法启动！客户要求把数据找回！！！

二、准备工作
　　2.1 创建一台云主机做文件修复。
　　2.2 找一台物理机（RHEL7.1即可）做文件修复。

三、操作流程
　　3.1 对有问题的云主机关机，系统盘做快照。
　　3.2 根据3.1的快照创建一个云硬盘。
　　3.3 将3.2中创建的云硬盘挂在到2.1的云主机上做文件修复。
　　3.4 上面的步骤如果可以修复成功，则将有问题的云主机系统盘挂在到2.2的物理机上做文件修复。

四、EXT4修复过程
　　4.1 查看超级块备份
　　　　mkfs.ext4 -n /dev/mapper/${lv_name}
　　4.2 用备份的超级块挂载
　　　　mount -o sb=32768 /dev/mapper/${lv_name} /mnt # 32768 为4.1中查出的超级块位置
　　4.3 用备份的超级块fsck修复分区
　　　　fsck.ext4 -b 32768 /dev/mapper/${lv_name} # 32768 为4.1中查出的超级块位置
　　4.4 直接用fsck修复分区
　　　　fsck.ext4 -y /dev/mapper/${lv_name}
　　4.5 重建超级块（！慎用！可能丢失所有数据）
　　　　mkfs.ext4 -S /dev/mapper/${lv_name}
　　4.5 以上操作全部失败！继续查看日志+Google
　　　　resize2fs /dev/mapper/${lv_name} 73399296 # 依然失败
　　4.6 受到4.5的启发决定扩展下lv试下
　　　　lvextend /dev/mapper/${lv_name} /dev/${vdisk_path} # 终于成功
　　4.7 将云主机系统盘挂在到物理机
　　　　rbd map ${pool_name}/${volume_name}
　　4.8 扩展lvm
　　　　lvextend /dev/mapper/${lv_name} /dev/${vdisk_path}
　　4.9 卸载云主机系统盘
　　　　lvchange -an /dev/mapper/${lv_name}
　　　　rbd unmap ${mapped_point}

五、XFS修复过程
　　5.1 执行xfs_repair
　　　　xfs_repair -L /dev/mapper/${lv_name} # 一次成功
　　5.2 将云主机系统盘挂在到物理机
　　　　rbd map ${pool_name}/${volume_name}
　　5.3 执行xfs_repair
　　　　xfs_repair -L /dev/mapper/${lv_name}
　　5.4 卸载云主机系统盘
　　　　lvchange -an /dev/mapper/${lv_name}
　　　　rbd unmap ${mapped_point}

		自动登录	找回密码
密码			注册