ceph 分布式存储出现1 filesystem is degraded 源数据删除恢复

admin · 发表于 2022-8-11 13:50:25

元数据模拟故障
跟元数据相关的故障无非就是mds无法启动，或者元数据pg损坏了，这里我们模拟的比较极端的情况，把metadata的元数据对象全部清空掉，这个基本能覆盖到最严重的故障了，数据的损坏不在元数据损坏的范畴

清空元数据存储池

for object in `rados -p metadata ls`;do rados -p metadata rm $object;done

重启下mds进程，应该mds是无法恢复正常的

登录后复制
cluster:
id:    9ec7768a-5e7c-4f8e-8a85-89895e338cca
health: HEALTH_ERR
         1 filesystem is degraded
         1 mds daemon damaged
         too few PGs per OSD (16 < min 30)

  services:
mon: 1 daemons, quorum ceph-1
mgr: ceph-1(active)
mds: ceph-0/1/1 up , 1 up:standby, 1 damaged
osd: 1 osds: 1 up, 1 in

准备开始我们的修复过程

元数据故障恢复
设置允许多文件系统

ceph fs flag set enable_multiple true --yes-i-really-mean-it

创建一个新的元数据池，这里是为了不去动原来的metadata的数据，以免损坏原来的元数据

ceph osd pool create recovery 8

将老的存储池data和新的元数据池recovery关联起来并且创建一个新的recovery-fs

[root@ceph-1 ~]# ceph fs new recovery-fs recovery data --allow-dangerous-metadata-overlay
new fs with metadata pool 3 and data pool 2

做下新的文件系统的初始化相关工作

[root@ceph-1 ~]#cephfs-data-scan init --force-init --filesystem recovery-fs --alternate-pool recovery

reset下新的fs

[root@ceph-1 ~]#ceph fs reset recovery-fs --yes-i-really-mean-it
[root@ceph-1 ~]#cephfs-table-tool recovery-fs:all reset session
[root@ceph-1 ~]#cephfs-table-tool recovery-fs:all reset snap
[root@ceph-1 ~]#cephfs-table-tool recovery-fs:all reset inode

做相关的恢复

[root@ceph-1 ~]# cephfs-data-scan scan_extents --force-pool --alternate-pool recovery --filesystem ceph  data
[root@ceph-1 ~]# cephfs-data-scan scan_inodes --alternate-pool recovery --filesystem ceph --force-corrupt --force-init data
[root@ceph-1 ~]# cephfs-data-scan scan_links --filesystem recovery-fs

[root@ceph-1 ~]# systemctl start ceph-mds@lab102
等待mds active 以后再继续下面操作
[root@ceph-1 ~]# ceph daemon mds.lab102 scrub_path / recursive repair

设置成默认的fs

[root@ceph-1 ~]# ceph fs set-default recovery-fs

挂载检查数据

[root@ceph-1 ~]#  mount -t ceph ceph-1:/ /mnt
[root@ceph-1 ~]# ll /mnt
total 0
drwxr-xr-x 1 root root 1 Aug  11  1970 lost+found
[root@ceph-1 ~]# ll /mnt/lost+found/
total 226986
-r-x------ 1 root root 569306 Aug 11 12:16 10000000001
-r-x------ 1 root root 16240627 Aug 11 12:16 10000000002
-r-x------ 1 root root  1356367 Aug 11 12:16 10000000003
-r-x------ 1 root root 137729 Aug 11 12:16 10000000004
-r-x------ 1 root root 155163 Aug 11 12:16 10000000005
-r-x------ 1 root root 118909 Aug 11 12:16 10000000006
-r-x------ 1 root root  1587656 Aug 11 12:16 10000000007
-r-x------ 1 root root 252705 Aug 11 12:16 10000000008
-r-x------ 1 root root  1825192 Aug 11 12:16 10000000009
-r-x------ 1 root root 156990 Aug 11 12:16 1000000000a
-r-x------ 1 root root  3493435 Aug 11 12:16 1000000000b
-r-x------ 1 root root 342390 Aug 11 12:16 1000000000c
-r-x------ 1 root root  1172247 Aug 11 12:16 1000000000d
-r-x------ 1 root root  2516169 Aug11 12:16 1000000000e
-r-x------ 1 root root  3218770 Aug 11 12:16 1000000000f
-r-x------ 1 root root 592729 Aug 11 12:16 10000000010

可以看到在lost+found里面就有数据了

[root@ceph-1 ~]# file /mnt/lost+found/10000000010
/mnt/lost+found/10000000010: Microsoft PowerPoint 2007+
[root@ceph-1 ~]# file /mnt/lost+found/10000000011
/mnt/lost+found/10000000011: Microsoft Word 2007+
[root@ceph-1 ~]# file /mnt/lost+found/10000000012
/mnt/lost+found/10000000012: Microsoft Word 2007+
[root@ceph-1 ~]# file /mnt/lost+found/10000000013
/mnt/lost+found/10000000013: Microsoft PowerPoint 2007+

这个生成的文件名称就是实际文件存储的数据的prifix，也就是通过原始inode进行的运算得到的

如果提前备份好了原始的元数据信息

[root@labceph-1 ~]# ceph daemon mds.ceph-1 dump cache > /tmp/mdscache

那么可以比较轻松的找到丢失的文件

admin · 发表于 2022-8-11 15:39:59

创建文件系统初始化

ceph osd pool create metadata_pool 64  64 replicated cache_rule（cache_rule为ssd）

ceph osd pool create data_pool  256 256

ceph fs new cephfs metadata_pool data_pool

systemctl start ceph-mds.target

挂载客户端，注入测试数据

ceph-fuse -n client.admin -m 10.10.0.7 –key=AQDncgVfX4NDChAA4yAy6AmbK6YbfLha3zGA7w== /mnt/cephfs

mkdir -p /mnt/cephfs/a1/a2/a3/a4

echo hello1>/mnt/cephfs/1

echo hello2>/mnt/cephfs/a1/2

echo hello3>/mnt/cephfs/a1/a2/3

echo hello4>/mnt/cephfs/a1/a2/a3/4

umount -l /mnt/cephfs

模拟故障

将metadata_pool中所有obj删除，重启mds

for i in rados -p metadata_pool ls;do rados -p metadata_pool rm $i;done

systemctl restart ceph-mds.target

恢复步骤

设置允许多文件系统

ceph fs flag set enable_multiple true –yes-i-really-mean-it

创建一个新的元数据池，这里是为了不去动原来的metadata的数据，以免损坏原来的元数据

ceph osd pool create recovery 8

将老的存储池data和新的元数据池recovery关联起来并且创建一个新的recovery-fs

ceph fs new recovery-fs recovery data_pool –allow-dangerous-metadata-overlay

做下新的文件系统的初始化相关工作

cephfs-data-scan init –force-init –filesystem recovery-fs –alternate-pool recovery

reset下新的fs

ceph fs reset recovery-fs –yes-i-really-mean-it

cephfs-table-tool recovery-fs:all reset session

cephfs-table-tool recovery-fs:all reset snap

cephfs-table-tool recovery-fs:all reset inode

做相关的恢复

cephfs-data-scan scan_extents –force-pool –alternate-pool recovery –filesystem cephfs data_pool

cephfs-data-scan scan_inodes –alternate-pool recovery –filesystem cephfs –force-corrupt –force-init data_pool

cephfs-data-scan scan_links –filesystem recovery-fs

systemctl start ceph-mds.target

等待mds active 以后再继续下面操作

ceph daemon mds.mon0 scrub_path / recursive repair

ceph fs set-default recovery-fs

挂载客户端验证

ceph-fuse -n client.admin -m 10.10.0.7 --key=AQDncgVfX4NDChAA4yAy6AmbK6YbfLha3zGA7w==  /mnt/cephfs

ls -la /mnt/cephfs

实际测试中为出现所有lost+found文件夹

分析

通过查看cephfs-data-scan代码得知,cephfs-data-scan通过执行文件系统数据池，去扫描文件系统中对应保存文件内容的obj的backtrace，backtrace中保存该inode对应文件名以及对应目录结构，然后在新元数据池中构建各级目录对应的inode obj。对于在journal中还未flush到data池的数据，此时data池中无backtrace，此时无法确定该inode目录结构，会在根目录下建立lost+found文件夹,将没有flush值data池中的数据放入lost+found文件夹中。该文件夹对应元数据4.0000000 obj。

根目录先保存lost+found文件夹信息

lost+found obj中保存没backtrace ojb信息

此时recover池中根目录下已有对应元数据信息，启动mds时却没有加载1.0000000obj信息。

通过查看mds相关代码，根目录信息通过MDCache.cc中open_root()函数进行加载

void MDCache::open_root()

{

  dout(10) << "open_root" << dendl;

  if (!root) {

open_root_inode(new C_MDS_RetryOpenRoot(this));

return;

  }

  if (mds->get_nodeid() == mds->mdsmap->get_root()) {

assert(root->is_auth());

CDir *rootdir = root->get_or_open_dirfrag(this, frag_t());

assert(rootdir);

if (!rootdir->is_subtree_root())

   adjust_subtree_auth(rootdir, mds->get_nodeid());

if (!rootdir->is_complete()) {

   rootdir->fetch(new C_MDS_RetryOpenRoot(this));    //读取1.0000000 obj中omap信息

   return;

}

  } else {

assert(!root->is_auth());

CDir *rootdir = root->get_dirfrag(frag_t());

if (!rootdir) {

   open_remote_dirfrag(root, frag_t(), new C_MDS_RetryOpenRoot(this));

   return;

}

  }

  if (!myin) {

CInode *in = create_system_inode(MDS_INO_MDSDIR(mds->get_nodeid()), S_IFDIR|0755);  // initially inaccurate!

in->fetch(new C_MDS_RetryOpenRoot(this));

return;

  }

  CDir *mydir = myin->get_or_open_dirfrag(this, frag_t());

  assert(mydir);

  adjust_subtree_auth(mydir, mds->get_nodeid());

  populate_mydir();

}

通过代码发现，只有rootdir->is_complete()不成立的时候会去读取1.0000000 obj的omap信息,rootdir->is_complete()代表此时根目录信息已经完全被加载至内存中。

因为新文件系统recovery-fs在启动时，直接由creating状态进入active状态，在creating过程中调用boot_create()函数创建mds初始化相关信息及内存结构，其中create_empty_hierarchy()会去构建根目录信息

void MDCache::create_empty_hierarchy(MDSGather *gather)

{

  // create root dir

  CInode *root = create_root_inode();

  // force empty root dir

  CDir *rootdir = root->get_or_open_dirfrag(this, frag_t());

  adjust_subtree_auth(rootdir, mds->get_nodeid());

  rootdir->dir_rep = CDir::REP_ALL; //NONE;

  assert(rootdir->fnode.accounted_fragstat == rootdir->fnode.fragstat);

  assert(rootdir->fnode.fragstat == root->inode.dirstat);

  assert(rootdir->fnode.accounted_rstat == rootdir->fnode.rstat);

  /* Do no update rootdir rstat information of the fragment, rstat upkeep magic

* assume version 0 is stale/invalid.

*/

  rootdir->mark_complete();

  rootdir->mark_dirty(rootdir->dirty(), mds->mdlog->get_current_segment());

  rootdir->commit(0, gather->new_sub());

  root->mark_clean();

  root->mark_dirty(root->dirty(), mds->mdlog->get_current_segment());

  root->mark_dirty_parent(mds->mdlog->get_current_segment(), true);

  root->flush(gather->new_sub());

}

其中会将rootdir->mark_complete()标记为complete状态,进入active之后，将不会读取根目录信息。

		自动登录	找回密码
密码			注册

ceph 分布式存储出现1 filesystem is degraded 源数据删除恢复

浏览过的版块