cephfs 创建文件系统，已经恢复过程 1 filesystem is degraded

admin

1.创建 cephfs
一个cephfs至少要求两个librados存储池，一个为data，一个为metadata。

" j+ u- S3 c, {, [- lstep 1.创建cephfs存储池fs_metadata，fs_data
' @2 p! k  y2 Q- o) g! W
' r# {2 c1 |$ e1 }+ M# 元数据库存储池
ceph osd pool create cephfs_metadata 8 8
! c9 v+ K6 ~( q; z# 数据
ceph osd pool create cephfs_data 8 8
* ^' D2 d0 y) g+ J8 r) B3 wstep 2.使用fs new命令enable 文件系统
! P& N# ?1 q8 D7 J
ceph fs new cephfs cephfs_metadata cephfs_data
. i# `: x# j2 c) u& H使用mds来观察

[root@ceph-stroage01 ~]# ceph fs ls
name: cephfs, metadata pool: fs_metadata, data pools: [fs_data ]
) R: [' Z* Y; ~/ z# g2 g[root@ceph-stroage01 ~]#
文件系统创建完毕后， MDS 服务器就能达到 active 状态了，比如在一个单 MDS 系统中：

% Z0 c" A$ E& i) ~[root@ceph-stroage01 ~]# ceph mds stat
cephfs:0
[root@ceph-stroage01 ~]#
查看集群监控状态：

$ d" q$ h8 w# ?& \; }# n[root@ceph-stroage01 ~]# ceph -s
4 H( ]: n& u5 a  cluster:
1 {6 A# q1 S! j; _5 }    id:     db51539c-d566-11eb-a3e9-e6f1aaf957fd
    health: HEALTH_ERR
            2 filesystems are offline
            2 filesystems are online with fewer MDS than max_mds

; L, K$ |: W. \7 V3 G+ C5 Y0 l  services:
9 Q1 Y1 @( N4 k* I1 l# b: q" {    mon: 3 daemons, quorum ceph-stroage01,ceph-stroage02,ceph-stroage03 (age 9m)
3 P3 y3 Q/ v- X& }    mgr: ceph-stroage01.cdthyk(active, since 9m), standbys: ceph-stroage03.dtasrq
" M0 I9 L, n! b7 X  d* K    mds: cephfs:0 cephfs_k8s:0
; u, e8 |5 B  ]! r, ]    osd: 6 osds: 6 up (since 9m), 6 in (since 2w)
2 k% w- G+ ~# y! J3 h( h
  data:
    pools:   8 pools, 201 pgs
    objects: 68 objects, 87 MiB
    usage:   6.6 GiB used, 593 GiB / 600 GiB avail
    pgs:     201 active+clean
[root@ceph-stroage01 ~]#
[root@ceph-stroage01 ~]# ceph health detail
  d2 F- a& f' M1 `HEALTH_ERR 2 filesystems are offline; 2 filesystems are online with fewer MDS than max_mds
+ _; O1 @7 U  ^. s' o* g+ v" H3 ^[ERR] MDS_ALL_DOWN: 2 filesystems are offline
2 y3 h, X& k. f. u$ o    fs cephfs is offline because no MDS is active for it.
" @  Y$ ~* b3 o9 h: b- w    fs cephfs_k8s is offline because no MDS is active for it.
[WRN] MDS_UP_LESS_THAN_MAX: 2 filesystems are online with fewer MDS than max_mds
# @' q$ |; q) |- m: F    fs cephfs has 0 MDS online, but wants 1
    fs cephfs_k8s has 0 MDS online, but wants 1
[root@ceph-stroage01 ~]#
% |4 ^0 S. z/ N6 T1 ~" v6 L9 \8 k所有的mds都没有active的状态，造成元数据无法恢复，所以此时需要放弃原来的cephfs，重建构建基于原来data池生成新的cephfs.
! _# h/ w/ @" G* I$ `' W/ k9 i2 S
' S* Z% y  u" k9 z( T: ~+ P0 n2.元数据故障恢复
. {  R8 o% l( k" E0 [6 ^step 1.设置允许多文件系统
  M: W2 R! h- Q- R2 C) G, ?
* M! [/ y  G1 Z' c1 M: U; `, ?ceph fs flag set enable_multiple true --yes-i-really-mean-it
# r  f( b1 \3 r' }step 2.创建一个新的元数据池，以免损坏原来的元数据

2 u. k+ `0 X/ H" _! Uceph osd pool create recovery 8
step 3.将存储池fs_data和新的元数据池recovery关联创建一个新的recovery-fs

* f# C2 Y+ v, k3 G8 m3 g2 c4 N/ |ceph fs new recovery-fs recovery fs_data --allow-dangerous-metadata-overlay
step 4.文件系统的初始化相关工作
  A) j0 ]9 S$ Q# v
! Q0 ?9 i  E% \; F  wcephfs-data-scan init --force-init --filesystem recovery-fs --alternate-pool recovery
step 5.reset fs
: v- S. \2 W/ |' z9 o0 g
ceph fs reset recovery-fs --yes-i-really-mean-it

2 Y* Z" j$ R, w% T4 s% e! r[root@ceph-1 ~]# ceph fs reset recovery-fs --yes-i-really-mean-it
( ~2 H, i; W  A$ x8 z* h) eError EINVAL: all MDS daemons must be inactive before resetting filesystem: set the cluster_down flag and use `ceph mds fail` to make this so
; `$ j" k' R! O# U. Q3 C/ ]
若失败，要把所有mds fail掉或者stop掉，再快速执行上面命令。
9 ?* k1 L/ |4 Q& A
cephfs-table-tool recovery-fs:all reset session
cephfs-table-tool recovery-fs:all reset snap
! E/ c" G( Q9 a) _- ?cephfs-table-tool recovery-fs:all reset inode
9 {* C: \+ C( l
, E& r! O" J# Z& ^( |0 o- v: `[root@ceph-1 ~]# cephfs-table-tool recovery-fs:all reset session
  I; o) O# v' E) y, e{
    "0": {
        "data": {},
# X$ P& C3 j. T/ L$ D        "result": 0
4 X# i! {  ~/ x    }
}
$ H: A, O" G8 d" f7 s$ ^+ }0 y
. N/ Y" {/ ^6 P6 d; J9 c[root@ceph-1 ~]# cephfs-table-tool recovery-fs:all reset snap
8 Z4 c: ?! ~8 u- G) D3 z{
* T# z" ?2 V2 A4 @* e* s" B* }7 T    "result": 0
, s- w; Q& i5 J, V}
" Z  j5 O7 I5 Y+ S% w
/ h- w! \6 S; W[root@ceph-1 ~]# cephfs-table-tool recovery-fs:all reset inode
1 k1 Y5 i6 f/ v' J! {2 A{
% R/ O; w5 R5 K) ]    "0": {
        "data": {},
        "result": 0
1 W  F1 i% N+ t    }
}


出现Address family not supported by protocol的错误忽略掉
[root@ceph-1 ~]# ceph fs reset recovery-fs --yes-i-really-mean-it
Error EINVAL: all MDS daemons must be inactive before resetting filesystem: set the cluster_down flag and use `ceph mds fail` to make this so

& U$ G/ ~# u7 T. b4 g

[root@ceph-1 ~]# ceph fs status
1 L5 c# L, q! E' Rcephfs - 0 clients
======
+------+--------+--------+----------+-------+-------+
+ k  O! Q7 B  P$ x| Rank | State  |  MDS   | Activity |  dns  |  inos |
  n: }0 G+ X) K9 w: b" W+------+--------+--------+----------+-------+-------+
! B# Z& a! Y2 ]$ i; c: p3 a! V7 F) V( Q|  0   | replay | ceph-2 |          |    0  |    0  |
+------+--------+--------+----------+-------+-------+
+------------+----------+-------+-------+
" @3 G3 m% g0 r$ G( a! u|    Pool    |   type   |  used | avail |
+------------+----------+-------+-------+
|  metedata  | metadata |  569k |  275G |
| cephfsdata |   data   | 1273M |  275G |
: @( }7 y. F9 I: K3 b! i+------------+----------+-------+-------+
recovery-fs - 0 clients
===========
+------+--------+--------+---------------+-------+-------+
# [- f; d6 c4 T| Rank | State  |  MDS   |    Activity   |  dns  |  inos |
+------+--------+--------+---------------+-------+-------+
  i* U; d2 x  g$ t! X|  0   | active | ceph-1 | Reqs:    0 /s |   10  |   12  |
* j, ^9 W$ O: b8 z/ ]0 g/ C: Y$ G+------+--------+--------+---------------+-------+-------+
. \1 Z0 i( y4 H) n& g, p+------------+----------+-------+-------+
|    Pool    |   type   |  used | avail |
' C! {" a0 a8 S7 S+------------+----------+-------+-------+
|  recovery  | metadata | 2138  |  275G |
: f( v  Z2 S* b6 [. Z| cephfsdata |   data   | 1273M |  275G |
+------------+----------+-------+-------+
* e4 w$ h5 V: I4 {% ?
+-------------+
| Standby MDS |
+-------------+
" X% p4 b5 a9 c; z! y* G0 l' S|    ceph-3   |
# f# q; W# o# G, g2 a% D! A" H- j+-------------+
, n6 v3 Z  x# B; [$ ~MDS version: ceph version 12.2.8-52.el7 (3af3ca15b68572a357593c261f95038d02f46201) luminous (stable)
" p# p5 }8 `+ u+ t

step 6.恢复相关



确保新建的recovery-fs没有active的mds,有则stop掉，不然该mds容易crashed。

- i) t! t& _* C1 `! Y# e
, d, w: u4 A' ^. k  d$ ]cephfs-data-scan scan_extents --force-pool --alternate-pool recovery --filesystem cephfs fs_data
cephfs-data-scan scan_inodes --alternate-pool recovery --filesystem cephfs --force-corrupt --force-init fs_data
& T* H% s7 L1 W! B. p. qcephfs-data-scan scan_links --filesystem recovery-fs
[root@ceph-1 ~]# cephfs-data-scan scan_extents --force-pool --alternate-pool recovery --filesystem
[root@ceph-1 ~]# cephfs-data-scan scan_inodes --alternate-pool recovery --filesystem cephfs --force-corrupt --force-init cephfsdata
[root@ceph-1 ~]# cephfs-data-scan scan_links --filesystem recovery-fs
出现Address family not supported by protocol的错误忽略掉

% m" g- @. D  l# fsystemctl start ceph-mds@node82
等待 mds active 以后再继续下面操作

ceph daemon mds.node82 scrub_path / recursive repair
设置成默认的fs
. ^0 e3 X# t$ ~/ B, o4 n( b' Z
0 T/ }% N# l: g+ ~/ t1 Aceph fs set-default recovery-fs
[root@ceph-1 ~]# ceph fs set-default recovery-fs
- s' @1 Z+ p) R$ [  d) ~+ }
可以看到在lost+found里面就有数据了这个生成的文件名称就是实际文件存储的数据的prifix，也就是通过原始inode进行的运算得到的。

7 W( b0 O4 r; n/ E4 Y9 F备份原始的元数据信息
' H  A& ^& o+ l* ^
2 k+ R+ F9 E" {  y2 pceph daemon mds.node82 dump cache > /tmp/mdscache
- Z$ j% a1 |# O! @
[root@ceph-1 ~]# ceph daemon mds.ceph-1 dump cache  >/tmp/mdscache

[root@ceph-1 ~]# ceph-fuse -m 192.168.120.23:6789 /mnt/
8 Q; v* ~, t- ~" L; V2 D! u4 h2022-08-08 14:34:55.355051 7fa47e9940c0 -1 init, newargv = 0x5588a05e0720 newargc=9ceph-fuse[43889]: starting ceph client
' E2 }# b2 a& G' I: d
ceph-fuse[43889]: starting fuse
[root@ceph-1 ~]# df -Th
Filesystem            Type            Size  Used Avail Use% Mounted on
/ c1 q$ X$ t$ L- p' W( U7 Ddevtmpfs              devtmpfs        1.9G     0  1.9G   0% /dev
! T. F5 H7 V; q& E$ Z+ |tmpfs                 tmpfs           1.9G     0  1.9G   0% /dev/shm
& ^5 F0 m, }. [1 h0 i, wtmpfs                 tmpfs           1.9G   25M  1.9G   2% /run
" u  `! x, r+ f6 K5 s0 w+ ~; f- Htmpfs                 tmpfs           1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/mapper/rhel-root xfs              50G  7.9G   42G  16% /
4 M+ n9 K; p2 b; x  y  ~' R! R1 {/dev/vda1             xfs             497M  143M  355M  29% /boot
% s! d4 \5 t( Y" A5 r2 |/dev/vdb1             xfs              98G  529M   97G   1% /var/lib/ceph/osd/ceph-0
' A. J1 i# @, ~; n/dev/vdc1             xfs              98G  527M   97G   1% /var/lib/ceph/osd/ceph-1
tmpfs                 tmpfs           379M     0  379M   0% /run/user/0
ceph-fuse             fuse.ceph-fuse  278G  1.3G  276G   1% /mnt
[root@ceph-1 ~]# cd /mnt/
[root@ceph-1 mnt]# ls
lost+found
[root@ceph-1 mnt]# cd lost+found/
8 E. T5 q) _9 `3 p[root@ceph-1 lost+found]# ls
10000000000  1000000000d  10000000019  10000000025  10000000031  1000000003d  10000000049
10000000002  1000000000e  1000000001a  10000000026  10000000032  1000000003e  1000000004a
2 d* F" W* w+ z/ ]10000000003  1000000000f  1000000001b  10000000027  10000000033  1000000003f  1000000004b
10000000004  10000000010  1000000001c  10000000028  10000000034  10000000040  1000000004c
- p- Z; t: ^; L0 O. X* G. L10000000005  10000000011  1000000001d  10000000029  10000000035  10000000041  1000000004d
. @' y+ s$ t+ `0 E+ z10000000006  10000000012  1000000001e  1000000002a  10000000036  10000000042  1000000004e
10000000007  10000000013  1000000001f  1000000002b  10000000037  10000000043  1000000004f
. M4 A4 c' P: s+ _. ^10000000008  10000000014  10000000020  1000000002c  10000000038  10000000044  10000000050
' M! R% C- i; @9 Y; D) C; A10000000009  10000000015  10000000021  1000000002d  10000000039  10000000045  10000000051
1000000000a  10000000016  10000000022  1000000002e  1000000003a  10000000046  10000000052
  B& N' R* O: h: z1000000000b  10000000017  10000000023  1000000002f  1000000003b  10000000047
1000000000c  10000000018  10000000024  10000000030  1000000003c  10000000048

/ N0 R* E8 b; r, X元数据恢复原理
一般文件系统采用的fsck命令来维护文件系统一致性，但是fsck对cephfs的难度是非常大的，主要原因在于其机制存在根本的区别：

cephfs修复的是一个rados集群数据而非一块磁盘设备；
需要精确的识别数据的所有数据片，及这些数据片所属的inode
6 E' q5 n7 b+ D3 v大量的元数据不可能全部保存到内存中
# m4 ^. C2 @2 m数据丢失原因可能在于
+ [0 Q( l# z9 U. h" m/ q(1)系统bug导致；
(2)由于RADOS同步的灾难性故障——可能到时大量数据丢失；
(3)bit位翻转(bitrot)
cephfs-data-scan
cephfs-data-scan根据数据存储池中的内容重新生成丢失文件和目录的元数据对象。
step 1.初始化
; j- t1 T& S9 Y+ g5 D
( F* c$ x( N9 t: S! M/ _cephfs-data-scan init
1 o" u+ S% u9 C6 m5 M; z7 A0 H
* A2 n; X( ?$ ~- X; g5 K3 Y! [4 vstep 2.扫描所有对象以计算索引节点的尺寸和 mtime 元数据；

cephfs-data-scan scan_extents <datapool>

```bash
6 I- c& h* }' Z6 {, ~step 3.从每个文件的第一个对象扫描出元数据并注入元数据存储池。
```bash
+ w, o4 w' T" S3 z' L2 H$ \( O& `) ]
# i) I8 Z$ w. c3 Ecephfs-data-scan scan_inodes <datapool>
# H: y9 `* ]% _, j3 ?
1 c6 \9 j3 o5 U% ^4 T如果数据存储池内的文件很多、或者有很大的文件，这个命令就要花费很长时间。要加快处理，可以让这个工具多跑几个例程。先确定例程数量、再传递给每个例程一个数字 N ，此数字应大于 0 且小于 (N - 1) ，像这样
6 y3 e: U* M8 S* k5 P
# Worker 0
cephfs-data-scan scan_extents <data pool> 0 1
# Worker 1
cephfs-data-scan scan_extents <data pool> 1 1
) T) r5 V  c3 l# Worker 0
, |+ Z( K+ U) W. g. M' u! j7 ecephfs-data-scan scan_inodes <data pool> 0 1
# Worker 1
cephfs-data-scan scan_inodes <data pool> 1 1

* a6 Q, L) o! x, Q/ x
8 i3 u3 B2 k8 b: y4 t9 _3.mds rank 0 is damaged
' b# ^% m0 P( R3 M6 x启动ceph后，出现如下错误：
: U) B4 ^- t% D
[root@k8s-node2 ~]# ceph health detail
! q7 l6 e8 e1 cHEALTH_ERR mds rank 0 is damaged; mds cluster is degraded
mds.0 is damaged
2 e  h5 k: P0 M$ G6 S3 Jmds cluster is degraded
提示 mds.0 不可用。
在部署ceph时，安装了3个mds, 分别运行在3台服务器上。并且参考官方的配置，使其中一个作为 master 对外提供服务，另外两个作为 standby。来预防单点故障。(max_mds 设置为 2)
7 C! q0 e7 B% I) |! ^& H  S0 x( }% whttp://docs.ceph.com/docs/jewel/cephfs/standby/#examples

2 [- n  i6 K# R; V4 S$ I" O: z该错误发生后，3 个mds，均为 standby 状态。按照官网的描述来看，当所有 mds 均处于 standby 状态时，其中一个 mds 会选举称为 master.
9 K: ~' J) k0 I* S0 @0 o4 q# t于是挨个停止mds, 随后又逐个启动并查看/var/log/ceph/ceph-mds.xx.log。发现 mds 在称为 master 时，出现了如下错误：

...
2017-09-26 11:30:48.976326 7f9ee3941700  0 mds.0.journaler(ro) _finish_read got less than expected (4194304)
2017-09-26 11:30:48.976354 7f9ee1734700  0 mds.0.log _replay journaler got error -22, aborting
2017-09-26 11:30:49.071230 7f9ee3941700  0 mds.0.journaler(ro) _finish_read got less than expected (4194304)
2017-09-26 11:30:49.071472 7f9ee1734700 -1 log_channel(cluster) log [ERR] : Error loading MDS rank 0: (22) Invalid argument
2017-09-26 11:30:49.076129 7f9ee1734700  1 mds.k8s-node1 respawn
...
( h# S+ q, d$ {2017-09-26 11:30:49.099291 7f99e58be180  0 pidfile_write: ignore empty --pid-file
2017-09-26 11:30:49.571643 7f99dfacf700  1 mds.k8s-node1 handle_mds_map standby
提示在读取 journal 的时候出现差错，因此可以确定问题出在 mds journal 上。

- }4 U( C4 T1 x. [) q0 t2 t$ ceph mds repaire 0
参考官方的故障恢复
http://docs.ceph.com/docs/jewel/cephfs/disaster-recovery/
( u$ E1 y1 ]5 |) ]
# v5 O2 E7 p. X- {4 ^8 ]step 1.导出 journal
在执行有风险的操作之前，先将 journal 备份：

ceph-journal-tool journal export backup.bin
3 \7 c; R; V9 K% T  ]9 P. Z+ D4 wNote : 这个文件大小和ceph集群存储数据量成正比，会很大
: |. G+ I* x& q" o7 V, }: t
step 2.从 journal 恢复
: Y% a9 }' Z  I5 C" F当 mds 因为 journal 损坏或者其他原因无法读取，为了恢复文件元数据可以执行：

ceph-journal-tool event recover_dentries summary
; s, U) k9 e  q- W! a5 c# z; r4 s默认会从 mds.0 中恢复, 使用 –rank=<n> 来指定其他mds
# j8 i4 l1 j9 w6 G
5 G3 B  C2 P! ^3 \这条指令会将 journal 中所有可回收的 inodes/dentries 写到后端存储，前提是要写入的 innodes/dentries 版本比后端存储里面的要高。 如果某个区块的 journal 丢失或者损坏，那么就不会被写到后端存储中。
9 Y% @4 g6 Q, P' N
Note: 除了将inodes/dentries 写入之外， 这条命令还会更新每个 MDS 的 InoTables, 标明被写入的 inodes 号在使用中，在一般情况下，会让后端存储恢复正常状态。

此操作不能保证后端存储的状态达到前后一致，而且在此之后有必要执行 MDS 在线 scrub。此命令不会更改日志内容，恢复了能恢复的部分后应该把journal截短。

$ B0 M$ T* H; r& D4 ?Note : 然而在执行这个命令之后，集群并未恢复正常，因此还需要往下看

$ A8 |4 }2 R) ustep 3. 截断日志

5 S) `7 _& n) M$ ~cephfs-journal-tool journal reset
* l( w( A( i# i. h3 v重置journal 将会造成metadata丢失，除非你提前通过诸如 recover_dentries 的方式将metadata保存。该操作可能会在数据池里面产生一些孤儿对象。这会造成已写入的inodes再次被重新分配， 权限规则可能因此被违反。
( f% _; i1 P/ G" A
Note : 有个类似的 issue中也提到了上述步骤（link）,但执行到这一步后，就没往下走了。
And mds rejoined again and everything seems to work fine now. 这点我没验证过，担心会有隐患。于是按照文档步骤继续执行了。

: U) h& a% e  G/ `step 4. 清除 MDS 表
在 journal 被 reset 之后， 它可能不再符合MDS表的内容（包括：InoTable, SessionMap, SnapServer）. 重置 SessionMap (即擦除所有Session) , 通过命令：

cephfs-table-tool all reset session
0 ?; t. i( ^) K- v  h# q; |* g2 }# Y这条命令会在所有mds中生效， 可以将 all 替换为指定 mds 标号。
7 f) ?1 A# c( l, xstep 5.MDS MAP RESET
一旦文件系统底层的 RADOS 状态（即元数据存储池的内容）有所恢复，有必要更新 MDS 图以反映元数据存储池的内容。可以用下面的命令把 MDS MAP 重置到单个 MDS ：
& l. K5 r! X: g
ceph fs reset <fs name> --yes-i-really-mean-it
9 }5 o) @1 v9 R运行此命令之后， MDS rank 保存在 RADOS 上的任何不为 0 的状态都会被忽略：因此这有可能导致数据丢失。
" U5 Q, j' e! C& h, p- e- g1 N
- F9 ?; e; n! H2 z1 ?2 p1 G3 TNote : fs name 可通过 ceph fs ls 查看
; i: v# ^- a. k
. v; r0 E3 `3 g, v* R6 Z/ Estep 6. RECOVERY FROM MISSONG METADATA OBJECT

6 m# d& i0 q4 D3 O% B! c0 q9 L/ H# Session table
cephfs-table-tool 0 reset session
7 R- _+ v- m' K& ?+ ^: T) Q0 w0 L# O# SnapServer
9 W) z9 J  h1 Q; J4 |* @5 u3 ]cephfs-table-tool 0 reset snap
# InoTable
# W/ C: M9 I7 P0 V; R8 b& zcephfs-table-tool 0 reset inode
0 T9 i9 O6 `& k' g; X- l# Journal
cephfs-journal-tool --rank=0 journal reset
6 w" k4 t, E7 D, g. d# Root inodes ("/" and MDS directory)
/ q. x5 k! h3 k3 |cephfs-data-scan init
最后，会基于数据池中丢失的文件和目录来重新创建 METADATA OBJECT。分为2步。
- q- B1 A+ e' i& d
! O3 l5 E# E* w7 y2 U) D/ K# }# e9 W扫描所有对象并计算出inodes 的大小和 mtime metadata

cephfs-data-scan scan_extents <data pool>
# ?4 t) D9 B6 s扫描每个文件中的第一个对象来收集METADATA，随后注入到 metadata pool

cephfs-data-scan scan_inodes <data pool>
Note : 这两个步骤太耗时了，应该考虑起多个workers来同步处理。data pool 可通过 ceph fs ls 查看
  f8 L6 R9 Y3 H+ w/ B1 {" Q( S
; i4 c8 e* b  W& Z- `8 w6 g# Worker 0
4 \6 o- a! P, |1 xcephfs-data-scan scan_extents <data pool> 0 1
# Worker 1
; p* Q! T4 u; U  mcephfs-data-scan scan_extents <data pool> 1 1
  W- ~1 B" u0 k# Worker 0
0 ^$ M$ Y+ R# X( a6 W+ A' y5 Z* ccephfs-data-scan scan_inodes <data pool> 0 1
# Worker 1
8 M9 h& _) z- n: Vcephfs-data-scan scan_inodes <data pool> 1 1
* ~1 H/ y) ]! S# \- JNote : 一定要确保在所有 workers 完成 scan_extents 之后再进行scan_inodes操作。==

待所有操作执行完毕之后：

[root@k8s-master ~]# ceph -s
    cluster e61d687d-f43d-4f50-af66-da96e5856be9
     health HEALTH_OK
3 d& N4 v4 @; O     monmap e5: 3 mons at {k8s-master=172.16.18.30:6789/0,k8s-node1=172.16.18.6:6789/0,k8s-node2=172.16.18.7:6789/0}
* m" p. ^: p9 m* t0 w5 [! {/ f. t            election epoch 676, quorum 0,1,2 k8s-node1,k8s-node2,k8s-master
      fsmap e4970: 1/1/1 up {0=k8s-node1=up:active}, 2 up:standby
     osdmap e2914: 6 osds: 6 up, 6 in
& o0 O$ C) }/ [" x$ ~0 Z9 u# _            flags sortbitwise,require_jewel_osds
; @" [- ^& ?& i; R& e      pgmap v10110565: 256 pgs, 4 pools, 25575 MB data, 372 kobjects
            58730 MB used, 11115 GB / 11172 GB avail
, \: `9 G9 \! z                 256 active+clean

4 ?+ F! _5 f# o6 }6 l0 z
1 j; h2 N! D! l( K. J" Y( w! r
5 L( R3 C3 J* Q+ b+ W
. ~3 K# n& x$ w$ F# J0 I
2 B% K" ]; x( R# f/ G
1 i) z4 F4 M$ c5 [4 p