1 OSD(s) experiencing BlueFS spillover ceph分布式存储

admin

% L- b% x& N& T# I+ F" ?) e ceph -s
  cluster:
2 A2 j; [1 f+ m2 A    id:     5fa16469-8be4-4457-8a78-12b1910afff7
' t# t) l' T1 Q# v8 m    health: HEALTH_WARN
            1 OSD(s) experiencing BlueFS spillover

. }2 x# Z% g' O; Y$ R" s2 Z; j$ D$ o

. n' M1 w2 l" [8 i ceph health detail
HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
- k8 j% D$ w1 l8 J. I* g' J     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
+ f) F9 H: B+ y# ~6 u
问题很奇怪，以前没有遇到过
* m- N! F, z9 E' r$ G
HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
0 B0 A( P3 g$ s: a1 j9 M[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
; c# E% A; [3 O5 [0 ]* F  L! F2 e     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device


查看官方解答说明：
* I4 {7 L8 h5 H9 r  I

导致 BlueFS Spillover 的代码问题已在 RHCS 5.0 及更高版本中解决。
请参阅 Root Cause 部分中的提及的 Bugzilla 和 Errata。

如果您可以接受因为这个问题导致的 HEALTH_WARN，且您的 Ceph 集群计划很快会升级到 RHCS 5.3 或更高版本，则不需要进行任何操作。
( {- y7 i" E% B0 h* a5 w! S
如果您希望清除 HEALTH_WARN，请在每个 OSD 上执行以下操作（一次在一个 OSD 上执行）。
) r" M- [) `* @8 e0 y# p- e; z- compact OSD
- 保护到托管 OSD 节点的 shell，并重新启动 OSD
. a  I9 E5 p9 R) L  \! U- 再次 compact OSD
, j# n9 F  J5 Y7 N! _- 保护到托管 OSD 节点的 shell，并重新启动 OSD

解决办法：


- `5 I: x6 r: O" Z# ceph daemon osd.<id> compact  <--wait 2 minutes afterwards
8 x+ W% J9 S3 A7 m* E# ~# C" v, T" `; ?

% Z3 L; w3 p9 _$ u% _示例：
ceph daemon osd.18 compact{    "elapsed_time": 22.966318924999999}
0 m2 Z% n0 H$ y& A2 [* P# M/ `: Z% {
" X* O3 \' z* ~4 \( E5 L% k  e, L6 T5 A# systemctl stop ceph-osd@{id}; sleep 2; systemctl start ceph-osd@{id}
4 o( I% l5 \) C; w, `- g6 W& t示例：systemctl stop ceph-osd@18.service ;sleep 2 ;systemctl start ceph-osd@18.service

Remember to repeat both commands a second time after ~1 minute执行这两条命令要保证1分钟之后。
) [! R$ }6 f" S  ^  X
再执行ceph -s状态恢复正常。
ceph -s  cluster:    id:     5fa16469-8be4-4457-8a78-12b1910afff7    health: HEALTH_OK
7 g) a$ K% L9 z1 ]
- X* H1 i$ v$ R! i" a
8 y6 F7 u4 Y* R" G# c

1320503165

ceph daemon osd.18 perf dump | grep -C 3 bluefs
# U( S8 n( H1 I; j        "msgr_recv_encrypted_bytes": 154032,
" g9 m# b- r7 K  s* g$ a- m        "msgr_send_encrypted_bytes": 12016
* C3 H$ w6 K& w6 k4 q. A$ b    },
7 {1 N. Q8 c2 a, X. y0 }1 I9 w2 u; l    "bluefs": {
& y7 B- u& ]: i; k- R: T. P        "db_total_bytes": 200038932480,
+ @' g  e: d0 a+ _# a        "db_used_bytes": 1681915904,
        "wal_total_bytes": 200038936576,

admin

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
8 U$ G$ I. A1 S, l9 q# h  Z8 r[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
+ n; d, Z7 a" U* [9 h0 k     osd.25 spilled over 774 MiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device

admin

ceph daemon osd.25 compact
$ X% h) B. F( @$ }  U/ P
3 }0 Q+ [- t4 H. K- d; y5 ^  U, i& x
$ z" f2 B6 T/ n- [{
    "elapsed_time": 23.914333896999999
. y: o# B/ ?3 U1 i" p# \; c}

: _$ ~( L: z' A
; M2 T" h; H, q5 F. Fsystemctl stop ceph-osd@25.service ;sleep 2 ;systemctl start ceph-osd@25.service
7 H0 G7 L1 A# c7 [3 q# {
5 _4 a, m8 K% F1 u
7 ^% f8 ^* I1 f* I- v  I6 hceph health detail
HEALTH_OK


ceph -s
5 J$ k3 X# q; b5 W  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
, m) }/ K) C" _    health: HEALTH_OK