1 OSD(s) experiencing BlueFS spillover ceph分布式存储

admin

ceph -s
9 ~- ?# x3 D  M1 O: Q2 c  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
    health: HEALTH_WARN
# g7 b$ m  r! g+ M            1 OSD(s) experiencing BlueFS spillover
7 Z& a. I  _9 V

8 n7 [0 y* ?8 N
" h8 B% j; V; A, _ ceph health detail
$ O1 J! E! k# UHEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device

问题很奇怪，以前没有遇到过
+ g+ r8 b8 P1 C4 p, Y
HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
; ?: R: N2 H: k0 A[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
% `' T! K4 g9 S0 V* g# g     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
9 K8 ]+ Y  O: G7 m, F& F8 d, K
$ R7 i3 q% {+ s7 f2 N8 a( \
% t7 h, ~1 z; y5 N查看官方解答说明：

# x; x- G9 ^$ D% |3 {
导致 BlueFS Spillover 的代码问题已在 RHCS 5.0 及更高版本中解决。
& Q  V# x1 R1 w" \8 v请参阅 Root Cause 部分中的提及的 Bugzilla 和 Errata。
/ W0 o' z6 C4 p
如果您可以接受因为这个问题导致的 HEALTH_WARN，且您的 Ceph 集群计划很快会升级到 RHCS 5.3 或更高版本，则不需要进行任何操作。
$ P& @& B. T2 P1 t! m1 l
如果您希望清除 HEALTH_WARN，请在每个 OSD 上执行以下操作（一次在一个 OSD 上执行）。
- compact OSD
+ f* s9 `! H7 p0 v$ I- 保护到托管 OSD 节点的 shell，并重新启动 OSD
- 再次 compact OSD
- 保护到托管 OSD 节点的 shell，并重新启动 OSD
& t4 D1 e' h0 z% _# E
6 f0 ]# Z9 x. w/ V3 u9 Q解决办法：

) D' B# t) S. K; V  j& b) I& S( q
# ceph daemon osd.<id> compact  <--wait 2 minutes afterwards


% {, w5 Z* ^% P! R3 p示例：
ceph daemon osd.18 compact{    "elapsed_time": 22.966318924999999}
5 @8 }0 i3 Z% u
# systemctl stop ceph-osd@{id}; sleep 2; systemctl start ceph-osd@{id}
4 b% F) e3 C; ^! s" l, D: K" v示例：systemctl stop ceph-osd@18.service ;sleep 2 ;systemctl start ceph-osd@18.service

. v. F) P: B) K1 J4 R# M2 SRemember to repeat both commands a second time after ~1 minute执行这两条命令要保证1分钟之后。

再执行ceph -s状态恢复正常。
( r  M" B9 `. |. M; P ceph -s  cluster:    id:     5fa16469-8be4-4457-8a78-12b1910afff7    health: HEALTH_OK
& e$ I- p0 Q7 M9 U. u
0 R9 \- j! A1 r
- x1 a# a7 A$ i# D! k, \; f# F, a+ T

1320503165

ceph daemon osd.18 perf dump | grep -C 3 bluefs
        "msgr_recv_encrypted_bytes": 154032,
5 n2 W! ^' O' n7 T4 d% V9 z( [        "msgr_send_encrypted_bytes": 12016
    },
    "bluefs": {
- ^+ j3 o8 r# I, ?1 j        "db_total_bytes": 200038932480,
# p" i# O/ b1 M        "db_used_bytes": 1681915904,
        "wal_total_bytes": 200038936576,

admin

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
9 Q( {, x( v7 T! E- X( {[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
# j5 ]( y3 M$ L5 ~. M5 l# }     osd.25 spilled over 774 MiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device

admin

ceph daemon osd.25 compact
7 k* ]3 {- J. X8 ~8 c. }. j

- h& Z# X. ]% x: V8 c" |{
) O- X: H2 w+ b1 `  f* S    "elapsed_time": 23.914333896999999
. ~$ h2 z  _  T! @}

: b, ^* M/ E4 a8 h; ^/ s3 J
: B8 [" e: ~7 N& ~4 d# asystemctl stop ceph-osd@25.service ;sleep 2 ;systemctl start ceph-osd@25.service

8 k3 s* s' o4 |
6 e- |+ a7 P  E6 k" r  k) dceph health detail
) @. [4 a; i) [) `0 U# X7 G/ V8 aHEALTH_OK
, H/ \" A% Y" ^5 C8 c: Q' U* w
7 v) K1 Q) E) b+ C3 S/ q
# F' q$ Y) D5 L! U8 }5 N7 x ceph -s
  cluster:
5 y, f3 |6 ]3 O: a, C    id:     5fa16469-8be4-4457-8a78-12b1910afff7
) L( ?* }" D; W5 ], f3 D    health: HEALTH_OK

! p7 q/ M( o; d& |. f- F  |6 n