1 OSD(s) experiencing BlueFS spillover ceph分布式存储

admin

ceph -s
  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
    health: HEALTH_WARN
1 [) P- ?- n/ ], e6 S6 t( r3 E% W# e            1 OSD(s) experiencing BlueFS spillover
8 e6 t; I$ q& w7 j0 ?0 H
6 r  w8 v# j% L: a/ J3 e. m
" V2 j; o3 Y7 B( {+ r5 F8 H- ?7 M
2 g9 t9 X& V% ]6 C8 b ceph health detail
) W9 n  i: Y/ x  k4 r& kHEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
: N) Z( V" g: M: U6 }1 s8 L( U[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
* `, T2 m8 Z* ^& ^     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
2 x2 N) @6 b: m
问题很奇怪，以前没有遇到过
$ N9 |" R$ t& O6 d1 O1 W" l( B
HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
# ~" a  G% w' b* a% h& a; [[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
0 e6 N9 F- ]. z# V. u) Y) t     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device


查看官方解答说明：
) a3 b+ J; U- ?
2 A5 n' x$ t  D# X9 R
& [# h( R  m3 W导致 BlueFS Spillover 的代码问题已在 RHCS 5.0 及更高版本中解决。
: C* y8 i% n! G; N( ^& |! p* u请参阅 Root Cause 部分中的提及的 Bugzilla 和 Errata。

如果您可以接受因为这个问题导致的 HEALTH_WARN，且您的 Ceph 集群计划很快会升级到 RHCS 5.3 或更高版本，则不需要进行任何操作。
5 x# n6 j7 Y4 W: j/ {
! ]3 |! l0 X7 g8 {- v) f如果您希望清除 HEALTH_WARN，请在每个 OSD 上执行以下操作（一次在一个 OSD 上执行）。
- compact OSD
- 保护到托管 OSD 节点的 shell，并重新启动 OSD
7 [3 n" G1 o: W3 p6 l3 F: c- 再次 compact OSD
- 保护到托管 OSD 节点的 shell，并重新启动 OSD

解决办法：
2 r1 _& Q" u8 a' |
5 v% O$ ]. M7 p2 i/ K! |& K
# ceph daemon osd.<id> compact  <--wait 2 minutes afterwards
8 _* m- f0 \8 {3 H9 Q- h
% B( v# X  a1 O# c
7 O7 @% u2 q: i- v; u( [' `示例：
0 P/ r% o- L. u5 l8 Q- A, |ceph daemon osd.18 compact{    "elapsed_time": 22.966318924999999}

# systemctl stop ceph-osd@{id}; sleep 2; systemctl start ceph-osd@{id}
示例：systemctl stop ceph-osd@18.service ;sleep 2 ;systemctl start ceph-osd@18.service
! N6 i' c# Y1 |2 w( h* w
Remember to repeat both commands a second time after ~1 minute执行这两条命令要保证1分钟之后。
# d2 K* g) \2 K- }
9 ~! Y2 @+ X, K8 e* v  J再执行ceph -s状态恢复正常。
ceph -s  cluster:    id:     5fa16469-8be4-4457-8a78-12b1910afff7    health: HEALTH_OK
* u! |) h! x4 b9 u
" g+ r6 @  y$ @/ L6 }

1320503165

ceph daemon osd.18 perf dump | grep -C 3 bluefs
' X+ m- x$ _; [0 M0 @        "msgr_recv_encrypted_bytes": 154032,
        "msgr_send_encrypted_bytes": 12016
, c! j9 I0 P. R9 q6 B1 i; K    },
    "bluefs": {
        "db_total_bytes": 200038932480,
        "db_used_bytes": 1681915904,
/ f% {0 B3 _" g6 B0 I! f        "wal_total_bytes": 200038936576,

admin

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
     osd.25 spilled over 774 MiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
' K1 v+ t( M& \" a- s" P

admin

ceph daemon osd.25 compact


{
, K# V, Y' u* V7 \# k6 F9 l* j/ r9 }    "elapsed_time": 23.914333896999999
}

. w) h# W0 C/ l. f$ z/ j, y
systemctl stop ceph-osd@25.service ;sleep 2 ;systemctl start ceph-osd@25.service
1 n6 R  @' T8 v
, X3 r2 z( p; g
ceph health detail
7 E- k2 ]  v1 I4 n; b% mHEALTH_OK


, g/ `2 D8 o+ H4 U ceph -s
  cluster:
. N4 ?# r) K. n    id:     5fa16469-8be4-4457-8a78-12b1910afff7
7 {+ s) I) g9 ?: A( x2 a    health: HEALTH_OK