1 OSD(s) experiencing BlueFS spillover ceph分布式存储

admin

ceph -s
4 @- c: r2 B! U5 ]  S: ~3 u) v  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
    health: HEALTH_WARN
% K4 F3 ^# G/ Y! H) g* ^( P+ K            1 OSD(s) experiencing BlueFS spillover

+ V2 S2 `& |3 Y3 |5 H3 Z$ r  T- ?
" w/ H: U5 W4 f9 I' i+ N8 t
ceph health detail
! q) K7 F& a  j* w' x4 _HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
" i* z. `; i0 H3 @  J
问题很奇怪，以前没有遇到过

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
& ]! ~6 m  a3 d$ w, v[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
  T+ a# r+ R+ r" D     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
4 F- ^! v7 }# w1 u/ ]* Z7 [' [0 S

1 h7 r3 ^3 E$ S查看官方解答说明：
9 X/ H8 t$ w0 q7 _) n+ V6 E1 O

, B3 \, ?; @3 b导致 BlueFS Spillover 的代码问题已在 RHCS 5.0 及更高版本中解决。
请参阅 Root Cause 部分中的提及的 Bugzilla 和 Errata。

( J1 F1 {9 |: l0 `# B0 T4 _6 b如果您可以接受因为这个问题导致的 HEALTH_WARN，且您的 Ceph 集群计划很快会升级到 RHCS 5.3 或更高版本，则不需要进行任何操作。

如果您希望清除 HEALTH_WARN，请在每个 OSD 上执行以下操作（一次在一个 OSD 上执行）。
( l5 D2 r! @" ?" @4 E3 ?6 M- compact OSD
; ]! S) T4 F. T" D7 x5 {- 保护到托管 OSD 节点的 shell，并重新启动 OSD
8 z7 J$ I5 L% K% r: `- 再次 compact OSD
) P, r! ^% K& z- 保护到托管 OSD 节点的 shell，并重新启动 OSD

8 S1 H7 o. S; Y, d解决办法：

# D/ w2 f' E9 f- Y, ?& I
# ceph daemon osd.<id> compact  <--wait 2 minutes afterwards

$ p4 N1 L' y# d2 k3 F6 F9 t
示例：
* `2 `1 X( T" ^/ P+ ^- iceph daemon osd.18 compact{    "elapsed_time": 22.966318924999999}
* G5 h( y* X- Z) H# e7 b
# systemctl stop ceph-osd@{id}; sleep 2; systemctl start ceph-osd@{id}
示例：systemctl stop ceph-osd@18.service ;sleep 2 ;systemctl start ceph-osd@18.service

Remember to repeat both commands a second time after ~1 minute执行这两条命令要保证1分钟之后。

再执行ceph -s状态恢复正常。
ceph -s  cluster:    id:     5fa16469-8be4-4457-8a78-12b1910afff7    health: HEALTH_OK

1 t5 I# Z- \: t( G' O
# M' B/ m+ L- R9 ?
( @- Y% e  {6 }/ Y+ L! e
. H4 g# H% \: f6 B% |3 N: B* i

1320503165

ceph daemon osd.18 perf dump | grep -C 3 bluefs
6 x1 r  m0 d0 W0 o$ S8 _" N1 Q        "msgr_recv_encrypted_bytes": 154032,
        "msgr_send_encrypted_bytes": 12016
$ \) \* [. o; q% m  J2 C% ]. Z    },
# J. k& ~+ L; X    "bluefs": {
        "db_total_bytes": 200038932480,
3 Z2 b6 C0 O9 d( a# K        "db_used_bytes": 1681915904,
* Y4 v7 G6 }9 {2 \        "wal_total_bytes": 200038936576,

admin

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
/ H$ C3 F2 F, e8 u     osd.25 spilled over 774 MiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device

admin

ceph daemon osd.25 compact


{
1 a8 s0 }( q! l, W6 j    "elapsed_time": 23.914333896999999
5 B/ N  m( _9 i3 [}
2 S  K) [( T6 K  F

systemctl stop ceph-osd@25.service ;sleep 2 ;systemctl start ceph-osd@25.service
: i9 \* X! G" Q8 ^; I; f1 c

ceph health detail
1 k8 H/ J, G; pHEALTH_OK
. z1 G4 x4 H6 N5 \" I
  A! F6 v% V) x( ^. c2 _  X4 ~/ M
' d2 M9 D- a0 x5 h7 C3 F ceph -s
  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
    health: HEALTH_OK
3 O6 [+ J$ h* _) ?4 o; t# B