1 OSD(s) experiencing BlueFS spillover ceph分布式存储

admin

2 k7 O4 ~. p3 G- l; U0 V4 I ceph -s
  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
    health: HEALTH_WARN
8 H3 J% x/ e0 }7 t8 a            1 OSD(s) experiencing BlueFS spillover
. F/ b5 c+ l$ ]# {  v- F2 ?8 c2 R

1 [& r+ a. Z6 U. B
3 M8 |' N  E3 l8 u! `( x ceph health detail
4 T( B6 T' O8 G+ FHEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
/ u2 V+ c  M+ @9 m     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device

. X' O- H5 O$ p' \, i问题很奇怪，以前没有遇到过
6 [" S# ^% v% q. ~8 Y
0 X) U0 Z) h  _0 h" y/ Z9 {HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
) H# r" P+ i' p3 Z8 n2 e[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
     osd.18 spilled over 39 GiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device


查看官方解答说明：

. Y0 M, C' K7 G% Y
导致 BlueFS Spillover 的代码问题已在 RHCS 5.0 及更高版本中解决。
请参阅 Root Cause 部分中的提及的 Bugzilla 和 Errata。

如果您可以接受因为这个问题导致的 HEALTH_WARN，且您的 Ceph 集群计划很快会升级到 RHCS 5.3 或更高版本，则不需要进行任何操作。
+ i  r# ]9 I  ]1 x4 S; d
如果您希望清除 HEALTH_WARN，请在每个 OSD 上执行以下操作（一次在一个 OSD 上执行）。
' i) U' r) _% I) [$ L4 b! `. ]- compact OSD
* x3 R. z& C7 R! q8 z- 保护到托管 OSD 节点的 shell，并重新启动 OSD
- 再次 compact OSD
1 V# z) ]% c' B8 Q- 保护到托管 OSD 节点的 shell，并重新启动 OSD
' [3 ]9 k1 J7 L
解决办法：
+ a. R" y" m) }

# [4 q, q8 Y. q. y# @  K) K: |# J( G# ceph daemon osd.<id> compact  <--wait 2 minutes afterwards
! B9 V; Y& X8 I

% g* D! q  V7 `' e- ]7 g示例：
5 g1 ^  F+ {9 L4 z$ \7 R+ c6 eceph daemon osd.18 compact{    "elapsed_time": 22.966318924999999}

# systemctl stop ceph-osd@{id}; sleep 2; systemctl start ceph-osd@{id}
1 n$ Q$ W( M8 b6 d示例：systemctl stop ceph-osd@18.service ;sleep 2 ;systemctl start ceph-osd@18.service
& w2 Q/ {/ h4 ]
' p5 E( z8 G8 e0 r! WRemember to repeat both commands a second time after ~1 minute执行这两条命令要保证1分钟之后。
9 D+ I- N2 M$ J, Q* s
; Q+ E0 c5 Q4 w* u再执行ceph -s状态恢复正常。
( N( {* e! H; R, ~7 o1 i ceph -s  cluster:    id:     5fa16469-8be4-4457-8a78-12b1910afff7    health: HEALTH_OK
( Y( Y! z, E% I9 g- o- ]! Y


& U$ G+ ?/ m" e
, t: p; V" s6 \3 i! r% u0 H/ s7 |: b

1320503165

ceph daemon osd.18 perf dump | grep -C 3 bluefs
. Z: p+ @$ h7 D5 w/ i        "msgr_recv_encrypted_bytes": 154032,
        "msgr_send_encrypted_bytes": 12016
( {) d" _" r0 ?0 o/ q& j% }; y    },
( Z' r1 l7 w' ^2 }; M# |" q    "bluefs": {
; Z- ]4 \  j, U3 y6 I/ I        "db_total_bytes": 200038932480,
' W1 [# C9 v, A" H        "db_used_bytes": 1681915904,
( D: e7 T, Q+ r4 h7 a6 W        "wal_total_bytes": 200038936576,

admin

HEALTH_WARN 1 OSD(s) experiencing BlueFS spillover
4 ?9 Q. [' j& ]9 K& p) k1 U' f; t[WRN] BLUEFS_SPILLOVER: 1 OSD(s) experiencing BlueFS spillover
     osd.25 spilled over 774 MiB metadata from 'db' device (186 GiB used of 186 GiB) to slow device
; J6 X9 u  R2 x% E" X$ i; ^4 ]' l1 q# P

admin

ceph daemon osd.25 compact


: H( Z0 p( m1 g( L" m1 r{
    "elapsed_time": 23.914333896999999
8 S2 Z1 F4 o7 m) a( Y}
% e& u( W9 ^: L( q4 P

systemctl stop ceph-osd@25.service ;sleep 2 ;systemctl start ceph-osd@25.service
: ~3 t$ `% }" @# x5 O

: d- r9 ]5 y" v6 b  Bceph health detail
HEALTH_OK

4 T. ~' B4 J& u2 y: l, W5 b4 t
; L; n6 y, u1 E# ?! F1 t2 P ceph -s
  cluster:
    id:     5fa16469-8be4-4457-8a78-12b1910afff7
* v8 k& G, V# a! \    health: HEALTH_OK
  B" S6 Y7 D, O. D4 F/ J" N
0 L/ f, w, ]  d0 O