浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › 1 scrub errors Possible data damage: 1 pg inconsi ...
返回列表 发新帖
查看: 499|回复: 2

1 scrub errors Possible data damage: 1 pg inconsistent

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-11-28 11:35:42 | 显示全部楼层 |阅读模式
[root@hostceph1 ~]# ceph health detail
) t! f$ a+ P, ]1 f# j4 h/ ~- `6 d0 M+ hHEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
) Z  S) R/ e" N; c% bOSD_SCRUB_ERRORS 1 scrub errors* |! l: E  {0 T. o6 D
PG_DAMAGED Possible data damage: 1 pg inconsistent
' \" h+ f- b) h' C7 k    pg 6.309 is active+clean+inconsistent, acting [9,16]
# |. r$ H$ F8 R! X! S" L[root@hostceph1 ~]# ceph health detail
: h  \* C3 Q' T* U( Z  B! l- G. zHEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent! `7 ]) r6 a) I
OSD_SCRUB_ERRORS 1 scrub errors
. i' [: B8 @$ p( k* T4 VPG_DAMAGED Possible data damage: 1 pg inconsistent
1 S1 C: f7 O0 m! e0 m2 g    pg 6.309 is active+clean+inconsistent, acting [9,16]% b5 i1 s' k  e8 W) _( D) Y& O
[root@hostceph1 ~]# ceph pg repair 6.309
& T) r$ Q2 S' f6 p! R* L0 @; [- ~instructing pg 6.309 on osd.9 to repair
' {' E2 k4 G, x( q' n: S# i# [  q[root@hostceph1 ~]# ceph -s+ ^9 n  s2 |/ M% r+ p
  cluster:
3 y. x3 \+ ?4 Z    id:     29046cc0-0682-496b-98b1-912e59964282
1 w3 m! q( Y# H9 ^2 L8 H0 k' V    health: HEALTH_ERR! z0 c; [) Q5 j' k7 {7 z
            1 scrub errors' N* g5 I( c  U# y4 o; A% k6 l1 H
            Possible data damage: 1 pg inconsistent: D! f$ A! H4 w; N

/ J6 S/ s( D5 o0 s7 V" j' c5 S* i  services:% z4 N9 {! o1 K5 A9 @7 v( o- b
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
$ ~4 s) L4 w+ x& [    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3& _8 m7 J! ]- V) [+ l0 o
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)
+ B* ], X; h1 e% o4 W
1 f* w5 m. }4 _8 J6 I8 M" r/ D" N( }  data:
+ X4 A: ]  C( P7 C    pools:   9 pools, 5248 pgs
: r1 C" r- ^% C    objects: 3.17M objects, 12 TiB
5 y# _, y1 |4 {# V; Y& D    usage:   34 TiB used, 92 TiB / 126 TiB avail/ o/ h- R3 j/ ?- n' x- R6 j/ }
    pgs:     5243 active+clean1 }% G# ~* d7 v* ]9 a, m
             4    active+clean+scrubbing+deep
& ^7 M, z/ d9 `2 M1 [# D6 N; R             1    active+clean+inconsistent
# Y- E% ~) s$ @: c1 m8 Q' }( u: ~- E0 J8 m  w6 O( I
  io:+ g8 }( M) f7 C5 Z
    client:   1.9 MiB/s rd, 56 MiB/s wr, 273 op/s rd, 414 op/s wr; y% B4 p9 n+ Y  z

) v! S2 G" R  Q) ~7 M/ E[root@hostceph1 ~]# ceph -s
: i# V! I( M0 m  cluster:
( o0 q+ T$ U# J    id:     29046cc0-0682-496b-98b1-912e59964282
/ k/ W7 W" y) ~, m    health: HEALTH_ERR
; v4 y, \+ L! [6 X/ V' f+ o+ X( j            1 scrub errors
0 T% ~% G8 n2 d4 q) s* s! T( V            Possible data damage: 1 pg inconsistent" p  D# U- u% d4 y2 u
: F; S) T2 {- ?# S0 H1 @
  services:6 Q0 c# I: ?. N0 R8 m5 q
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)& h- D- U6 D5 V9 D4 a* R. M: \, G
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3) w6 l+ o9 b6 u+ v
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)
" w; @# _( e) E  A" ?$ a& m. {1 d! F9 F# u  `& S+ R) [) W2 ?! C
  data:, C4 s" R5 {; [# j( c
    pools:   9 pools, 5248 pgs
# m9 b$ U8 n, Q! O$ Z3 F7 b    objects: 3.17M objects, 12 TiB
2 i+ `1 o" V) |6 s9 |    usage:   34 TiB used, 92 TiB / 126 TiB avail
% m  F8 R, z- f3 Z' N3 I    pgs:     5243 active+clean
4 S. Y) I# b1 `, {! g             4    active+clean+scrubbing+deep
9 |1 c* _+ I9 j& j             1    active+clean+inconsistent
9 m% G  R( B# s- f% J) `: a$ L+ ?. ]( C
  io:0 q+ B- e* Q0 ^# P5 L" Q' m
    client:   2.0 MiB/s rd, 60 MiB/s wr, 112 op/s rd, 398 op/s wr
4 D4 `" b: j9 m" j! [. c# j, b3 X8 J( t8 ^, \
[root@hostceph1 ~]# ceph -s2 }7 ?. o1 x3 R" ]- T' H
  cluster:
! N* J9 v) L8 O8 i9 [2 w* s, N    id:     29046cc0-0682-496b-98b1-912e59964282
. _2 g* z  v/ ^3 `% L    health: HEALTH_ERR
" k' o$ `8 E2 F            1 scrub errors
, Q  g' Q' K6 d4 e) G+ g) ~            Possible data damage: 1 pg inconsistent
" X6 R/ S3 f" i5 m7 P3 \/ |+ b# Q, I& o- V, i5 N* H
  services:) Y4 }- l6 Y# n4 {& Z: i6 \
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
% I+ M! c$ ^( f3 y    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
" e+ J, T9 _$ z4 _" m! M    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)) R# y; l& f+ u6 i% G
0 ?' F" G8 S% g0 i5 h( M' X9 S! h( p
  data:# a' j  H5 I9 T6 N
    pools:   9 pools, 5248 pgs" C. I6 ~, A) m
    objects: 3.17M objects, 12 TiB+ [6 E+ {5 e3 }1 a
    usage:   34 TiB used, 92 TiB / 126 TiB avail
1 C8 p; I& I9 G2 B* o; c0 O! J    pgs:     5243 active+clean+ U# m7 l4 [+ s0 {
             4    active+clean+scrubbing+deep% {8 i( B7 c* O2 ]( z
             1    active+clean+inconsistent2 a% _5 d: U# ~' m& T1 V# q

9 m2 u% B, N7 B6 Q9 V4 T  io:
/ p4 x+ B  i1 P7 D# G/ v    client:   1.7 MiB/s rd, 44 MiB/s wr, 134 op/s rd, 444 op/s wr
$ i' a# v7 d( R  l$ Y6 c6 K1 _& {4 |$ s/ N' W
[root@hostceph1 ~]# ceph -s& ~2 H: _5 ~, d9 o- F! r
  cluster:
) K" W+ c1 P0 E2 q# O+ c- t1 a    id:     29046cc0-0682-496b-98b1-912e59964282
5 f1 D+ k4 k$ }9 A4 o) m; W( F    health: HEALTH_ERR
7 u! v5 F8 i6 S7 q            1 scrub errors
2 p! I1 J, J! A8 A$ J, k7 X1 [& o- O            Possible data damage: 1 pg inconsistent
0 F% p+ e" m2 p! {- j7 D) V8 X" [
0 H% n& Z5 K; h; k- f  services:2 E4 B$ ^& E2 v4 M
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
( a! d9 U* e/ v/ k; e& N    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3" r3 M6 H7 q, n' D
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)7 E5 y/ O8 @3 H5 R  E* r. n
: S8 o9 Q6 `* w
  data:
' W: `  d1 p4 f) T0 l( ?' W7 E5 D) |    pools:   9 pools, 5248 pgs
, I. d- P; i6 w$ p6 R  m7 Z    objects: 3.17M objects, 12 TiB
/ {& U# l1 T7 ]% m! N3 [: N& u. a    usage:   34 TiB used, 92 TiB / 126 TiB avail* P: r& m2 J  R  L# K: h, e# K
    pgs:     5244 active+clean! i2 l" W3 N* e
             3    active+clean+scrubbing+deep
, \- N; |& K/ X: M2 L$ o( P             1    active+clean+inconsistent
% i( x6 s- s" n- f4 t3 R; }- F" y/ H$ x
  io:: _0 w# N0 k2 W) _
    client:   823 KiB/s rd, 46 MiB/s wr, 356 op/s rd, 489 op/s wr
7 m6 q/ x; L; C: `* Z: ?/ c
9 A) @% Z, X% E$ L! w, q( C[root@hostceph1 ~]# ceph pg deep-scrub 6.309
. z) X( N9 R2 n# binstructing pg 6.309 on osd.9 to deep-scrub3 V, C  M# r6 _% D: L' Q( Z
7 w# O1 X+ {8 s$ P3 o9 x

9 @% r- D/ U$ r
& D! O. x; @3 ~
- J- G: R/ |1 m1 l  ~" a1 J$ d* R$ u
$ y( ~% b* b/ l. c" \! I( X
2 v2 ^& |" t3 i8 d+ [3 k" A( |7 h( X' ]- Y' m
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 11:40:24 | 显示全部楼层
[root@hostceph1 ~]# ssh hostceph2
# w, A3 |, R  P- \; NLast login: Mon Nov 28 10:52:24 2022 from controller1* ?$ w( q9 Y! }
[root@hostceph2 ~]# date8 ~" r; k* j" f) Y
Mon Nov 28 11:37:42 CST 2022
# q+ V4 y) ]. i8 d* E  q2 [9 U[root@hostceph2 ~]# systemctl restart ceph-osd@9.service 0 l/ O: h1 _2 w- t
[root@hostceph2 ~]# date
3 |: I: {$ O: e+ v7 ]$ `Mon Nov 28 11:38:08 CST 2022
+ S3 a( r; f0 Q+ b[root@hostceph2 ~]# ceph -s
6 I. u) q: r& g/ C. O6 H% s, R  cluster:
5 ^  m! d+ m9 {: C+ t$ k% ^( I    id:     29046cc0-0682-496b-98b1-912e599642826 i+ _/ q: S1 y2 _
    health: HEALTH_ERR/ |* l1 M1 [% ^  l  T& n
            1 osds down
% Q4 X0 l9 V+ C! O! M            1 scrub errors
) ~+ E+ H4 W/ R* W7 K; q8 W; d            Possible data damage: 1 pg inconsistent8 H* H: P0 u" K
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded7 D, V! b* o! z) n/ j/ s  w) t

; Z7 s$ \) _$ {) ]  services:9 T# [% s/ p$ P/ R
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
- g$ q- v1 {6 d    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
/ E% a- ^% {2 n    osd: 34 osds: 33 up (since 13s), 34 in (since 4M)6 o. T" _; s# d
9 j& G+ k( @3 F1 `$ {
  data:2 y" B" i# G# x5 b$ B1 N3 F
    pools:   9 pools, 5248 pgs% j+ G; K7 n: `: Y$ ^
    objects: 3.17M objects, 12 TiB/ Y- Y' s4 ]2 y4 N
    usage:   34 TiB used, 92 TiB / 126 TiB avail0 k9 B7 O6 @. M# T" N2 _) m5 W: f/ I
    pgs:     4.459% pgs not active
- P' z, w* ]5 L8 }/ D3 Y. t             310123/7807105 objects degraded (3.972%)( z7 |4 m( p3 I$ P0 j' e5 Z
             4686 active+clean0 k3 H* _1 G+ U! h/ |& ?$ v5 W  J
             234  active+undersized+degraded
; h) {0 o; ~6 [             233  undersized+degraded+peered
0 J# Z( v; j; S1 E8 L# L             79   active+undersized' [$ w2 ]4 r' s% K+ F
             13   stale+active+clean
3 w# R1 l2 r8 s" C! h             2    active+clean+scrubbing+deep( L5 C; c6 v# e: S
             1    undersized+degraded+inconsistent+peered
; T  Z: x0 M5 v, y. P8 u* w0 A
- W9 h) ~; u! n  `( \8 o3 Z  io:
1 Q( X/ }  t. M    client:   42 MiB/s wr, 0 op/s rd, 471 op/s wr
# J: i' q3 _* ^
: p/ m2 h/ m+ U" t2 t[root@hostceph2 ~]# ceph -s
! t8 ]# d+ n) ]& E: @  cluster:
1 g' S7 ]. Z* D1 B, W- F4 w    id:     29046cc0-0682-496b-98b1-912e59964282
' q0 G1 O8 H! m8 ?4 X& I    health: HEALTH_ERR
/ S! Z1 s1 j! q& r$ ?8 w            1 osds down! [' f: g1 v8 u" D% y# Q
            1 scrub errors
* `# H" d9 G( {! U# L            Possible data damage: 1 pg inconsistent
' Y. a/ ]2 w3 E2 P8 ?: W1 `            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded
% ~" c, e- N1 x( H+ u: Y  @
% k' L  L9 ?0 `  services:
: o& g0 V# Y! H( @! ^! u, B    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
* u7 e8 |. y* t8 S- Z) b    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
$ S, V- P  v3 c  O, |    osd: 34 osds: 33 up (since 19s), 34 in (since 4M)' G# C! a" l% z9 y7 j/ }. X- I
6 ?3 P: x5 `" I. f" [/ d5 S
  data:/ F, s* g9 P2 `' b/ ?1 a( \  L
    pools:   9 pools, 5248 pgs/ r* D7 \+ B7 ?$ w
    objects: 3.17M objects, 12 TiB
. S" l7 [5 q# k4 Q( t& n( U' s    usage:   34 TiB used, 92 TiB / 126 TiB avail
$ T2 o& e8 c9 G! r    pgs:     4.459% pgs not active/ I# b/ j* i, Q5 D% }# L; \
             310123/7807105 objects degraded (3.972%)
' s& k. k  J7 G& B) [' L* U             4686 active+clean
) b6 ]3 g+ g7 s             234  active+undersized+degraded3 ^4 i5 H7 g4 y$ ~& h. R7 O: i
             233  undersized+degraded+peered& z5 c' l2 f" R( l7 P
             79   active+undersized
5 ?7 z9 W7 B9 y3 P& s# R             13   stale+active+clean
( `# q) B4 L) Z+ c; W# _             2    active+clean+scrubbing+deep" M8 y8 Q6 g9 ?' n
             1    undersized+degraded+inconsistent+peered
6 l, f& c& S$ z
1 z/ c8 C+ A: I+ W6 V$ d  io:
5 k- M) j3 y6 |    client:   6.7 MiB/s rd, 27 MiB/s wr, 135 op/s rd, 545 op/s wr
4 N# f0 n+ b2 n& w9 l9 k: }* ~0 t * Y7 i: P/ ]1 V1 M0 b
[root@hostceph2 ~]# ceph -s
( q9 h# ~- a. Y' ?" C- N* a  cluster:
! }+ }% l$ C, B+ P    id:     29046cc0-0682-496b-98b1-912e59964282" K+ U% J% Y4 d( ~0 f: s2 U7 z7 K! }
    health: HEALTH_ERR
* U9 E) g* N8 U8 u) r# ]% \            1 osds down7 g) R2 Y. J& F8 q; k2 g
            1 scrub errors
5 {5 p  F$ _8 n# r( _' j* Z# h            Possible data damage: 1 pg inconsistent4 I, `: `2 \1 y$ h7 I9 p8 D& w
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded
8 f' ^+ Q( B# b1 p+ [
3 K2 b' ?3 K; I# w- q  services:
4 K' ~8 v) d! A4 _0 A/ e$ s  {1 R    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
& k* G+ c. F9 |9 E' U: c: G    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
: I/ a+ ?: x7 W1 c0 \. Q$ e+ w    osd: 34 osds: 33 up (since 22s), 34 in (since 4M)
% i; N/ F+ K5 Z& l) w2 v3 J& h8 j
- v8 t$ L. x( Z% L" Q- A- f  data:: G. W; d) ]5 A0 t& I1 X+ e
    pools:   9 pools, 5248 pgs* r/ d* {8 T' o% F6 c
    objects: 3.17M objects, 12 TiB  {% ^/ c) ?4 T' D, L
    usage:   34 TiB used, 92 TiB / 126 TiB avail
6 R: E9 ]" E2 f0 s) m- K7 `! }: V7 l    pgs:     4.459% pgs not active
4 M, \5 e, S' Z0 A4 p: A9 B9 Z             310123/7807105 objects degraded (3.972%)
5 P0 `! }9 q( g5 _. N; f             4686 active+clean
5 v0 ^3 P) n5 F  ]             234  active+undersized+degraded
* o5 Y) ]- N5 ~" {7 j             233  undersized+degraded+peered
) K) [0 ^4 `" a( Z             79   active+undersized) ]8 z8 U6 _4 @( L4 }/ _- M
             13   stale+active+clean( ~3 |0 @8 m+ D, W
             2    active+clean+scrubbing+deep1 H( S  N2 Z. ^& {1 [
             1    undersized+degraded+inconsistent+peered+ b" k5 D+ r0 B( a- P4 D3 {
7 Y* K! M# v0 J+ p9 R6 b* k+ }1 [
  io:
' z' X4 y3 I' \+ T6 m    client:   6.9 MiB/s rd, 22 MiB/s wr, 172 op/s rd, 604 op/s wr
8 I) ?1 D& o2 ?
/ `( H8 y0 w' v9 x3 y[root@hostceph2 ~]# ceph osd tree
' F7 ^' @- C, G- t& _0 rID  CLASS WEIGHT   TYPE NAME              STATUS REWEIGHT PRI-AFF
) s7 t, c, s" z! H-25       16.00000 root ssd                                       % L" L, y4 z- [
-26        4.00000     host ssd-compute06                        
. v, `2 b$ q& L) f( O" ` 18   ssd  1.00000         osd.18             up  1.00000 1.00000
% \$ L0 U- z, [# u# [; l# w 19   ssd  1.00000         osd.19             up  1.00000 1.00000 ' C- |7 A5 k4 M) y$ `* Q9 G
20   ssd  1.00000         osd.20             up  1.00000 1.00000
8 I0 P' `$ U6 i2 L( B5 X. F8 O, }' C 21   ssd  1.00000         osd.21             up  1.00000 1.00000 " w7 J. n, A  E& b  L( i+ s+ }7 }. V
-27        4.00000     host ssd-compute07                         4 K. W$ c4 C# J
22   ssd  1.00000         osd.22             up  1.00000 1.00000
& `5 Z& }% M7 c 23   ssd  1.00000         osd.23             up  1.00000 1.00000 4 n2 t5 C" {9 V; p
24   ssd  1.00000         osd.24             up  1.00000 1.00000 ) \7 I; Z3 R' Q, `4 J
25   ssd  1.00000         osd.25             up  1.00000 1.00000
# {3 {* z9 ]$ p' n, K-28        4.00000     host ssd-compute08                         2 j' ~) A8 }3 A1 m* ]& i
26   ssd  1.00000         osd.26             up  1.00000 1.00000
  o0 r3 ~! X: O( q# S/ R 27   ssd  1.00000         osd.27             up  1.00000 1.00000 ' v4 a+ V9 s# l0 q/ |( I# g
28   ssd  1.00000         osd.28             up  1.00000 1.00000
: Z$ L, E+ F& W% b- H 29   ssd  1.00000         osd.29             up  1.00000 1.00000
0 q' @, ?  v3 D3 g' K3 u-29        4.00000     host ssd-compute09                         4 p/ q2 w" a4 a; V8 \, c
30   ssd  1.00000         osd.30             up  1.00000 1.00000
2 z" t% r' H# |/ W: Y! [  K3 f+ g 31   ssd  1.00000         osd.31             up  1.00000 1.00000
7 J! W: ?$ ]2 | 32   ssd  1.00000         osd.32             up  1.00000 1.00000
  F3 W9 P6 p0 j& S; T+ H0 Q 33   ssd  1.00000         osd.33             up  1.00000 1.00000
' l  `) c7 F) B' w6 l& W+ S3 D -9       18.00000 root hdd                                       
6 g+ T! ~/ H' Q( _8 _. H( g& i% F# F-10        6.00000     host hdd-hostceph1                        
7 S. U& N& |9 ^  j2 K  0   hdd  1.00000         osd.0              up  1.00000 1.00000 ' F% T$ N& [+ A
  1   hdd  1.00000         osd.1              up  1.00000 1.00000
' e: Q* D4 D! e$ S* D  2   hdd  1.00000         osd.2              up  1.00000 1.00000 ; W$ S8 @' Y+ C* I  c0 |
  3   hdd  1.00000         osd.3              up  1.00000 1.00000 * Z& o1 ^& T# x8 y- `
  4   hdd  1.00000         osd.4              up  1.00000 1.00000
$ _5 G9 M2 X5 v# k$ W% t7 b& }  5   hdd  1.00000         osd.5              up  1.00000 1.00000
* r% R3 h* U; i-11        6.00000     host hdd-hostceph2                        
4 Z+ }  Z! V: ?  \  D. q% I  6   hdd  1.00000         osd.6              up  1.00000 1.00000
! ~# d( i' t; A. [8 a# J2 J  7   hdd  1.00000         osd.7              up  1.00000 1.00000
/ B# F5 K" b  D5 i" k  8   hdd  1.00000         osd.8              up  1.00000 1.00000   ?! H9 |! _% h8 f. `1 b
  9   hdd  1.00000         osd.9              up  1.00000 1.00000 - ~& F; K: B' g% X7 ~
10   hdd  1.00000         osd.10             up  1.00000 1.00000
8 p( n( I0 R/ B+ p9 b9 z; T 11   hdd  1.00000         osd.11             up  1.00000 1.00000
: \9 r( x$ `/ T8 o-12        6.00000     host hdd-hostceph3                         1 Q1 U) x1 a1 ~
12   hdd  1.00000         osd.12             up  1.00000 1.00000 , n5 _$ a  i# J! M& s: v5 p9 [
13   hdd  1.00000         osd.13             up  1.00000 1.00000
8 u- M% i) t' @7 U" {4 a/ } 14   hdd  1.00000         osd.14             up  1.00000 1.00000
, O- M, u2 K& M1 q! E' }. P 15   hdd  1.00000         osd.15             up  1.00000 1.00000 $ K6 \! n! h0 S6 `
16   hdd  1.00000         osd.16             up  1.00000 1.00000 % O) s8 S2 r8 |
17   hdd  1.00000         osd.17             up  1.00000 1.00000 / X2 q/ O) m% G! Y0 U( z; A. m" A+ L1 B
-1              0 root default                                   
, [  Q7 g4 x8 Q$ U# ? -3              0     host hostceph1                             - C1 r8 `( `! Z6 M7 c
-5              0     host hostceph2                             ; @( t$ s- t! Z
-7              0     host hostceph3                             
& i9 B7 K, r( v1 d: s[root@hostceph2 ~]# ceph -s4 v4 S) j+ I1 h' _; V
  cluster:
4 P& e; _: P6 a. e* k; g6 Z    id:     29046cc0-0682-496b-98b1-912e59964282
6 l. ]6 Y" y7 u# k$ Y1 V    health: HEALTH_ERR2 I' _0 P6 o! p" e; z% x
            1 scrub errors3 m! c% [: {0 d, Y  s
            Possible data damage: 1 pg inconsistent4 J7 {" f/ x  e$ v$ t0 f' s" d
            Degraded data redundancy: 244/7807105 objects degraded (0.003%), 131 pgs degraded
: U, _$ H7 k3 m9 y . n- w6 L6 M8 I# l' J# K6 S
  services:9 S9 V7 P1 D( n6 _% Z
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)" D0 @, C5 P6 G; U
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
( X. D% l* [4 @( \% w% j    osd: 34 osds: 34 up (since 9s), 34 in (since 4M)
* A& G! |4 k3 n" s
" Q. t. P) E. }4 q. x  data:
' o- l2 B, x0 O2 n# n0 i    pools:   9 pools, 5248 pgs' N8 i4 G" r3 Z7 g3 j% M
    objects: 3.17M objects, 12 TiB
# x5 @* n4 U9 I) G. w+ X9 V    usage:   34 TiB used, 92 TiB / 126 TiB avail! N5 p# A$ F1 |6 W6 x. w6 c
    pgs:     244/7807105 objects degraded (0.003%)
% |) k% D8 w8 ]6 J9 l) `             5095 active+clean
) X; J; V0 {5 H" ]% z* R6 S/ P             127  active+recovery_wait+degraded3 M* m% b' o9 T4 }# ^# q
             18   active
6 j, j7 ]- @" t+ O+ D6 W             2    active+clean+scrubbing+deep
1 m( ?6 A+ q+ K) Y" i( }. q             2    active+recovering+degraded
; m" q" G/ q  |  R             2    active+degraded
  C" k5 V1 R9 Q0 u3 q/ P9 r5 e& j1 a             1    active+clean+inconsistent
* W7 P3 B- j  e9 s             1    active+recovery_wait
: M: ~0 i" i2 A" p( D; h / z2 r5 p7 G; m; |! V# u
  io:
% N8 U4 ]- B, V! v& V. d    client:   1.1 MiB/s rd, 28 MiB/s wr, 250 op/s rd, 318 op/s wr" G8 {+ d1 W5 Z& ?* O6 l
    recovery: 4.5 MiB/s, 4 objects/s
: f7 G& j- B6 ?5 D+ d1 ? 8 l  M8 m7 r2 R
[root@hostceph2 ~]# ceph -s
( ?" Z! r! T+ n0 E! K  J  cluster:, t" }5 B1 h9 _
    id:     29046cc0-0682-496b-98b1-912e59964282* [" p+ r5 c4 I4 r
    health: HEALTH_ERR& v/ z9 [9 ^: D, p
            1 scrub errors- [" I2 S6 x' f
            Possible data damage: 1 pg inconsistent: C. i+ e# i0 a
            Degraded data redundancy: 194/7807105 objects degraded (0.002%), 118 pgs degraded& K* v, ^: x; Y8 K% ^

) {/ L8 y2 v9 s8 a0 l$ [  services:
: `. k# ]* f1 I5 y    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
- K; n% a* T! R/ }- W& W    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3/ R- Q% p1 y+ R- u
    osd: 34 osds: 34 up (since 13s), 34 in (since 4M)9 M! }9 w- ?" L6 C, h
% j3 V" d2 _9 x( @; T8 [
  data:
) m4 @3 S3 I4 d    pools:   9 pools, 5248 pgs) d" h( {2 x/ }# u) z/ U* G0 y7 o
    objects: 3.17M objects, 12 TiB
, o6 Q) ]. ^) w2 K    usage:   34 TiB used, 92 TiB / 126 TiB avail
6 M+ z9 O9 F" e0 J) g    pgs:     194/7807105 objects degraded (0.002%)
/ N: W9 p) j, X- N$ V             5117 active+clean
: y6 O( D/ k' P% F+ K% A             116  active+recovery_wait+degraded
7 r6 S! j5 A' I! F             9    active+recovery_wait
0 C; V0 W9 p: \             2    active+clean+scrubbing+deep
- {. ^' _- q% d9 W4 S2 m8 l: m             2    active+recovering+degraded
$ a7 B5 ]& K- f# t& c             1    active+clean+inconsistent" D& n1 `) m: l3 s
             1    active+recovering8 v" {; T) s- G" a' `

  K( N! Y4 ~( X5 k  io:6 s0 J7 V; X- m) h8 C
    client:   1.2 MiB/s rd, 29 MiB/s wr, 302 op/s rd, 347 op/s wr& i5 A0 u4 m5 b4 l  B7 u
    recovery: 21 MiB/s, 8 objects/s1 _( T: j- ]5 M! M' B
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 14:27:38 | 显示全部楼层
[root@hostceph2 ~]# ceph -s: n" ]0 w  x, {! n% |$ m, Z& r
  cluster:
) t9 t. y2 T( u; ~3 f    id:     29046cc0-0682-496b-98b1-912e59964282; W- G7 [4 ^- B' A
    health: HEALTH_ERR/ s0 q) y+ X( |, v- r( K: P' G
            1 scrub errors4 Y" V# f/ ]* C
            Possible data damage: 1 pg inconsistent; }: F& H7 ?  K5 z

/ ]6 ?/ u" H1 _% @  services:8 o* m- t+ Q! m# E9 |
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
& h+ {, @$ k, a5 v6 h) C( z: _7 f    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
5 ?+ J! w5 e: q% u    osd: 34 osds: 34 up (since 5m), 34 in (since 4M)
( U1 Y5 L$ |  j; |& ~) i; F3 m: p! z
  data:1 A) l6 x- H4 O- ^! {: I7 b& ~1 C
    pools:   9 pools, 5248 pgs
1 s3 v! p$ U  x' m; T% D0 h    objects: 3.17M objects, 12 TiB
( d+ v3 I: Z$ h, r* n    usage:   34 TiB used, 92 TiB / 126 TiB avail
( F  o% T8 n  o: s- m6 I/ Z0 Y, j- v- Q    pgs:     5246 active+clean
( L4 V8 {7 Y% T- s1 [. O             1    active+clean+inconsistent8 s7 W9 }: N8 T+ Q% d
             1    active+clean+scrubbing+deep
) u8 O6 j" _8 v0 D9 y4 T2 S3 C- Z/ _3 M  K& A/ b
  io:2 x+ G6 I- }' C/ ?) `/ z0 r& t
    client:   8.3 MiB/s rd, 56 MiB/s wr, 373 op/s rd, 508 op/s wr) `5 l1 ], e* m; l* T7 R# {2 m

& i* B3 z! h0 M) F最好是到对应的节点上执行命令：
: k9 H6 `0 q' ~0 Z4 c+ k1 E[root@hostceph2 ~]# ceph health detail ( S5 W/ p, d5 ^0 V
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
2 U4 [9 ~' d0 }1 v3 y* Y1 A- LOSD_SCRUB_ERRORS 1 scrub errors
7 ~5 w# u( G4 ~4 x, mPG_DAMAGED Possible data damage: 1 pg inconsistent( P% h; r- z2 h( r. I- y. p$ R
    pg 6.309 is active+clean+inconsistent, acting [9,16]
* B0 `; j0 @" R) i2 |" k, e) m7 @
. ~, b; |# ?* A1 k8 L4 v
[root@hostceph2 ~]# ceph pg repair 6.309: T: E/ s( T+ W3 a; B
instructing pg 6.309 on osd.9 to repair
0 c* e7 O/ _- H4 ?7 X6 \[root@hostceph2 ~]# ceph health detail 2 y0 j) U2 K+ A
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
; \+ \$ r' B5 g7 o' u+ t& LOSD_SCRUB_ERRORS 1 scrub errors
$ X: }9 x2 _# o4 p2 hPG_DAMAGED Possible data damage: 1 pg inconsistent
9 B$ O% ?- y' u. [3 H    pg 6.309 is active+clean+inconsistent, acting [9,16]) K3 P2 L1 a$ V8 b' ?
2 F& Z; `+ L, Y' ?: x
7 L$ \( y; J. b  ^
% m* O7 Q# M( N* |8 U# ^+ I& O
+ ^) v9 i8 I% _# J- v; k, ?4 [- V
[root@hostceph2 ~]# ceph -s2 @5 B. Y6 x6 P, ]2 r" ?( c( h1 d
  cluster:
& Y' v; K  [8 U1 x  l: v    id:     29046cc0-0682-496b-98b1-912e599642822 u2 p$ ?5 P0 H  u' W, V
    health: HEALTH_OK
0 f  ^& g9 L: b  d& x" p
$ j' M' V0 j5 |3 I( D8 Q  services:
( G4 }* x7 B5 F8 g; N) F    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
' \  m- x+ [% \    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
5 n# F5 }8 @: s; }    osd: 34 osds: 34 up (since 2h), 34 in (since 4M)0 ~4 C* v2 Z1 B6 Y
" h# |: T# d( X: m
  data:# @2 ~6 H$ H% H( k5 t
    pools:   9 pools, 5248 pgs
% b8 Q0 i& `) ]8 K1 h' X# ~2 N    objects: 3.17M objects, 12 TiB  G5 B; j. I- ?& f0 b
    usage:   34 TiB used, 92 TiB / 126 TiB avail
, I+ S8 z$ h: a6 P    pgs:     5246 active+clean' S1 d* f9 \* H
             2    active+clean+scrubbing+deep' W/ g) M3 t/ P% @
6 p% d/ I8 \) E& R8 Z9 G  S
  io:3 W' l* {" d- @0 ]$ H0 y7 x2 r
    client:   3.9 MiB/s rd, 47 MiB/s wr, 93 op/s rd, 457 op/s wr
7 l: T6 k1 [2 ^4 ?3 W1 i  ~) }% Y% r% A) w% V+ s

( X; t: K6 L+ F% \# F
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:57 , Processed in 0.025552 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表