浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › 1 scrub errors Possible data damage: 1 pg inconsi ...
返回列表 发新帖
查看: 498|回复: 2

1 scrub errors Possible data damage: 1 pg inconsistent

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-11-28 11:35:42 | 显示全部楼层 |阅读模式
[root@hostceph1 ~]# ceph health detail 9 k1 j" H  h6 J+ P1 x+ q6 f! }
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent; q! |6 K8 m+ L
OSD_SCRUB_ERRORS 1 scrub errors
) f" _# L- r/ P0 d- c8 M1 HPG_DAMAGED Possible data damage: 1 pg inconsistent
; T. U, u" h/ X    pg 6.309 is active+clean+inconsistent, acting [9,16]
0 v2 W( @& ~& {/ r2 J% N" N. M) A[root@hostceph1 ~]# ceph health detail
8 x8 B! p4 w0 Q/ \  [HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
! G4 R4 D' }# N9 u& ~- oOSD_SCRUB_ERRORS 1 scrub errors
4 j8 C, V5 {8 DPG_DAMAGED Possible data damage: 1 pg inconsistent4 g. Z, q3 e' D  K1 ]7 e
    pg 6.309 is active+clean+inconsistent, acting [9,16]
! x3 P; ~) b6 @[root@hostceph1 ~]# ceph pg repair 6.309
- C% u9 \) C5 c! m+ N$ ninstructing pg 6.309 on osd.9 to repair
7 n% H' N1 ~7 D& v$ H4 z9 ^" K# y[root@hostceph1 ~]# ceph -s
! [1 s' r5 {1 p- I$ g  cluster:
/ ]1 P( U) \( U8 w% y    id:     29046cc0-0682-496b-98b1-912e59964282
5 R* X9 b7 \( S    health: HEALTH_ERR8 p, j$ Z! i9 p1 f
            1 scrub errors
& f) y! P# ~. [! `            Possible data damage: 1 pg inconsistent
2 J, R* _, F* x9 S) k2 i
" r$ _5 W  X: L) ]0 S. ^  services:  W' G8 W7 W7 s$ J
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
, B) h# S6 P  @& \( L- ?    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
' u- t+ U. o0 U6 h    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)+ S7 A7 ~2 s4 ~3 u% _  G: j

8 ?* ~# j& L7 b& F. v, K! _7 R  data:  E9 q1 Z0 r5 b; z5 Z
    pools:   9 pools, 5248 pgs' f" a; N1 h9 K$ d7 G
    objects: 3.17M objects, 12 TiB
* Z. K. {# B/ i7 F    usage:   34 TiB used, 92 TiB / 126 TiB avail
+ ^1 x- U9 u5 y; g; U    pgs:     5243 active+clean
7 P) B$ a# @. l- }2 m             4    active+clean+scrubbing+deep0 ^; g1 Z0 y8 [* C4 R7 T* K' d  }
             1    active+clean+inconsistent. P" l8 g0 T( r
$ B# H  z6 N, {/ ]
  io:, q6 Y2 e/ _7 A3 E
    client:   1.9 MiB/s rd, 56 MiB/s wr, 273 op/s rd, 414 op/s wr: ]% ~" q) C( Q
- p8 p/ N! m# m9 i" U; C7 a0 v
[root@hostceph1 ~]# ceph -s
6 j6 x4 M; B/ I9 u+ v3 b% R  cluster:
! k! f  j' G/ b+ x    id:     29046cc0-0682-496b-98b1-912e59964282
5 B8 [* h7 o% H    health: HEALTH_ERR5 t( R, E$ j) [; W: ]- r- a  Z
            1 scrub errors
, p& Q+ S4 a: i: N+ D            Possible data damage: 1 pg inconsistent2 R9 P2 p; G( t- @
2 a1 F7 J# `  {
  services:
9 b- i/ X/ c. l8 c    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)- F* i$ ^% J- F  a5 A! ^
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
# f* H( `1 h6 U; H% L" L" {    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)- A5 M' l0 y3 T0 ^5 A( b; ?, _
, z" U1 ^* N% v5 Z8 G
  data:
3 s3 X: j. K$ Q+ V. L    pools:   9 pools, 5248 pgs; S8 O3 P& }8 E( {, J0 N! L' D
    objects: 3.17M objects, 12 TiB$ q; _6 L+ b" v% }: b5 A
    usage:   34 TiB used, 92 TiB / 126 TiB avail* M$ G  A$ D* Z3 L- E. \
    pgs:     5243 active+clean
0 E5 m* G% ^* m2 e4 C- ?8 _6 l             4    active+clean+scrubbing+deep
9 I3 T$ \+ ^1 @. G4 }             1    active+clean+inconsistent4 x8 G. `# P4 Z- d
7 S) e( l/ n$ B5 h8 R& ]
  io:
5 G2 ]" f) B5 o' }, u: |6 k    client:   2.0 MiB/s rd, 60 MiB/s wr, 112 op/s rd, 398 op/s wr
. `: b9 q; x/ k5 [5 J) _( U
* }: A+ f4 d/ n% ^; B2 p$ j! O2 h[root@hostceph1 ~]# ceph -s
, y: z1 T8 X. O  n$ Z2 L  cluster:3 \0 B% c# p4 k
    id:     29046cc0-0682-496b-98b1-912e59964282
6 z5 p4 z  g- y, m  i2 X) I    health: HEALTH_ERR
2 u6 [$ C0 \5 u/ H9 m            1 scrub errors1 a' D3 G9 v1 S; Q" u
            Possible data damage: 1 pg inconsistent
3 v% U+ @' q% p! p0 A
. O" ^6 k! ?: D6 G  services:9 o' A) b2 c1 S2 T* s
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)& y, h7 c9 Y. U9 Z0 W7 z. L7 J
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph33 U; ^! x! A) j1 g6 l& O
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)6 c* B% y4 T# c4 {' R8 ?5 d

6 v" E4 q7 d* k' F  data:
! n/ `( U+ @" O7 i* Y  h    pools:   9 pools, 5248 pgs
" J9 v1 D- Q% r, ~3 i7 K& Q    objects: 3.17M objects, 12 TiB% e  y7 ]; U) s! ~
    usage:   34 TiB used, 92 TiB / 126 TiB avail
/ K$ D. Y- M; x    pgs:     5243 active+clean5 I7 J! x: J# [  k; U$ u
             4    active+clean+scrubbing+deep1 X6 c- k* J) W! U/ B9 y5 g6 P
             1    active+clean+inconsistent2 s; v& Q/ g4 C

5 L. P. E6 e$ D$ Z1 D+ y  io:4 y' F1 b' I) l& o: a
    client:   1.7 MiB/s rd, 44 MiB/s wr, 134 op/s rd, 444 op/s wr
! j3 T0 G6 n( L1 z, v  W4 L5 h; h5 k* ^& l1 N. m3 T
[root@hostceph1 ~]# ceph -s5 k0 n& v8 Z  e; z8 \  m
  cluster:. g- r1 q9 A8 W, J! h' L* e  X& h
    id:     29046cc0-0682-496b-98b1-912e59964282# i0 l/ ^! b2 [/ R* f+ q
    health: HEALTH_ERR7 ?9 O4 J2 I) i5 L( G
            1 scrub errors
  B8 k% W  p$ \0 j+ }0 `. M, s            Possible data damage: 1 pg inconsistent* Z0 x* l  J) r' U/ P) D

' m2 u. h% T% U4 f% R  services:/ q0 @0 E1 X6 [
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
2 F6 t0 A- r% H4 _4 @    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
0 b9 H% ~5 l' q    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)% l1 [& X- @% P; d" L$ t4 n) I4 Y

5 ]; {7 K$ F- |1 I& A" s  A2 T  data:5 W& f. J$ M+ P! c. f7 H
    pools:   9 pools, 5248 pgs
+ t  Z! b! a) t& [    objects: 3.17M objects, 12 TiB
: Y8 s6 E6 ]' W1 R+ `5 l. A    usage:   34 TiB used, 92 TiB / 126 TiB avail
' T0 G. t1 [* T, Q( q: a    pgs:     5244 active+clean
* i) S. Z( s  R, R             3    active+clean+scrubbing+deep. y( Q. j5 V3 c* C- }
             1    active+clean+inconsistent# _% t: x# }3 U/ e4 v8 @; s
' e. R. N* }% V* b3 T' M* ]/ `
  io:
! x6 P# L/ m' t1 l/ \( n) b! g    client:   823 KiB/s rd, 46 MiB/s wr, 356 op/s rd, 489 op/s wr
+ `% C* W) P& _" K
4 K. ]$ F. {: ^) \! h[root@hostceph1 ~]# ceph pg deep-scrub 6.309
) ]. ^) t2 w/ J& J7 [instructing pg 6.309 on osd.9 to deep-scrub
) |8 S' E- z4 ~6 p6 W
+ v9 x0 Z2 k8 x2 E' Z2 e, B6 ^* O- Q( b% Z3 H

8 `; f+ N" K1 s3 U) p6 x$ V6 c+ o4 \& u* X7 ]

4 Q2 c) A$ `9 d9 O1 o# g2 ?" X$ y; w" j0 [. e' x
6 d: Q& t( d/ H
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 11:40:24 | 显示全部楼层
[root@hostceph1 ~]# ssh hostceph2
* O3 O7 R. c! hLast login: Mon Nov 28 10:52:24 2022 from controller1
) C1 I0 n2 T5 x) _8 f5 u[root@hostceph2 ~]# date7 }4 B7 @+ A- J; D" Q( n# R
Mon Nov 28 11:37:42 CST 20220 ~! A  R/ y) X6 g0 \
[root@hostceph2 ~]# systemctl restart ceph-osd@9.service , _1 Q4 T& I& u0 g$ T
[root@hostceph2 ~]# date
+ f7 u# i7 W! ]2 L" nMon Nov 28 11:38:08 CST 20229 ~4 J, z8 t1 ~& Q) Y
[root@hostceph2 ~]# ceph -s
* x& ?6 r, j5 z! F" e  cluster:9 c/ I3 `. b( Y! L5 M! `, G
    id:     29046cc0-0682-496b-98b1-912e59964282
& n7 k4 N# q- \* S+ j, J    health: HEALTH_ERR
: w/ V2 a9 k4 o' u  K  e- E; ?            1 osds down% R- B$ _; ]" {1 {/ H
            1 scrub errors
, s+ o3 m9 ^$ I& E& H: x$ w            Possible data damage: 1 pg inconsistent
  ?. N5 |+ c" f/ L9 Q6 B            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded7 b0 N* F! Y/ ]" Z- f$ g

% Q4 j: _* W. i6 p  services:, ~, ?. k' }. w& ^3 Q
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)! Y& X" ]* i( q
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
& H2 U7 o1 \$ J# z/ w6 s    osd: 34 osds: 33 up (since 13s), 34 in (since 4M)" S: o2 {1 ]+ k% d
6 {  i4 z+ H: I7 \8 o3 g0 j
  data:: t9 i. B  U! H* D- a* j. f
    pools:   9 pools, 5248 pgs0 z9 |9 T! g7 r& L( d& L
    objects: 3.17M objects, 12 TiB; r# {* _# h. A# V+ ]& `$ R, N$ d
    usage:   34 TiB used, 92 TiB / 126 TiB avail" ~! l. I0 G+ l
    pgs:     4.459% pgs not active: Y9 Z3 Z+ Z/ b  C* q6 j
             310123/7807105 objects degraded (3.972%)% I& N0 L- S! n
             4686 active+clean" ~7 m9 V  k  b6 P) a; c. X) [
             234  active+undersized+degraded9 e% [( m/ W& b& P7 z4 D: h
             233  undersized+degraded+peered  D  K7 b/ H* p3 Y1 w9 A
             79   active+undersized( D. l( e! F: l+ I  T
             13   stale+active+clean
6 y: s/ J0 m2 ^. Y3 Y3 M7 ~3 |             2    active+clean+scrubbing+deep4 P* k3 Y* R: Q) d
             1    undersized+degraded+inconsistent+peered- G) I# v- W: a. A. R0 B* Q
, s# L1 L8 Q+ {2 p8 ?% Y0 r
  io:
& L- b/ ^8 D/ `- |4 w    client:   42 MiB/s wr, 0 op/s rd, 471 op/s wr. E6 a! e* B/ O. v8 V. d, Q

2 E3 D# {7 t; O$ D  I+ [( J: k1 s[root@hostceph2 ~]# ceph -s4 u' T( V% b% E( f2 G& p1 q
  cluster:" O. u2 s. Z6 l6 N, \+ `: p
    id:     29046cc0-0682-496b-98b1-912e59964282+ ^; r& ]* q( z; s; f8 e
    health: HEALTH_ERR
0 y0 b0 O8 W0 Q) _$ g9 y' B3 e            1 osds down! K) B) X% \' `7 t
            1 scrub errors
% e3 \2 Q4 m* U. i            Possible data damage: 1 pg inconsistent
+ Y) d( ^$ {+ t0 ~            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded* p7 d# O6 ?% w* \

! S. G% v* y( e1 }5 g  services:
# a  e$ ~- s" X    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
3 W7 \4 z2 ^% p3 D- S    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3$ l/ r7 Q; o. c& d: g
    osd: 34 osds: 33 up (since 19s), 34 in (since 4M)  s$ t$ S2 k, R) `; a/ H: C

' ?& N: W4 V! k) d$ @  data:
6 y& E0 }+ ~9 S- m    pools:   9 pools, 5248 pgs+ y8 H2 M$ g. w
    objects: 3.17M objects, 12 TiB
( d. X7 k+ h# g& J& X+ A8 K2 o    usage:   34 TiB used, 92 TiB / 126 TiB avail! J, K; S3 @% T7 ]7 f
    pgs:     4.459% pgs not active2 R, K, a- C: @" I. \4 A/ p# A  a
             310123/7807105 objects degraded (3.972%)/ z. y. f" T# u* b
             4686 active+clean
; B" _/ j4 y7 q" x' K# \             234  active+undersized+degraded# z8 u8 `. u& D( D3 f9 l' q
             233  undersized+degraded+peered
  {$ @3 g5 ?! ?" e- k" E" |             79   active+undersized
% |8 f- }) J* V6 c* f3 E+ j) [# O             13   stale+active+clean
. N; l: m  C, R8 [' {6 ]             2    active+clean+scrubbing+deep
2 `& W7 G# A, F2 J3 ^             1    undersized+degraded+inconsistent+peered
4 D! N2 K8 S; Q1 ]
7 {' c; Z( y- P- g1 k+ I+ \  io:
; ]' T" ^8 N1 t/ w) o# `! i  o& h    client:   6.7 MiB/s rd, 27 MiB/s wr, 135 op/s rd, 545 op/s wr
& s* h' i: r; `: ^8 h9 ?. S6 j4 o ) }/ h8 X; c% |: }
[root@hostceph2 ~]# ceph -s6 W8 o1 v3 b" n# }
  cluster:* I$ E& D/ X0 a. p1 V+ T
    id:     29046cc0-0682-496b-98b1-912e59964282- d% ]0 g; O6 p7 r0 v
    health: HEALTH_ERR
! m& X% o2 j- e0 z* h5 P, N6 z            1 osds down
3 o. H; ^% d2 b$ o3 {            1 scrub errors
8 x( G* l) t' \0 h            Possible data damage: 1 pg inconsistent6 c0 ?4 h# h" i' J2 V7 W
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded9 V+ D5 _1 T8 v+ h
7 d5 ^" E( m0 l5 N, B
  services:
0 M2 J, K$ L/ z5 F    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
) O1 M" O9 j: W- X# U" ~8 i9 ]    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
1 K8 v% B2 K1 c" t- [* W    osd: 34 osds: 33 up (since 22s), 34 in (since 4M)
2 I4 @2 n+ I0 ?0 r1 g4 \  I 4 [6 g9 T: i5 d/ C
  data:
3 b6 f8 |- ~2 _+ z+ F( _9 \    pools:   9 pools, 5248 pgs7 d. c/ w; _- k% S
    objects: 3.17M objects, 12 TiB
8 V- n% q# m( U; t    usage:   34 TiB used, 92 TiB / 126 TiB avail$ G" C6 c5 C# B. @: r; A, n7 B
    pgs:     4.459% pgs not active
% P$ A% k5 [7 i1 t             310123/7807105 objects degraded (3.972%)
3 [" W8 k8 b+ L' Z+ z$ N' m6 P' P             4686 active+clean6 ~. \+ D" {2 f6 y9 {3 Y
             234  active+undersized+degraded' k0 ?! X0 R2 |5 q. V" C3 M
             233  undersized+degraded+peered5 k4 p5 _9 v! x' w: K5 }. H5 y
             79   active+undersized
+ r% N9 m3 y4 g/ Q  H7 j* C             13   stale+active+clean
6 l9 [- M- Q. ]$ m) b             2    active+clean+scrubbing+deep& U$ R/ Q" H3 p" |
             1    undersized+degraded+inconsistent+peered
4 W# v$ |/ w4 r4 ]
4 j9 P# f& v% n: h2 O0 X, I  io:
* K& A2 [% r( S* k7 |6 B/ G    client:   6.9 MiB/s rd, 22 MiB/s wr, 172 op/s rd, 604 op/s wr4 n* @. X: F1 N4 e! I) [: V. {

8 s$ n4 n5 s3 h[root@hostceph2 ~]# ceph osd tree/ U1 y. q) @$ F4 Z7 V
ID  CLASS WEIGHT   TYPE NAME              STATUS REWEIGHT PRI-AFF ! t; j4 A" k2 }" H  ?* d5 u
-25       16.00000 root ssd                                       
3 i( R) U! F- r' P8 Z% y-26        4.00000     host ssd-compute06                         ! M9 u7 E& [$ O4 J6 Z5 g, ?5 u0 z, A
18   ssd  1.00000         osd.18             up  1.00000 1.00000
" O/ m( s. {3 b2 d/ { 19   ssd  1.00000         osd.19             up  1.00000 1.00000 # B1 Y5 E' H$ o5 _6 \
20   ssd  1.00000         osd.20             up  1.00000 1.00000
6 B( }9 ^( f& l# W& V 21   ssd  1.00000         osd.21             up  1.00000 1.00000 - z3 l0 g' p2 p3 W% {. A# \3 j, O/ I* n
-27        4.00000     host ssd-compute07                         + M) W/ Q3 Y2 d. t' `* G( R8 ]
22   ssd  1.00000         osd.22             up  1.00000 1.00000 # n9 H% _3 [, w1 z& ~4 A6 V  o
23   ssd  1.00000         osd.23             up  1.00000 1.00000 , N: g; ?) u' {( ?! g0 D
24   ssd  1.00000         osd.24             up  1.00000 1.00000 % b" M- a* Q' J, U
25   ssd  1.00000         osd.25             up  1.00000 1.00000
2 V/ d, r8 O! U! u: l% L( A-28        4.00000     host ssd-compute08                         % s0 Z) ?' K* }% M6 J0 g8 R
26   ssd  1.00000         osd.26             up  1.00000 1.00000 1 y+ {0 }. T; H, r; |7 E
27   ssd  1.00000         osd.27             up  1.00000 1.00000 ' A$ k& F) z  j; w. n  }2 c1 r
28   ssd  1.00000         osd.28             up  1.00000 1.00000
# q- o: [- h( Z+ Z 29   ssd  1.00000         osd.29             up  1.00000 1.00000
( n+ h0 G. O& X! K4 @-29        4.00000     host ssd-compute09                        
. i- u6 O$ z* S% A 30   ssd  1.00000         osd.30             up  1.00000 1.00000 7 o4 H4 P6 M! ]1 l7 f
31   ssd  1.00000         osd.31             up  1.00000 1.00000 3 H3 _2 M& F4 m2 O1 d7 u0 f
32   ssd  1.00000         osd.32             up  1.00000 1.00000 % F8 a( v; p- s% i, I+ l" I& Q2 v# |. p
33   ssd  1.00000         osd.33             up  1.00000 1.00000
7 H. o4 w# C  B; x -9       18.00000 root hdd                                       9 a5 Y& G) N6 k4 m7 d
-10        6.00000     host hdd-hostceph1                        
- c$ _' d; \* [' b, n  0   hdd  1.00000         osd.0              up  1.00000 1.00000 2 `6 R% Q! {/ |/ T, m
  1   hdd  1.00000         osd.1              up  1.00000 1.00000
- i- C$ m6 ^' Z8 z  2   hdd  1.00000         osd.2              up  1.00000 1.00000   U* H: T# Y: h
  3   hdd  1.00000         osd.3              up  1.00000 1.00000 ' @' s! C  E: j
  4   hdd  1.00000         osd.4              up  1.00000 1.00000 3 w' R# z- i! G( z
  5   hdd  1.00000         osd.5              up  1.00000 1.00000 8 t4 ]3 W' _" P/ r0 z0 l
-11        6.00000     host hdd-hostceph2                         0 u8 c$ J( S" e2 C- }
  6   hdd  1.00000         osd.6              up  1.00000 1.00000 - ]% E1 f- [2 a& y/ G* T1 Q, W) E
  7   hdd  1.00000         osd.7              up  1.00000 1.00000
. C& v8 F6 A" v( K: V6 X! [0 r  8   hdd  1.00000         osd.8              up  1.00000 1.00000 % }4 O6 Y0 y1 e# _2 m
  9   hdd  1.00000         osd.9              up  1.00000 1.00000 4 u9 y& H! e7 p9 w: `! E; r
10   hdd  1.00000         osd.10             up  1.00000 1.00000
# T: F8 j  F: Y 11   hdd  1.00000         osd.11             up  1.00000 1.00000
# W1 c! _$ [* g9 m8 Y-12        6.00000     host hdd-hostceph3                        
8 X5 t4 ~8 F- {3 @* I6 \& w 12   hdd  1.00000         osd.12             up  1.00000 1.00000
. z9 L6 G- [  N2 h1 ?: f 13   hdd  1.00000         osd.13             up  1.00000 1.00000 : g( B5 K, g! ~6 t7 c6 L  T
14   hdd  1.00000         osd.14             up  1.00000 1.00000
# x# [' l: j, o) ]0 l 15   hdd  1.00000         osd.15             up  1.00000 1.00000
+ W( Y# B3 ^! M) E' V* y2 } 16   hdd  1.00000         osd.16             up  1.00000 1.00000 % \+ z, [  L- G- J0 b$ t
17   hdd  1.00000         osd.17             up  1.00000 1.00000 ( X+ s* c) t& w& [' ]- L
-1              0 root default                                   - o- C+ c8 D( w% M# _0 F
-3              0     host hostceph1                             - A$ D  M" V4 W, W0 D6 h
-5              0     host hostceph2                             
3 K; h' {- h8 v! i7 I -7              0     host hostceph3                             
* a: n) C7 p! e: u1 g, k[root@hostceph2 ~]# ceph -s. ^' p; y( @% U7 O) y7 m; j, q! F
  cluster:
) x0 ^8 |' g% F( j: n1 E    id:     29046cc0-0682-496b-98b1-912e59964282
7 N" j5 Y$ L! m! e    health: HEALTH_ERR
$ b# k- h) d' y/ R, X0 m; @            1 scrub errors# z3 k. J+ h! K( \
            Possible data damage: 1 pg inconsistent1 s/ I, v; g1 ?0 _
            Degraded data redundancy: 244/7807105 objects degraded (0.003%), 131 pgs degraded1 q) ]2 W* l( U3 q2 N: W9 `* O, b

7 E/ Q1 L# B' Q  services:6 E8 p4 R' p' E% v# ?; N- W
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
5 }' ?6 x6 B! i" F$ d. O7 G  [, e    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3$ u! L: Y" B! R6 y+ `# Q/ h; U
    osd: 34 osds: 34 up (since 9s), 34 in (since 4M)+ _, I9 g* a, I0 }5 a" r: W. d
5 R: q- T! o0 i: P3 u
  data:
* ]$ ]+ t$ y: a8 m  `5 A/ e    pools:   9 pools, 5248 pgs4 y, o4 F, h% S" w& ~/ L( I
    objects: 3.17M objects, 12 TiB3 O/ s; Q$ k* `, Z9 C
    usage:   34 TiB used, 92 TiB / 126 TiB avail
! `. E- o; ~# W8 s/ ]. ~    pgs:     244/7807105 objects degraded (0.003%)
, X, {7 ]8 P, M# j& ]: H             5095 active+clean
- \* b; E/ e0 W9 Z5 m             127  active+recovery_wait+degraded- N4 `0 i1 k) s  P  E1 r! m
             18   active
/ I5 K- H4 F. @* A9 X8 q             2    active+clean+scrubbing+deep' y) b7 w# @) q7 l6 P
             2    active+recovering+degraded% X: r0 f5 Z4 a& y, h  t
             2    active+degraded
  a7 y& m: z7 t7 B7 x2 L             1    active+clean+inconsistent% i2 K1 q$ t$ H  M# U( O& J
             1    active+recovery_wait& b9 S+ s9 j. `' S6 t

  P! S- I& O& D, R3 ?6 @7 [  io:, y5 k0 Z0 }3 z9 I6 C9 T
    client:   1.1 MiB/s rd, 28 MiB/s wr, 250 op/s rd, 318 op/s wr3 q. G$ ]2 E3 b, d* m
    recovery: 4.5 MiB/s, 4 objects/s+ L# [1 }: N4 H. N# F
& L8 E+ ]( y: D+ O1 g7 a; |3 t
[root@hostceph2 ~]# ceph -s
: B: U( E4 p. k8 a2 \: A  cluster:
5 f+ v6 @6 b; V& m    id:     29046cc0-0682-496b-98b1-912e599642820 U/ f2 k* Q4 v5 _: \9 A
    health: HEALTH_ERR
( P# ~- @: }# P' P: G            1 scrub errors9 F! j- ^9 I4 u) s3 v+ C# D  u' f
            Possible data damage: 1 pg inconsistent" g8 g' j3 x8 B+ W5 A" b
            Degraded data redundancy: 194/7807105 objects degraded (0.002%), 118 pgs degraded
/ I0 x  e- ~! M0 D) ^4 [( V 2 \, i/ d; W. ?3 x6 y% R; U- w
  services:
% h% K! T' S0 s. U9 H    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
- M2 D; Y3 F% `8 o    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
" s% h, _" I0 `' G: t/ z7 ]    osd: 34 osds: 34 up (since 13s), 34 in (since 4M)
/ {7 o+ ], z: x4 D ( z% k7 `5 ~6 G4 a
  data:/ N3 s6 c( O- [2 P# a
    pools:   9 pools, 5248 pgs
5 B/ a; G- Q3 {& K    objects: 3.17M objects, 12 TiB8 S1 o0 m* C0 Z
    usage:   34 TiB used, 92 TiB / 126 TiB avail
& ]; r! H7 \( p- |1 h* L  q    pgs:     194/7807105 objects degraded (0.002%)
: o! h; T  X" p! [" i) X& z1 n, q, n             5117 active+clean0 @9 F3 S2 i1 z' t& |" I0 M
             116  active+recovery_wait+degraded
  T3 U. a& B5 O5 S             9    active+recovery_wait9 u/ D5 ?5 P1 I6 t* q) N5 }9 j4 @
             2    active+clean+scrubbing+deep9 q: v; q0 s. H4 j# ~
             2    active+recovering+degraded7 D# X7 U/ H$ t
             1    active+clean+inconsistent. k5 M3 P* j  j  I
             1    active+recovering* D8 {- `& D# C* S. q4 f

  Q. o: E, q  D- Y  io:
! u+ A2 _. g% D/ ?6 Z1 q    client:   1.2 MiB/s rd, 29 MiB/s wr, 302 op/s rd, 347 op/s wr* n" A: @$ N, Q# v3 Z
    recovery: 21 MiB/s, 8 objects/s
5 {9 P4 U8 [" e$ d: a
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 14:27:38 | 显示全部楼层
[root@hostceph2 ~]# ceph -s
7 B9 h" ~# A) W/ Q5 ]  cluster:3 x3 e" |' @2 Y1 ?
    id:     29046cc0-0682-496b-98b1-912e59964282' X# H7 G3 K! M0 t- @( G
    health: HEALTH_ERR3 y! m) ?' q3 J! e& U& i
            1 scrub errors  _- ?- Y; `2 p2 H
            Possible data damage: 1 pg inconsistent+ w" f; \0 V) c; P
0 w, X1 E/ Y: d1 p# V7 W
  services:- F' y1 C0 k( y- T- f
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)5 [8 A+ Y3 N" t7 S
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
2 u/ j. q0 a5 ]" u! U. b2 c    osd: 34 osds: 34 up (since 5m), 34 in (since 4M)7 x7 O1 L8 x' A& C* F
& u( {0 S6 v' O1 O7 ]$ }/ a
  data:# I' r: n6 w9 E. d) J2 ?4 a8 E
    pools:   9 pools, 5248 pgs. I) {; G- D# {% e: u
    objects: 3.17M objects, 12 TiB, p% ^' X/ S7 \/ c
    usage:   34 TiB used, 92 TiB / 126 TiB avail
/ F1 d4 u3 H: J+ F! A* d5 @    pgs:     5246 active+clean
+ q0 c9 s: G/ s2 c9 k             1    active+clean+inconsistent4 {1 G2 S$ A( y$ b: I
             1    active+clean+scrubbing+deep& ]; I  W. B6 s
' B- |6 _3 n/ O
  io:) `. F/ z7 O' ~+ o
    client:   8.3 MiB/s rd, 56 MiB/s wr, 373 op/s rd, 508 op/s wr4 ]9 F0 r9 {0 p. W  j# g/ O

  j, b1 k5 v1 _' q/ K最好是到对应的节点上执行命令：
$ j- T2 m* A" {; j[root@hostceph2 ~]# ceph health detail
, ?, a) h( u5 }HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
6 o" J* x8 \/ q* ]OSD_SCRUB_ERRORS 1 scrub errors; ]/ ]+ A% N" ^+ S6 v. x9 _
PG_DAMAGED Possible data damage: 1 pg inconsistent/ w5 u- Y1 A# Z, A
    pg 6.309 is active+clean+inconsistent, acting [9,16]
1 x; w/ ?: A& i$ O+ w. ?" p) |
1 H' @- h! |* X! `0 T2 F7 g! O# s0 i+ g* A3 C' H+ O, ?
[root@hostceph2 ~]# ceph pg repair 6.309
; H6 B. S/ |8 b# F: ]# Y- vinstructing pg 6.309 on osd.9 to repair) T! C4 v* ~& }# n8 \
[root@hostceph2 ~]# ceph health detail ! p: w, v) o$ u* o
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
$ O' f& b' ^8 y) tOSD_SCRUB_ERRORS 1 scrub errors
; u) f5 l2 Q, h2 ]0 `1 bPG_DAMAGED Possible data damage: 1 pg inconsistent
* @9 {7 S( ]' F4 W: t    pg 6.309 is active+clean+inconsistent, acting [9,16]7 _7 L$ s* O3 X8 M
3 A7 K+ t, c3 O5 B- @+ }' F
( l# ]: J& C8 \

  G7 e3 k9 L% Y* l/ {4 m
, g( m3 x3 u) F) v! N[root@hostceph2 ~]# ceph -s
$ m2 k# ^9 O5 U/ n  cluster:- @( d. x2 z# K% G+ ~* Y1 u
    id:     29046cc0-0682-496b-98b1-912e59964282' G; i7 m3 o$ r* Z4 Y
    health: HEALTH_OK
0 M# H$ e) g- ?: J4 M7 q
* W% t0 l0 f! _2 J  services:+ S4 r$ }$ J6 ^+ q; V2 k+ c9 J
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
; e4 x. e1 V! z$ K4 l    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
& d; L$ B) a4 P    osd: 34 osds: 34 up (since 2h), 34 in (since 4M)
6 h3 y' x& [7 M7 a& A' d3 c6 e2 G. }; U7 V" ]! a; I
  data:0 f' u0 d9 R1 P, L+ R' U
    pools:   9 pools, 5248 pgs9 X- s' c& U8 h
    objects: 3.17M objects, 12 TiB$ G% C2 y. @( m! j; G0 b: g
    usage:   34 TiB used, 92 TiB / 126 TiB avail
) m! l2 j% T# _    pgs:     5246 active+clean( u9 v) A+ _3 y
             2    active+clean+scrubbing+deep7 E3 O3 t% T( }0 q- F6 M! n( \( n4 U
- s& K5 _# L$ g& A& B1 e; x0 b6 ]
  io:
2 q8 M; x7 \: I0 Q! m    client:   3.9 MiB/s rd, 47 MiB/s wr, 93 op/s rd, 457 op/s wr
% C( w! {+ T7 t, H# V
% S5 m3 G7 r; j# I% x, \
3 w; Y% ^! U% C, m: K
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:59 , Processed in 0.018548 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表