浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › 1 scrub errors Possible data damage: 1 pg inconsi ...
返回列表 发新帖
查看: 497|回复: 2

1 scrub errors Possible data damage: 1 pg inconsistent

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-11-28 11:35:42 | 显示全部楼层 |阅读模式
[root@hostceph1 ~]# ceph health detail
) e1 p) e2 U! F% z$ dHEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
$ p+ l) ~) U+ \& z7 L- `OSD_SCRUB_ERRORS 1 scrub errors
1 S- W' D; m- _; nPG_DAMAGED Possible data damage: 1 pg inconsistent- [7 S) h. i+ E* K2 M
    pg 6.309 is active+clean+inconsistent, acting [9,16]2 t" {: ~4 n* A" x" V8 ~
[root@hostceph1 ~]# ceph health detail & [9 l6 N9 e: g( ~. q' n; ~; _
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent+ Q. |* K! p9 ?: O
OSD_SCRUB_ERRORS 1 scrub errors
; r& a, m+ Y4 kPG_DAMAGED Possible data damage: 1 pg inconsistent
/ M$ o+ b* S. A8 @+ Y  b# \& D% L    pg 6.309 is active+clean+inconsistent, acting [9,16]
/ K5 V; i3 k+ m8 d% q' S9 W& d[root@hostceph1 ~]# ceph pg repair 6.3090 @: @0 |9 L. W1 K5 [: k6 R" t/ b
instructing pg 6.309 on osd.9 to repair
8 A% F% h- e0 e% m, z7 {0 P[root@hostceph1 ~]# ceph -s) x, S) g5 C' C: E7 R( s  `
  cluster:
: G) o" W3 f. A/ R. A; P    id:     29046cc0-0682-496b-98b1-912e59964282
# Y" C3 _, x- }, i7 U    health: HEALTH_ERR$ D0 ^; }3 Z/ w5 f8 c( [2 W
            1 scrub errors
$ d% x5 u, L& d3 q8 @; u' J            Possible data damage: 1 pg inconsistent" G1 M4 R/ n/ \5 {  l. k% K

* c# N! j1 w. i  R7 `5 u9 A- f8 t+ w  services:
% }  v2 O- ~- V" J    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
1 ^+ D, g) t3 @' q. F    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
# _! |! w* A$ {. q% ?/ u    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)6 F5 z3 t# N& S% q' {; ?

, \- W* h( G+ W. H  data:
3 L$ w/ o% Z: X0 W! X* O. T    pools:   9 pools, 5248 pgs5 p( `0 w' B8 ]4 I
    objects: 3.17M objects, 12 TiB( u& h# r" B+ M
    usage:   34 TiB used, 92 TiB / 126 TiB avail) O$ V) o# |8 E  A5 o, I- k
    pgs:     5243 active+clean: z- C* B4 |# p. @1 L
             4    active+clean+scrubbing+deep: n0 ~- j* R8 b* R
             1    active+clean+inconsistent
& i2 Z% ]  v$ T! Q# E: K, f, w! ?7 C! a, |5 d5 s3 ]: o8 ?' p
  io:
( F; g5 x% \  a! d6 \' G- J/ a    client:   1.9 MiB/s rd, 56 MiB/s wr, 273 op/s rd, 414 op/s wr% `7 L# D) s9 |  e
/ F8 e1 z5 t3 S7 j
[root@hostceph1 ~]# ceph -s: }4 X9 Z9 r; m
  cluster:1 z0 X! y( g, E: G* x: P+ q7 _
    id:     29046cc0-0682-496b-98b1-912e59964282
' Y; q4 Y) y4 A1 u* v, Q5 F& q& M    health: HEALTH_ERR
  S* P+ ~+ S5 h. ]+ s7 p; O. ^/ G            1 scrub errors
/ e8 e0 J- L7 t            Possible data damage: 1 pg inconsistent
$ u( n! Z; k4 Y4 B6 N' g" B) Y5 D; P  g/ Q% T2 m
  services:4 V- m& h% A" g* n0 y/ {6 M
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w). @. r: z: P' p+ S
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3) p3 Y+ X+ N  J* r* }! c
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)+ w. _& l& b" J3 S. r7 P
9 M4 k% o4 h1 Q! a- b1 `1 x* X
  data:+ t- D1 \3 C% n: ?* G
    pools:   9 pools, 5248 pgs6 r4 M' q! O- q: z; _0 k
    objects: 3.17M objects, 12 TiB
6 [: n0 q3 C) T3 j) c    usage:   34 TiB used, 92 TiB / 126 TiB avail
' W+ d9 H! |& Y7 V    pgs:     5243 active+clean
& e+ N& s/ h. |" B+ l1 i9 Z2 @. P             4    active+clean+scrubbing+deep
! s& e2 ~. o+ r. a$ ]( X             1    active+clean+inconsistent
' @! o, j' {& A8 H) R: M/ N3 t8 W  {' j! W& A
  io:: b4 l% g. S8 T/ b
    client:   2.0 MiB/s rd, 60 MiB/s wr, 112 op/s rd, 398 op/s wr
8 J0 @3 F* m/ o
- p& x1 c3 d7 z' q! _' p  n[root@hostceph1 ~]# ceph -s
$ }2 V' I8 S  }$ U4 r  cluster:
: P' k7 I5 s9 f" c3 N+ A. t    id:     29046cc0-0682-496b-98b1-912e59964282
% I# s1 N% W) e8 I' K6 l    health: HEALTH_ERR
. o; K$ I" Z2 f8 B7 l* c1 X2 ~$ k( w            1 scrub errors# F2 ?; K  V! ]. g, d& l# @" b# N) j
            Possible data damage: 1 pg inconsistent, s" r% c; G) n7 U7 o* a

, _( L+ O( J# h1 }: @  R  services:
/ ~' i3 p$ E- \; u( d; p    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
& [+ x6 z3 S& ]$ o    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
# C  m& d' J( c$ M! V& J2 Y2 z    osd: 34 osds: 34 up (since 2w), 34 in (since 4M). v9 m$ ]5 f. j0 n
0 V8 A& ^) B  l$ e6 J3 g3 T! T
  data:
3 l$ q8 R* f; I" Z( ]2 x5 T    pools:   9 pools, 5248 pgs
4 b* l1 \5 @0 q( b: U4 A& s, v) X    objects: 3.17M objects, 12 TiB( B7 N. t- c1 z2 B
    usage:   34 TiB used, 92 TiB / 126 TiB avail( S- S, r8 ?  G8 N& J# Q1 I# M
    pgs:     5243 active+clean5 Y% j4 t4 K5 N7 p, t" U
             4    active+clean+scrubbing+deep2 G7 v$ A+ Z3 w9 }5 ]  ?
             1    active+clean+inconsistent
& g# c  ^0 N2 h2 k1 V7 x- }6 c( G/ V# b4 d6 I
  io:6 S1 I5 e  c# k" C) [4 y
    client:   1.7 MiB/s rd, 44 MiB/s wr, 134 op/s rd, 444 op/s wr. {- H) ~; b+ d3 G6 i- g/ S

7 s. [/ G- W  O, T' X7 P2 y6 A# a- c[root@hostceph1 ~]# ceph -s
9 O; ]* |0 q( i# o% Q9 i  b  cluster:) v& `: H0 j; _7 K' ]% ~. _* ~" }8 N
    id:     29046cc0-0682-496b-98b1-912e59964282" Y& J. l; y; B  U- T
    health: HEALTH_ERR) J, Y9 }" z! x$ X* f/ k, j2 k1 c
            1 scrub errors- R) F3 N' o3 t! X2 Q! ?3 S
            Possible data damage: 1 pg inconsistent
6 N+ y! U+ y, y& p: j' \" R  P# H( {7 d# A+ n
  services:
+ C( |3 q  N9 U( x( \" v) t    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)9 o5 Y/ r* G3 F6 |
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
$ t. R! F5 J3 \- ^5 R% K9 |8 v    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)- O. d/ v' i( J. P1 K9 a2 L& z! q: l
' Z* {  ^, _* J5 l9 _
  data:
' l# t+ t8 M! b0 j- k5 |    pools:   9 pools, 5248 pgs
& q! H$ X( ~5 ?; }3 y+ c    objects: 3.17M objects, 12 TiB
0 G# ]7 J9 b5 s% n$ U6 e' @3 C, _    usage:   34 TiB used, 92 TiB / 126 TiB avail( _# j8 y) W/ h. P: b5 O) ~4 x
    pgs:     5244 active+clean. Z; \8 e$ e: j
             3    active+clean+scrubbing+deep: T* N/ O8 I# |5 Z- y3 v- D
             1    active+clean+inconsistent, ]3 i4 n9 |! b9 E
, t( F. n7 ^- @( r5 K
  io:
' p; }4 d& O0 }& J2 S    client:   823 KiB/s rd, 46 MiB/s wr, 356 op/s rd, 489 op/s wr
( O5 c; |( ^, u) y
* U! V7 h8 a: q9 S: m" \% L[root@hostceph1 ~]# ceph pg deep-scrub 6.309, g: V+ I7 E) f4 m
instructing pg 6.309 on osd.9 to deep-scrub, S2 E: a: N3 I' o( u3 y. c+ s- B' C! s/ s
# V! H7 w3 G6 }* ^4 o4 L

  \* h$ W2 [- n4 e- g4 `' }
- V1 Q& Z8 b3 h, `4 m: v' Z. j8 p" L9 Z. u! h: w2 Q2 x0 J1 O0 M/ e0 f

+ e" x9 E! @- X, G% [2 }: b' m! H2 Q

5 u4 Y$ H# Y/ W. N0 |# i
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 11:40:24 | 显示全部楼层
[root@hostceph1 ~]# ssh hostceph2 + a0 S4 T6 v% [# t5 b- z; o* N
Last login: Mon Nov 28 10:52:24 2022 from controller19 O" a2 Y- o1 ^% b/ Y- @
[root@hostceph2 ~]# date
* ~/ u) j+ `8 B4 |Mon Nov 28 11:37:42 CST 2022
7 t2 \- {- K+ X; x2 a[root@hostceph2 ~]# systemctl restart ceph-osd@9.service
; q* z0 k; u9 |# ]4 P8 S/ J) v+ K[root@hostceph2 ~]# date* N. E, n3 x' V! H  H
Mon Nov 28 11:38:08 CST 2022
) [8 \7 G( F5 _9 e3 B[root@hostceph2 ~]# ceph -s! v  V( A9 D% q7 d" B
  cluster:
' t/ `" c8 e9 M2 a/ Z! F  @' N+ c    id:     29046cc0-0682-496b-98b1-912e59964282
7 {  g2 S9 \; b& u' E    health: HEALTH_ERR
# P( _# ?# O( H2 H$ m2 q9 t: f( D            1 osds down; k5 e% \  F3 f4 k0 d
            1 scrub errors' N* ^+ x# l" m5 B9 d* Z
            Possible data damage: 1 pg inconsistent
! D+ I8 O+ j# ]  b$ A5 T5 Z            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded! z7 H. B8 q! ?: D- r8 V# Y! |

' G/ A" j8 \- G  services:" V0 P! u4 c% W9 K
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)& Y$ r' C' q7 X8 A9 P
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
$ N0 e  [2 S* G5 I' b6 D    osd: 34 osds: 33 up (since 13s), 34 in (since 4M)8 H; h7 M; @& M: [0 @/ L/ D8 d

: X1 o$ x2 X1 I  data:5 z- v: B: B5 j4 ^& w
    pools:   9 pools, 5248 pgs
; F; u4 g2 ]- m) m8 d    objects: 3.17M objects, 12 TiB8 h; k6 L* y; H& n  v+ u
    usage:   34 TiB used, 92 TiB / 126 TiB avail
- T2 o$ M. P+ P1 k. B    pgs:     4.459% pgs not active
5 a% N) Q, I% S( S/ r! A( _9 O3 D             310123/7807105 objects degraded (3.972%)" X# h% b4 K1 {; o6 `
             4686 active+clean. g$ Y2 h: |+ H) A, [, J5 @
             234  active+undersized+degraded- s( ?. ?1 m, \3 L- X4 s
             233  undersized+degraded+peered
  E# a# i; m% E4 m             79   active+undersized7 H/ E# c$ x% h' B3 e8 c
             13   stale+active+clean
1 U+ G( t8 k" \' l2 m) |             2    active+clean+scrubbing+deep- B2 P! x! ^* I( I7 B8 _
             1    undersized+degraded+inconsistent+peered
7 i, E9 x' [5 `) O* b" l
5 \' ^/ ?  h  ?8 e" `  io:
8 ]0 G& a  S/ P2 X& P    client:   42 MiB/s wr, 0 op/s rd, 471 op/s wr
' X6 n' L: Q  f% e " P9 U+ m! n" I8 Z
[root@hostceph2 ~]# ceph -s
0 _; R5 k0 s) X# K9 y( n  cluster:
6 Y. P' ~% F+ J( h4 r! q+ R+ w/ W) u    id:     29046cc0-0682-496b-98b1-912e599642826 |" V- O: {* s6 G8 I
    health: HEALTH_ERR. d0 c+ b9 ?  ~" J' ]. n
            1 osds down
' q& P7 W+ a  w. i- U            1 scrub errors
4 t) ^4 W& R, z# v9 V7 N# A3 n; s            Possible data damage: 1 pg inconsistent
" p  x7 o' e, @3 T2 c2 K+ |            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded
" z1 }0 q! s2 s  ]5 b ( Y$ p) f+ i% [  ?! {5 c9 ]
  services:$ J. n4 O- l2 A% w& U! U/ y" y9 Z
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
& h! J$ G$ E% ^  b% }7 z    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3/ W" X- k( r/ L0 E
    osd: 34 osds: 33 up (since 19s), 34 in (since 4M)' V% s% |) D; x: B4 c' t9 m
* H, i" v( N* V0 Z  T0 I
  data:5 w0 B) e4 A! I0 e/ O' \! ^( M
    pools:   9 pools, 5248 pgs4 a+ H. E; W7 r( j$ J7 s. X
    objects: 3.17M objects, 12 TiB7 `/ B) z" J6 @5 g  b; Y8 }6 ?
    usage:   34 TiB used, 92 TiB / 126 TiB avail- n# o+ M! \" q( `7 `9 G" X$ w# W
    pgs:     4.459% pgs not active
* G" N+ u8 b6 G( X8 z             310123/7807105 objects degraded (3.972%)
7 {" U3 N4 {$ r; }8 ?             4686 active+clean
2 Y0 g& X7 `, d3 q             234  active+undersized+degraded3 S5 S/ J4 X" z5 O- R! v+ Z) s
             233  undersized+degraded+peered
- H" X  ^6 c- Y% X             79   active+undersized. e. P, h/ R& J# X  a4 L% p* S
             13   stale+active+clean
4 j& x5 l* s* z4 t             2    active+clean+scrubbing+deep
9 @3 r; ^: y/ F- L+ K4 Y* s: _             1    undersized+degraded+inconsistent+peered
9 y  s9 d% h; `) r* W, y ( F! x6 s% B6 _2 d" i
  io:
2 N3 J: t) e' J0 {8 }8 i" }    client:   6.7 MiB/s rd, 27 MiB/s wr, 135 op/s rd, 545 op/s wr
8 g+ w" Q  _; i3 O& |& t
9 e) o7 J% w# W: t5 a[root@hostceph2 ~]# ceph -s7 e' G* Q$ y+ I  I8 k
  cluster:. L6 [1 h0 r0 r6 s3 O- w5 [! A
    id:     29046cc0-0682-496b-98b1-912e59964282/ k2 b! F# _7 ]* |' ~' E/ U( X: X
    health: HEALTH_ERR
5 x5 x9 }3 W4 {4 w            1 osds down
" H  g4 b- L  S  ~  ?2 f            1 scrub errors1 Q7 ], f& [" g
            Possible data damage: 1 pg inconsistent* ~! z# G- l: t, u) D& e& e- T4 v) `( q
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded- h4 ^, }2 s) O" p7 g0 D8 P! M
& s4 f) i# Q3 Q9 }0 R4 G: o
  services:/ z9 v: h/ |& F" ]% B9 `: B
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
7 c! A1 z( i8 j2 w  S& l    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph30 o' d) v  Q( _7 t4 _$ ^, x) \
    osd: 34 osds: 33 up (since 22s), 34 in (since 4M)5 m" m$ u& f* m

3 n) ]/ q& w4 }, y/ r! j  data:& `$ [$ {+ c( t, ^) v
    pools:   9 pools, 5248 pgs
/ m. n) j$ i! o' }) W    objects: 3.17M objects, 12 TiB9 \6 s% z, r8 y# H; F
    usage:   34 TiB used, 92 TiB / 126 TiB avail' a& l" g! e# h' B9 ]
    pgs:     4.459% pgs not active
+ y8 k) G9 @" |' |* B             310123/7807105 objects degraded (3.972%)3 I0 `. F; }/ V6 L' t
             4686 active+clean
: F7 Q# R0 X" Q8 C, V             234  active+undersized+degraded/ C3 d2 [" Y8 j, T
             233  undersized+degraded+peered1 }2 K- T* E8 H: m4 Z( }" k
             79   active+undersized
& R+ Y, _( ]  Q9 @5 M, q             13   stale+active+clean. E: j( m8 u$ ^) W
             2    active+clean+scrubbing+deep* F& \. L& D, e
             1    undersized+degraded+inconsistent+peered# k: m6 `0 x6 s" r  {+ ^
6 y, m0 i: h1 f( e
  io:
2 L9 c+ V, u6 }0 f; q. f/ M0 H    client:   6.9 MiB/s rd, 22 MiB/s wr, 172 op/s rd, 604 op/s wr
7 D' H7 G+ e  V4 I& C
  a" s7 h( @( m( l' D7 n[root@hostceph2 ~]# ceph osd tree9 v( a8 |9 c3 }4 y
ID  CLASS WEIGHT   TYPE NAME              STATUS REWEIGHT PRI-AFF
9 V3 y( N: ^- I; d+ A6 {" D+ |-25       16.00000 root ssd                                       
8 Z& V8 j) \; B3 m( u* h# ~" B-26        4.00000     host ssd-compute06                        
  M  @1 B, \) M, _8 B( a 18   ssd  1.00000         osd.18             up  1.00000 1.00000
, k/ ]9 b4 F! A9 u9 W9 N, E+ P 19   ssd  1.00000         osd.19             up  1.00000 1.00000 2 v0 s% {3 ?( p; [" J
20   ssd  1.00000         osd.20             up  1.00000 1.00000
: v# H5 E& ~# k* ?- S8 n 21   ssd  1.00000         osd.21             up  1.00000 1.00000 + e' ?. m+ i0 K6 u
-27        4.00000     host ssd-compute07                        
+ c6 [. x& e' D1 P, P 22   ssd  1.00000         osd.22             up  1.00000 1.00000 1 u' Q+ A6 ~5 h* J5 N, M
23   ssd  1.00000         osd.23             up  1.00000 1.00000 1 T1 M! }/ t5 {8 a9 J) _
24   ssd  1.00000         osd.24             up  1.00000 1.00000
1 }8 Q' {6 r9 A6 U! b& k  W 25   ssd  1.00000         osd.25             up  1.00000 1.00000 * h4 E; X" V3 |7 l/ y7 j
-28        4.00000     host ssd-compute08                        
2 b, Z- I4 C" L( U' f 26   ssd  1.00000         osd.26             up  1.00000 1.00000 : x. p+ z' Z. y1 X! G
27   ssd  1.00000         osd.27             up  1.00000 1.00000
9 `: s# k2 q. @& [6 a 28   ssd  1.00000         osd.28             up  1.00000 1.00000 ! U3 f# r9 O  ~4 u5 z& U5 s  g
29   ssd  1.00000         osd.29             up  1.00000 1.00000
9 G/ @; ~3 a4 n: F-29        4.00000     host ssd-compute09                         # y  q; K$ z$ R0 ~/ J4 v) M
30   ssd  1.00000         osd.30             up  1.00000 1.00000
1 F  y8 }8 r& a+ X 31   ssd  1.00000         osd.31             up  1.00000 1.00000
" ?5 T* d% {) y 32   ssd  1.00000         osd.32             up  1.00000 1.00000 3 h  R2 Q+ G. p) N0 h9 S$ e
33   ssd  1.00000         osd.33             up  1.00000 1.00000 " Z( i' U3 M1 L7 ~' d9 n6 l
-9       18.00000 root hdd                                       7 [# h6 s& t+ [; ]4 }) A" Z
-10        6.00000     host hdd-hostceph1                        
) x5 u4 T5 j9 _9 s( z- T  0   hdd  1.00000         osd.0              up  1.00000 1.00000
5 s  b  j: ^. ~- h  1   hdd  1.00000         osd.1              up  1.00000 1.00000
0 \' j: K( J$ f) o  2   hdd  1.00000         osd.2              up  1.00000 1.00000 & N7 `, @* O: @; D0 L) A- {- t
  3   hdd  1.00000         osd.3              up  1.00000 1.00000
4 e, \8 b( O* P# R  4   hdd  1.00000         osd.4              up  1.00000 1.00000
9 X1 R: t. U: E5 G8 X  5   hdd  1.00000         osd.5              up  1.00000 1.00000 ; n; Z5 q2 [# h0 O8 m
-11        6.00000     host hdd-hostceph2                        
) w9 r# w0 t9 S% Q6 Q  6   hdd  1.00000         osd.6              up  1.00000 1.00000 & W" G; K  d* M( R; u8 j
  7   hdd  1.00000         osd.7              up  1.00000 1.00000
3 d; v; c/ m: G0 L, M4 ~8 Y. [  8   hdd  1.00000         osd.8              up  1.00000 1.00000
! f2 k9 T- r4 g0 D" C6 e0 J2 ~1 b6 m  9   hdd  1.00000         osd.9              up  1.00000 1.00000 7 C( ]. V1 u- e* W2 u
10   hdd  1.00000         osd.10             up  1.00000 1.00000 # s4 {! r! @, R6 z
11   hdd  1.00000         osd.11             up  1.00000 1.00000 2 H7 H3 U0 h( T4 p; ~
-12        6.00000     host hdd-hostceph3                         1 `( N% M9 q/ S( U" x) y
12   hdd  1.00000         osd.12             up  1.00000 1.00000
3 N' A4 j5 ~6 n' i2 b+ w* X1 p 13   hdd  1.00000         osd.13             up  1.00000 1.00000
5 [& {* N0 ~, Y* ?# X! _ 14   hdd  1.00000         osd.14             up  1.00000 1.00000
! b- a! s# m! {& m: i  B* v% @ 15   hdd  1.00000         osd.15             up  1.00000 1.00000
6 J6 J: @; m. m: N! D" v- W 16   hdd  1.00000         osd.16             up  1.00000 1.00000
: U; |- `' T! Z  r  }% G$ [ 17   hdd  1.00000         osd.17             up  1.00000 1.00000 8 V5 h' n2 F( I8 B+ h3 W
-1              0 root default                                   
! a0 V4 [* k7 i) f -3              0     host hostceph1                             4 s! {" b! a4 @% m
-5              0     host hostceph2                             0 a; a% J) U6 ^6 ^1 f0 n" l
-7              0     host hostceph3                             9 _1 f* b/ m2 ~. G. w
[root@hostceph2 ~]# ceph -s
; T, `' d* q  k! w3 {7 A  cluster:& c* o  o, @  s) c) e+ ^4 M
    id:     29046cc0-0682-496b-98b1-912e59964282
! T7 j# f. J5 z) h1 q% b' Y& v. u' N, R    health: HEALTH_ERR
  e! {' i' u# p/ ~1 ~: M- F            1 scrub errors' x! {1 y; o2 n1 D7 w, @
            Possible data damage: 1 pg inconsistent8 m) D$ M* y2 k2 U
            Degraded data redundancy: 244/7807105 objects degraded (0.003%), 131 pgs degraded
" {3 b2 ^/ b9 S. H1 m5 B + H: P" h4 _8 y2 P- b0 K3 M
  services:. M$ S4 A+ I1 j, t4 O
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
( z3 P  I+ D. [: P    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3' _* n8 t5 X0 @6 h3 A
    osd: 34 osds: 34 up (since 9s), 34 in (since 4M)0 E& U' u% V" D) _* [9 A9 M( G

) n0 @, _, Q- A) G& m, C7 e  data:7 u  F% k* C, ?- F, U
    pools:   9 pools, 5248 pgs* w5 ~) _3 U& m; w3 s4 [( C
    objects: 3.17M objects, 12 TiB
4 G, N5 t1 ^) i& u$ d0 I    usage:   34 TiB used, 92 TiB / 126 TiB avail% j: I- }# e, m( ^
    pgs:     244/7807105 objects degraded (0.003%)
4 o7 D, O, a4 v( G& t# L             5095 active+clean) r3 _: t7 B$ |5 `" H
             127  active+recovery_wait+degraded
/ n; S9 Y# f) b5 N6 V             18   active
* \! D+ K8 k8 t6 C1 z             2    active+clean+scrubbing+deep5 [$ @5 m- K3 b1 _- Y" |* ?  U2 g, t
             2    active+recovering+degraded
8 G) u5 k: [( [/ _8 Q  H             2    active+degraded' T! P+ l8 G& f! G0 e
             1    active+clean+inconsistent" O; F. i% K4 h/ ]3 d
             1    active+recovery_wait" d2 K2 R0 E: M. E! u( P+ |, ^1 ^

% A  L8 Q! ?. z9 T. o5 m  io:2 u3 u% ^  a  H# i6 @; W1 ]
    client:   1.1 MiB/s rd, 28 MiB/s wr, 250 op/s rd, 318 op/s wr
  U! L! Y8 {# i: U! h" U' W- Y    recovery: 4.5 MiB/s, 4 objects/s! m3 E0 R+ l, a- i

- d5 S8 j9 M" ?, W[root@hostceph2 ~]# ceph -s
1 n# v* g4 R! A. b: |$ H. u  cluster:( B1 \7 u' b+ `2 s1 o
    id:     29046cc0-0682-496b-98b1-912e59964282) Y1 a& _. I3 U% j8 e' k% R0 H
    health: HEALTH_ERR
( I  t9 V8 g- G+ G& [" w5 \* Q            1 scrub errors
! X8 |* @9 G. u* U0 c            Possible data damage: 1 pg inconsistent
6 r3 s3 A! L# x# o7 p0 O" _, _2 m% V            Degraded data redundancy: 194/7807105 objects degraded (0.002%), 118 pgs degraded
% e8 y, I, C" \, S2 H / t3 `! \8 N, x# J6 p( R
  services:% \0 ?1 m! X$ h- `6 E6 W
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
3 O1 [' u# D% A    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
  d) ?6 y! q. W, B8 L8 |    osd: 34 osds: 34 up (since 13s), 34 in (since 4M). T# q0 D2 Y( z0 |" d2 U) h
, a/ \$ x- _. N4 q
  data:
0 ?* J  M8 ]1 p- x8 Z5 }5 o    pools:   9 pools, 5248 pgs8 l& _% c5 u% D" w" l
    objects: 3.17M objects, 12 TiB
$ C( a8 N- y* q2 j) g    usage:   34 TiB used, 92 TiB / 126 TiB avail
& `9 W) e& O% V' f1 Z    pgs:     194/7807105 objects degraded (0.002%)9 {8 m- p( W% c, K3 T
             5117 active+clean$ W, P. z! ]+ y: s& q% Y+ j
             116  active+recovery_wait+degraded& C7 Y9 d9 V3 v
             9    active+recovery_wait, G- s( |  m" `2 ]& D, D
             2    active+clean+scrubbing+deep. f! R$ j1 k1 y
             2    active+recovering+degraded
3 B% B2 e7 y1 w2 S             1    active+clean+inconsistent
3 l& l( }2 Z" H2 T5 K! p             1    active+recovering5 z3 y' c- t* d* s6 [- y

0 L6 J! L/ h0 w, E7 L  io:
$ \! \# h$ U3 H% _. a6 C& K    client:   1.2 MiB/s rd, 29 MiB/s wr, 302 op/s rd, 347 op/s wr/ T( Q: ~1 E# \7 H
    recovery: 21 MiB/s, 8 objects/s
( d2 ^3 ^: j0 r# ~) w
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-11-28 14:27:38 | 显示全部楼层
[root@hostceph2 ~]# ceph -s& G! C* J9 i4 Y8 E3 L$ K
  cluster:8 @. \9 I: T7 ~" |
    id:     29046cc0-0682-496b-98b1-912e59964282
* @5 D) n" S2 o( l5 D2 j    health: HEALTH_ERR2 b# l- K+ ^- m) \3 a* }( @
            1 scrub errors
. `7 ^" F7 R" d+ M4 J6 n) E            Possible data damage: 1 pg inconsistent
& Q3 V6 a6 C2 ~" w/ S' k+ x9 Z( ^. M7 ?- [% C4 l! ^% O
  services:# n  o3 f) [4 }0 w; B- j9 z
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)3 ]6 Q# W! v  ~  r  ^' w
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
* [6 X3 N8 s9 R1 |8 n# X    osd: 34 osds: 34 up (since 5m), 34 in (since 4M): p& ^8 _" f5 y# V1 c9 N: P4 |

3 O( G' x9 J' v5 H+ L  data:( r5 v" a5 v3 y% k: x. o; w: u
    pools:   9 pools, 5248 pgs
( D9 |4 o- l! L    objects: 3.17M objects, 12 TiB
: J+ Q  c% N3 O+ b3 T6 f- r% P5 W    usage:   34 TiB used, 92 TiB / 126 TiB avail
4 W% i3 t4 p& x% g/ S; S8 j    pgs:     5246 active+clean; _: S% n0 V% Z, `# }+ _
             1    active+clean+inconsistent! `, ^, E8 O' U* ]4 T
             1    active+clean+scrubbing+deep" U' e$ `6 f  {) J' e3 G4 K* f
5 V0 Q1 N4 n9 c1 O, A- c$ N6 |7 A
  io:
1 Q+ s5 d5 v0 O: e0 O9 n- w    client:   8.3 MiB/s rd, 56 MiB/s wr, 373 op/s rd, 508 op/s wr
, S. m$ D: c. c" q
% A1 M( o8 t9 m: q5 U最好是到对应的节点上执行命令：# e. C" n8 R% i: U
[root@hostceph2 ~]# ceph health detail 9 t9 ~9 @' o* ]3 ?( B
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
; j, J' g5 ?3 `OSD_SCRUB_ERRORS 1 scrub errors
. I7 W/ t7 ^% f6 XPG_DAMAGED Possible data damage: 1 pg inconsistent! M. H& ~) b/ J% [  W. t
    pg 6.309 is active+clean+inconsistent, acting [9,16]
" k* k9 T. Z; j/ F- H7 ^1 Y: |- `/ D& |) q2 J; e( v) n! i! h
( n( ~% b; A9 X) C
[root@hostceph2 ~]# ceph pg repair 6.309$ v4 Y3 Y5 {: h6 i7 B
instructing pg 6.309 on osd.9 to repair% X1 _3 m3 O8 Q) g* p% \
[root@hostceph2 ~]# ceph health detail
9 @0 V. Q6 [7 q4 w% NHEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
3 A% i5 Z, y7 Y$ X) ~$ u/ v( YOSD_SCRUB_ERRORS 1 scrub errors# @0 J* X  [6 W6 W$ `4 p
PG_DAMAGED Possible data damage: 1 pg inconsistent  u# Q( a+ l- N3 b% {& ?
    pg 6.309 is active+clean+inconsistent, acting [9,16]9 @9 g/ U: ]$ N: K9 k: A+ D6 ]

6 `% L  B6 f+ V( t
7 M- A5 v" y' W0 u# n6 j, N. o
6 l& T1 d$ \- m3 c9 ^
; f* Y. t: X  b[root@hostceph2 ~]# ceph -s
2 }4 S  k- m: N. r4 b; E  cluster:
4 T- _! D0 s# h2 n    id:     29046cc0-0682-496b-98b1-912e59964282
- X3 f& J, z) |4 Q0 E) R/ c    health: HEALTH_OK" ~' a/ m/ d4 R/ H7 a
/ l# W, _- l4 X! u4 m/ W  D
  services:/ O2 G# O8 h% E6 K
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
9 D' L: H- N. \" p6 C    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
: d' ^% X( A/ |8 v/ Y2 K    osd: 34 osds: 34 up (since 2h), 34 in (since 4M)
# R! N) Q/ J; F6 S: ^" I$ r) g
0 r! v) D/ f" e" S, X  data:
8 V4 p" n# o* L6 \9 i& X9 S# h8 p    pools:   9 pools, 5248 pgs
0 c; F" ], h" A. z- t    objects: 3.17M objects, 12 TiB
) T7 M4 M- y7 q  s$ v    usage:   34 TiB used, 92 TiB / 126 TiB avail
- ?8 b2 q8 T. v4 n# j# j# X    pgs:     5246 active+clean
2 G& Q2 ^7 A+ t. r4 I! [             2    active+clean+scrubbing+deep3 @5 K4 b% p. o5 b: G# I

5 `/ z0 J# J3 F* M, R0 a! _  c* J  io:
' Y( ~7 S$ t% x, p- j/ D, r7 m    client:   3.9 MiB/s rd, 47 MiB/s wr, 93 op/s rd, 457 op/s wr0 b9 r* ?1 W7 X: e, U- n
7 U9 k8 Q( N# E; w

3 b7 a; s/ p5 L8 b3 p
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:01 , Processed in 0.017969 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表