浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › 1 scrub errors Possible data damage: 1 pg inconsi ...
返回列表 发新帖
查看: 496|回复: 2

1 scrub errors Possible data damage: 1 pg inconsistent

[复制链接]
admin

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
发表于 2022-11-28 11:35:42 | 显示全部楼层 |阅读模式
[root@hostceph1 ~]# ceph health detail : q/ |9 e7 b. ^3 L, I
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
' B; K3 a6 i) S3 J0 ^OSD_SCRUB_ERRORS 1 scrub errors7 Z4 i! k5 n! S& N
PG_DAMAGED Possible data damage: 1 pg inconsistent
: f! r. X0 {) C, m" D    pg 6.309 is active+clean+inconsistent, acting [9,16]
: x  @( {) m, W/ ~- m[root@hostceph1 ~]# ceph health detail : e7 B  Z: ~1 J# p( G
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent2 E& e5 y* k7 o% P8 J& ]8 s
OSD_SCRUB_ERRORS 1 scrub errors/ d% d2 R" Q" E3 M; Y" @& v
PG_DAMAGED Possible data damage: 1 pg inconsistent/ D& K/ W( h9 F$ m0 m$ \
    pg 6.309 is active+clean+inconsistent, acting [9,16]% R4 Q2 E% s1 S% n& f: n
[root@hostceph1 ~]# ceph pg repair 6.309; D* I- c. d9 w4 o9 L6 U  h# }: l
instructing pg 6.309 on osd.9 to repair
1 R2 b! k9 L: H' D4 X1 w! G[root@hostceph1 ~]# ceph -s
: C( k" Q( c8 \3 z5 m& i2 a, Y9 U8 v  cluster:4 {$ A3 d, H, V" \5 g' f$ @1 X
    id:     29046cc0-0682-496b-98b1-912e59964282, L5 e$ Y" [% K
    health: HEALTH_ERR
( g+ G- _" P; {$ @0 k. ]6 n- w            1 scrub errors- r/ v% j8 c: r! T
            Possible data damage: 1 pg inconsistent1 i* X5 Y2 ]( Q9 ?1 E

* r( T( X& I% ?$ s3 m0 v6 X  services:4 R- n# V1 a$ h7 h8 S5 E1 d
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w), U/ g8 E2 Z# t2 {
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
0 j, u2 e! K! R2 |) F) B$ M    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)
$ a) x& J- E5 N# b. Z
* N# r' Y' _3 E0 P  data:2 Q  _' T! y( V4 c& J$ a
    pools:   9 pools, 5248 pgs% Y1 a1 I# G- q6 s  l& q
    objects: 3.17M objects, 12 TiB  m# E; i6 ?8 C& k5 G0 e
    usage:   34 TiB used, 92 TiB / 126 TiB avail
6 w" \* Q9 l$ ?# y' X  L7 j! e    pgs:     5243 active+clean5 |# l% o# n( a- i7 T# E3 K3 s  J
             4    active+clean+scrubbing+deep: U3 g& o" s' P  Q4 U" [
             1    active+clean+inconsistent
/ [1 K- S" j* d/ j/ w( Q' N
" W! h! c* g( I3 V- x  io:
8 W7 t( R5 A9 I! C0 v) V% f( y* z9 E    client:   1.9 MiB/s rd, 56 MiB/s wr, 273 op/s rd, 414 op/s wr
6 w1 d; g0 k5 L: u5 O5 Y3 M7 P1 R8 d9 O
[root@hostceph1 ~]# ceph -s+ l( {, ]" P: y. C( n/ b
  cluster:3 @: [+ M1 z4 [7 |' S
    id:     29046cc0-0682-496b-98b1-912e59964282
7 X! m: F% q* ]6 j2 v5 j- a    health: HEALTH_ERR
. I. V; l4 p' G$ q3 u% @  j& {  I            1 scrub errors3 t7 u. @# Q# e# Y
            Possible data damage: 1 pg inconsistent
+ ?1 ~6 G- D" W( k; i, |; _  `6 A% ]' I% k5 z9 a) l7 ^
  services:! M3 u; Z* ^4 {5 ^$ L: |, x
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)5 L& v) n6 q( L$ f1 A/ i. c
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
# y% @! |# N, h9 R    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)- d4 }* b  n1 c% q1 h; i4 d3 P

! E3 z9 ~4 i- F/ p# ~9 V5 h$ J  data:
* C4 K& c" O" M5 ~, G    pools:   9 pools, 5248 pgs" X: |1 ^$ D: l, Q. |
    objects: 3.17M objects, 12 TiB
# c* k+ k. `( M: d    usage:   34 TiB used, 92 TiB / 126 TiB avail
5 [, x8 x: b3 y6 N+ u# W& C4 l' y3 L    pgs:     5243 active+clean
8 J# g0 O. i+ t0 |( ]& e( g2 I             4    active+clean+scrubbing+deep
/ t2 `3 `( Q0 H* l             1    active+clean+inconsistent2 p- @( N3 ^4 X# m% I5 O2 p$ F
0 p& h  M# a# L) f" Y) y$ d
  io:
$ G0 e! d% y4 L+ v1 D" O9 z$ j    client:   2.0 MiB/s rd, 60 MiB/s wr, 112 op/s rd, 398 op/s wr; ~. }) }0 I( O3 @" E& J! S. J

- c# N  k3 ~% T$ P( _+ q[root@hostceph1 ~]# ceph -s. }  r* b. ?( u; n/ y% Y! W# y
  cluster:
# c3 J, l3 \; b2 C" v    id:     29046cc0-0682-496b-98b1-912e59964282
2 y2 S: {9 i7 `, M5 T    health: HEALTH_ERR- L) w. [& l: H. N
            1 scrub errors
' m4 d" B; q7 G: O$ M9 v7 O. U6 b! I            Possible data damage: 1 pg inconsistent
1 Q7 Q: i- B3 l7 \$ {  Q4 V! L4 c$ @5 r, h5 O# g; w: f/ e
  services:/ W/ |2 C& L6 j
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w). J1 G$ y: q: F5 ^, u* h2 Z
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph30 c+ O- J8 I4 S& N
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M); w* T8 s* a" `# p/ O8 l+ S' F
7 ]2 Y* T( Q% k2 ]) l/ K0 Q! N
  data:
# t* D, W" ]2 N4 R- ?    pools:   9 pools, 5248 pgs
* ^( o  i7 R: l( @. Z  V/ t; F! h: u, t    objects: 3.17M objects, 12 TiB* {9 {7 q) v. Y+ z' F& Q: O# c
    usage:   34 TiB used, 92 TiB / 126 TiB avail3 a& N# F$ B# g6 V7 B' t* F
    pgs:     5243 active+clean4 n+ }* H: @. c$ s8 X
             4    active+clean+scrubbing+deep# s# b6 c! T0 \: P7 G
             1    active+clean+inconsistent
% S8 h  Y0 g; u6 M
7 a) l# H# ]7 O2 x' z) F  io:
/ a3 b) J# Y# ^; p( q    client:   1.7 MiB/s rd, 44 MiB/s wr, 134 op/s rd, 444 op/s wr
) k+ w% e( e) L/ U1 w- v# t: x  u% |7 L: ?$ a% ^. ~: Z
[root@hostceph1 ~]# ceph -s
$ j1 O5 ]+ n8 K" l. w  cluster:2 L+ a" q- f6 S7 G  ^+ U
    id:     29046cc0-0682-496b-98b1-912e59964282& ?' s; D2 b# P$ c
    health: HEALTH_ERR9 Y6 Z- }! j% p" `
            1 scrub errors% J+ n& G" j+ J2 k0 R  B- D
            Possible data damage: 1 pg inconsistent
% X" c5 a4 c" y/ E
9 o' b. i5 F7 E! J& Y* J) f  services:
) H  s- n+ }& q1 q6 j5 b) k4 P3 A    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w), n9 s/ I* t* I% t* s' G
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3* L& ]! Z. |" K9 U9 m/ ~7 J
    osd: 34 osds: 34 up (since 2w), 34 in (since 4M)
2 }- C; \$ D/ k* L- G2 k" n: c  k# d
  data:) o) {9 t9 f" d4 \! b9 M9 k5 Z
    pools:   9 pools, 5248 pgs
- E8 l  {: n) t7 G6 Q    objects: 3.17M objects, 12 TiB1 j1 Z0 L' f# Y9 S7 P4 u
    usage:   34 TiB used, 92 TiB / 126 TiB avail
: C0 G. g1 f7 U$ d    pgs:     5244 active+clean  I, i1 o9 T3 m
             3    active+clean+scrubbing+deep* [4 R/ N) H8 ~' ^
             1    active+clean+inconsistent8 L% x( c  z+ l9 o; `1 R

7 t& G% D$ w) v( b4 c  io:% X% P0 _# d( n2 M$ I9 @+ @- M! k( l
    client:   823 KiB/s rd, 46 MiB/s wr, 356 op/s rd, 489 op/s wr
7 A: y" e# D8 |8 t: _" q- Z& P) F+ e/ W1 U
[root@hostceph1 ~]# ceph pg deep-scrub 6.309
5 q2 r: s6 k0 Pinstructing pg 6.309 on osd.9 to deep-scrub
# d2 F$ X+ f/ R, ]/ ^# X5 r$ i3 B" v' Z# A, Z0 e+ c
$ a' R7 m! V5 P1 q( V1 V

1 }) E" I8 O5 x0 Q+ I, p+ H
  q7 q7 m  a  _6 {" T; e# F% [
; o/ U$ q( D) o9 A3 |4 N" ?' G# Y' g0 {( k; m# c- _+ b# E, n

1 K, @+ v" V6 L) V( U% |
回复

举报

admin

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2022-11-28 11:40:24 | 显示全部楼层
[root@hostceph1 ~]# ssh hostceph2
, `. W# S6 H! \! W/ mLast login: Mon Nov 28 10:52:24 2022 from controller10 g& G4 K' H7 H" m
[root@hostceph2 ~]# date4 y5 s. Q0 u* i
Mon Nov 28 11:37:42 CST 2022
( t# t, m3 V2 V4 X[root@hostceph2 ~]# systemctl restart ceph-osd@9.service
' E( i5 K( g  Y9 ^0 [9 t[root@hostceph2 ~]# date( H& ?* I) C8 p* N- w0 z6 Z! e
Mon Nov 28 11:38:08 CST 2022( B; H- A2 c+ E' A: d3 e
[root@hostceph2 ~]# ceph -s
4 i9 D* W. c; d, I- h/ R8 |) ^  cluster:
3 U/ F' p5 ~" e; m8 E4 b    id:     29046cc0-0682-496b-98b1-912e59964282
- d! m6 m5 s5 W! z    health: HEALTH_ERR
5 `% W: X' \# @8 k3 l2 u- y" A' E            1 osds down
) a4 D4 C' q' B            1 scrub errors+ [8 |5 T; G, E7 q( A  [1 \
            Possible data damage: 1 pg inconsistent& X, P; y; a% G0 u* \( O
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded* o4 N- d0 H8 v7 f* I3 E& F. y
8 A& e. Q1 w. x0 h* n
  services:
6 Z: Z/ X7 \9 S8 R6 R3 i    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)8 Q* y* a" ^6 y  Q8 L
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
6 r1 A& f) [2 D& l3 |    osd: 34 osds: 33 up (since 13s), 34 in (since 4M): \$ M6 P7 {" ^0 R5 w! O2 I

- s- f% o/ i: g2 x. I! _( @# u/ E  data:
7 B1 B9 b: o. O: `$ t+ l    pools:   9 pools, 5248 pgs9 F% d3 D$ e" E+ ~$ V2 d% b: K
    objects: 3.17M objects, 12 TiB% P+ k7 o+ D; p: {1 K4 N3 O
    usage:   34 TiB used, 92 TiB / 126 TiB avail
- v# i9 L+ B  q  X2 t    pgs:     4.459% pgs not active
, t% Y1 ]. Z, f$ X             310123/7807105 objects degraded (3.972%)
6 [, V6 W2 d: l* j$ S             4686 active+clean- Q8 O* m* j4 B: u: ?4 r0 b; Z4 J9 M
             234  active+undersized+degraded  O9 j0 e3 c) S
             233  undersized+degraded+peered9 L8 S: ?# d- z- H' {
             79   active+undersized4 O( M! d5 A7 i& {3 \( e# Q
             13   stale+active+clean" B2 l; _, V$ w) K/ @' w  }& y
             2    active+clean+scrubbing+deep# V% \8 P2 C8 \5 p  }
             1    undersized+degraded+inconsistent+peered4 J# }% Z; Z6 [9 h& ?# e1 n/ z  U3 v
% h$ L" Q! G. j0 K1 A7 u0 ~' K
  io:
2 X1 W) U$ r' ^" X* f4 z    client:   42 MiB/s wr, 0 op/s rd, 471 op/s wr7 {# k3 S! {0 Q- p) R
6 D) c6 D* W5 G
[root@hostceph2 ~]# ceph -s
: J2 _, f; j) w6 K! s  cluster:( i8 W4 a5 F4 E4 [
    id:     29046cc0-0682-496b-98b1-912e59964282
) p3 b  \# W: }4 a/ o$ e$ X    health: HEALTH_ERR
1 D/ l& w, S& J3 L' E! V- D            1 osds down
8 X/ B' |6 e2 E- O2 {: ?3 X            1 scrub errors9 V9 t) ~/ c& |8 v+ ^9 n3 J
            Possible data damage: 1 pg inconsistent- C8 j& i: L9 n# Z, L" N; J2 z
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded
( ^: }  L8 R* ]( @$ G" W
% o2 p( l) i8 c8 N0 r2 T5 [  services:
8 h7 g! t1 z% N4 s7 v9 z    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
" Y- K+ }/ `6 q/ Q: \! ^6 X$ f2 F    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph35 ^! t3 \+ @/ ]+ [0 k
    osd: 34 osds: 33 up (since 19s), 34 in (since 4M)
* ?  B+ G. n% b6 z$ I' q+ V
- v: u$ _! R& E  s+ O  data:: L2 A. e' R; P7 D: Z; @( i; z
    pools:   9 pools, 5248 pgs6 R8 k0 I- V# Z( G& c' X+ {* Y& O1 w8 K
    objects: 3.17M objects, 12 TiB
2 b/ S5 r  M1 ?6 u. O( t    usage:   34 TiB used, 92 TiB / 126 TiB avail
; L$ F3 a/ N! M" E  G    pgs:     4.459% pgs not active
; z) ^% }4 W- c, n             310123/7807105 objects degraded (3.972%), t4 D2 ~0 u" |) R
             4686 active+clean
( z9 v) J' B7 G+ |9 g             234  active+undersized+degraded
* V" P& y3 r4 r: B& c) X             233  undersized+degraded+peered
; {% {9 h$ {  y% ?3 P* v6 q             79   active+undersized
8 q9 T) E& p2 }; H             13   stale+active+clean! y& m$ q- t% U' T& r+ c
             2    active+clean+scrubbing+deep+ N- {6 L8 E2 @" [
             1    undersized+degraded+inconsistent+peered
! x9 Y% g8 C) s  e& Y  u
7 |6 {/ ]* H% c  Q' h  io:0 c6 M9 S' S! u, P6 n! A! R# Q, w
    client:   6.7 MiB/s rd, 27 MiB/s wr, 135 op/s rd, 545 op/s wr1 y* e. p. n; z- _" P

  F; P' w: M" i1 j# H# @[root@hostceph2 ~]# ceph -s3 v0 T- L& S  y' z7 z) i4 X
  cluster:
3 c9 t9 N4 B; }$ A/ o9 c) Z    id:     29046cc0-0682-496b-98b1-912e59964282  q: q' q% C" i/ n6 H6 P
    health: HEALTH_ERR
4 M# t- x1 x; I; I6 E            1 osds down
! U  c  F! D0 h5 J: j( E            1 scrub errors
2 s/ J% ^8 S. ?. X( N$ t& o" G# Z            Possible data damage: 1 pg inconsistent9 X. s: g# K0 {4 c7 l- @
            Degraded data redundancy: 310123/7807105 objects degraded (3.972%), 468 pgs degraded
: H0 a+ J2 `1 Y! l* E( E# u
' Y7 E0 l7 s# t3 w  services:( h2 J* e; @0 k# _
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)8 g! M) u0 G+ v$ ?# u, _+ m
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph38 ^# w# L* b. Y& E4 w0 u
    osd: 34 osds: 33 up (since 22s), 34 in (since 4M)
- W/ [3 E0 u% U) l) O- h! h6 }
1 j0 Z7 Q' f2 A/ c1 N  data:
! P8 i0 _) _1 b    pools:   9 pools, 5248 pgs
; o+ C" R1 a; H6 \+ E- k3 w    objects: 3.17M objects, 12 TiB
& ]8 b- }! I# T4 U! J    usage:   34 TiB used, 92 TiB / 126 TiB avail
% }) p. Z& T! B3 Z    pgs:     4.459% pgs not active
" K; v6 H6 k5 M             310123/7807105 objects degraded (3.972%)
$ r1 i3 j% w/ S6 f  N- u9 `) r             4686 active+clean8 Y3 U2 D9 M2 X( c
             234  active+undersized+degraded4 D6 e& M/ a, x9 w2 Z2 s: X: L
             233  undersized+degraded+peered: o: G1 h$ _* M: S6 w
             79   active+undersized
3 a6 E, K1 c$ t( y             13   stale+active+clean
4 n! l' r! t9 V. N+ N             2    active+clean+scrubbing+deep- ]1 E; j- c/ `  B
             1    undersized+degraded+inconsistent+peered
  D6 q- ~0 h9 v5 @; D2 Z  h
, I  s0 Q; f% O8 Y0 p% e: e8 i  io:
; V  s. U1 q4 D5 Z$ J0 D    client:   6.9 MiB/s rd, 22 MiB/s wr, 172 op/s rd, 604 op/s wr1 [+ X/ T" i, R) q

  R3 ]: |& W9 \/ H, @% r; C+ e[root@hostceph2 ~]# ceph osd tree
/ v8 y: a7 y5 M* jID  CLASS WEIGHT   TYPE NAME              STATUS REWEIGHT PRI-AFF
/ e2 y) _: n7 V0 l$ U3 S8 }-25       16.00000 root ssd                                       9 y4 G3 r2 F0 J
-26        4.00000     host ssd-compute06                         - A7 J2 P" _( D; w. F# b8 R/ Z8 F
18   ssd  1.00000         osd.18             up  1.00000 1.00000
: a* ^* Y$ {. b4 S 19   ssd  1.00000         osd.19             up  1.00000 1.00000
& d8 y, F6 C+ Y" w+ ]6 Y6 m0 B6 ? 20   ssd  1.00000         osd.20             up  1.00000 1.00000 5 O1 E3 l$ @$ f6 j/ q- a) W  n) H
21   ssd  1.00000         osd.21             up  1.00000 1.00000
# w# Q  `) f/ b' \1 f  I2 ~-27        4.00000     host ssd-compute07                        
) C# P( I; z1 u, F9 u 22   ssd  1.00000         osd.22             up  1.00000 1.00000 ' B3 ]) |4 S( h8 Z, F( c1 q" a
23   ssd  1.00000         osd.23             up  1.00000 1.00000
3 g" C  [# Q3 L$ @# Q4 b- D 24   ssd  1.00000         osd.24             up  1.00000 1.00000 1 P8 K: I0 C2 s7 _8 j7 r! A/ E! v: A
25   ssd  1.00000         osd.25             up  1.00000 1.00000 7 u" s* S: a# E& ]; S
-28        4.00000     host ssd-compute08                         " ?- S$ G- T3 ?
26   ssd  1.00000         osd.26             up  1.00000 1.00000 * t; P: C% r: Q" W
27   ssd  1.00000         osd.27             up  1.00000 1.00000
9 W9 Y5 _4 t' d' _) o 28   ssd  1.00000         osd.28             up  1.00000 1.00000
0 {9 h1 z, d  ~5 p( N1 M 29   ssd  1.00000         osd.29             up  1.00000 1.00000 7 C, E2 d* Z# `( ~1 @7 J
-29        4.00000     host ssd-compute09                         ) _2 u5 x) |; I) Z& v0 [0 u5 s
30   ssd  1.00000         osd.30             up  1.00000 1.00000
9 x/ @8 Z6 \/ _5 p+ a4 w1 U& D 31   ssd  1.00000         osd.31             up  1.00000 1.00000 $ k0 L& h8 w8 {9 C' Y# d
32   ssd  1.00000         osd.32             up  1.00000 1.00000
3 b6 l0 t# Q3 d  A* X 33   ssd  1.00000         osd.33             up  1.00000 1.00000 6 Q" m8 \& B5 M1 A
-9       18.00000 root hdd                                       
0 U! ]0 L1 v; E$ _( h-10        6.00000     host hdd-hostceph1                        
8 m0 Z' x. Q( W& `$ w  0   hdd  1.00000         osd.0              up  1.00000 1.00000 4 r5 `3 v  V: E4 K3 N
  1   hdd  1.00000         osd.1              up  1.00000 1.00000
; p2 Y- f. R) g( n  2   hdd  1.00000         osd.2              up  1.00000 1.00000 4 U3 c: V. x  f3 J$ l: k& W
  3   hdd  1.00000         osd.3              up  1.00000 1.00000 5 S; N) x8 ]. i: h. F
  4   hdd  1.00000         osd.4              up  1.00000 1.00000 ' g$ n* s1 U0 m# J5 |1 Y, |0 \' l
  5   hdd  1.00000         osd.5              up  1.00000 1.00000
; A4 Q; g4 r4 j0 M-11        6.00000     host hdd-hostceph2                         6 B: T3 W  O3 N* F5 P
  6   hdd  1.00000         osd.6              up  1.00000 1.00000
' A' Q: L% n- e7 O4 G( X  7   hdd  1.00000         osd.7              up  1.00000 1.00000
4 r5 Z: D0 J$ |( y" T  8   hdd  1.00000         osd.8              up  1.00000 1.00000 ( h7 D5 U% J8 _2 _; g7 f& N$ `3 b
  9   hdd  1.00000         osd.9              up  1.00000 1.00000
1 l2 c3 s/ y4 t% J) g 10   hdd  1.00000         osd.10             up  1.00000 1.00000
) |2 @; k, k! k4 p 11   hdd  1.00000         osd.11             up  1.00000 1.00000
0 d4 N/ o5 q' H+ s-12        6.00000     host hdd-hostceph3                        
( d+ y8 _/ V" f 12   hdd  1.00000         osd.12             up  1.00000 1.00000
8 R; Y2 I( t+ y0 Y2 T3 Z 13   hdd  1.00000         osd.13             up  1.00000 1.00000 : Y3 J% \$ Z$ U) I# |1 @  u+ B+ e
14   hdd  1.00000         osd.14             up  1.00000 1.00000
+ S* b9 J" L: D. {6 [3 d; n; B 15   hdd  1.00000         osd.15             up  1.00000 1.00000 " R6 |& b) q9 l5 B
16   hdd  1.00000         osd.16             up  1.00000 1.00000 9 F8 x4 j2 x* j( x
17   hdd  1.00000         osd.17             up  1.00000 1.00000
8 {1 \, p4 l1 ?7 @7 S3 }4 \ -1              0 root default                                   
' h/ E; E, {3 S, G -3              0     host hostceph1                             
8 A+ n: o3 B( v  _; ]4 i -5              0     host hostceph2                             , V" u, }: n! q2 f- Q5 R
-7              0     host hostceph3                             
! A+ p$ E8 `5 i[root@hostceph2 ~]# ceph -s
5 G* @( v: D% k0 U1 }! T  cluster:
! y; ~7 {' w4 v$ y( ?7 v    id:     29046cc0-0682-496b-98b1-912e599642824 S$ W& E3 v& u* C+ F# F6 x- W6 z
    health: HEALTH_ERR
; v# W3 i( s4 {) M4 B            1 scrub errors) ^* z" v1 X2 _* D- a. N
            Possible data damage: 1 pg inconsistent( F! I5 v* ?7 u
            Degraded data redundancy: 244/7807105 objects degraded (0.003%), 131 pgs degraded
5 e2 K. h; w  ?" Q8 Z$ E& O# u; o( K
. W; T+ Q4 w" _* i7 D3 X  services:" m! B6 q: ^) ^9 _! p9 l9 i& |' t$ f
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)6 S- r2 ?/ {2 l9 f" Y. {
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
( |, l- d. Q, }    osd: 34 osds: 34 up (since 9s), 34 in (since 4M)
  J7 ~3 B  j6 [9 W* ?; Y& A% A - f/ o" q! I1 R5 e4 l
  data:
: c" L6 |% o8 A2 |, P$ R5 D    pools:   9 pools, 5248 pgs
3 f8 c' N  O- c8 A' g    objects: 3.17M objects, 12 TiB
3 v( e5 @# s: W    usage:   34 TiB used, 92 TiB / 126 TiB avail) |: A4 A5 M8 i+ v' F' N9 n
    pgs:     244/7807105 objects degraded (0.003%)( r# k' V" [" x8 I, B6 y( I' j  o
             5095 active+clean
2 N) G& y& c" R             127  active+recovery_wait+degraded
, ?6 W/ q3 R8 }0 n9 |             18   active# B1 Y# W0 ~  o; Y/ j3 d0 x9 D& ^  P
             2    active+clean+scrubbing+deep( Y( f% p2 Y/ D3 G9 c2 C* J
             2    active+recovering+degraded6 x# \. t; }* ?5 j" i5 ?! C; s
             2    active+degraded* b/ z/ f! g4 `6 Q
             1    active+clean+inconsistent
0 C6 c- E/ q0 \8 M+ n             1    active+recovery_wait4 x5 ?  g5 E9 ~! I
0 V. C! c: j) `, l, r4 C
  io:( m& {+ y1 s7 K* o  X
    client:   1.1 MiB/s rd, 28 MiB/s wr, 250 op/s rd, 318 op/s wr+ W; w/ e" x$ O. E4 ]- i
    recovery: 4.5 MiB/s, 4 objects/s% p9 d* U) o3 E3 }. Q+ v# q& \
( L( ^  y8 {, o6 Z: n
[root@hostceph2 ~]# ceph -s
8 P- G$ N! ~1 a4 A5 I9 |- j  cluster:7 e) c1 w; D' ?/ D# J; ?0 K
    id:     29046cc0-0682-496b-98b1-912e59964282
  k$ `- T- b# y/ Q- P    health: HEALTH_ERR% O5 h' K4 s8 n/ c( k
            1 scrub errors
; q/ w! h( R. p" M            Possible data damage: 1 pg inconsistent  ?: I7 l+ y# P6 z" n1 x
            Degraded data redundancy: 194/7807105 objects degraded (0.002%), 118 pgs degraded" c# b6 {0 t8 V" V

5 Y$ e& F2 m  ?  services:
  J. @/ Z' i3 P+ w9 {+ o    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
& W) T& d6 L( R0 m    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
% d' x2 E6 z- F* v    osd: 34 osds: 34 up (since 13s), 34 in (since 4M)
5 p/ L1 b) y0 {6 h; ^+ ]1 [ . Y. s0 \3 S5 |+ t0 Q7 }
  data:9 G( W5 @: j1 O( P, p4 J
    pools:   9 pools, 5248 pgs
' E9 }% v5 e1 q9 e% S+ Q0 `+ q    objects: 3.17M objects, 12 TiB, H: b% F% j  r( ?
    usage:   34 TiB used, 92 TiB / 126 TiB avail
/ d$ A$ A3 Y8 Q% |    pgs:     194/7807105 objects degraded (0.002%)( j* I, I. y7 f9 t- [9 c
             5117 active+clean
& x7 s& s# T( a$ y* o) c) ?$ @- x# O# p             116  active+recovery_wait+degraded/ P  ~1 A- J! {, Q. b: t1 ?$ G
             9    active+recovery_wait& t7 v4 u# N* Y. O& C. D
             2    active+clean+scrubbing+deep
% n9 v" {& b8 {& q1 M             2    active+recovering+degraded
2 q8 R, n3 y7 B, l5 L4 c             1    active+clean+inconsistent
, b$ A( }6 f% F9 s. q/ x+ s             1    active+recovering
' O+ f5 Q9 P( `" p* ^1 }0 Y8 `! K # ]% \# z  m5 m; t+ D4 L
  io:
+ u  g; y: _, G) E/ `% T    client:   1.2 MiB/s rd, 29 MiB/s wr, 302 op/s rd, 347 op/s wr, M* `) m8 v+ S6 B! Z$ y
    recovery: 21 MiB/s, 8 objects/s1 |, E' [2 Y5 h; v" S+ {# ~1 p
回复

举报

admin

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2022-11-28 14:27:38 | 显示全部楼层
[root@hostceph2 ~]# ceph -s4 X% s! G# O  m1 e5 ^. w7 B
  cluster:
# _2 S& ^1 ?- v; M3 w  {7 c/ A    id:     29046cc0-0682-496b-98b1-912e599642826 h' u; Y+ U) w% S: \# y- z
    health: HEALTH_ERR) o: V2 M7 ~7 ?* _- Z
            1 scrub errors2 m+ V5 Y- R- Z! r; B. n+ e+ U
            Possible data damage: 1 pg inconsistent- K, h$ r4 U9 n( `. E# n! V

8 C1 Z) E! n1 m/ l7 i* a7 l  services:
1 z: C7 S1 M0 ^# }    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)
$ u0 y* S0 Y- `  k    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph37 a* X6 K4 a7 v* K& k
    osd: 34 osds: 34 up (since 5m), 34 in (since 4M)
- ~) y3 B" o9 Y7 ]8 l& `  X2 q6 @6 k# y
  data:! i- j6 k, u1 m. Y3 R7 Y
    pools:   9 pools, 5248 pgs
. C$ R/ t0 [( P' v3 f    objects: 3.17M objects, 12 TiB
0 [! Z4 b( W. P  {/ A    usage:   34 TiB used, 92 TiB / 126 TiB avail, h: z/ K. y) B3 A! c* |
    pgs:     5246 active+clean2 z7 ?. A% |2 q* W0 L+ ?: l0 E
             1    active+clean+inconsistent2 y; D  Q# t' V/ N2 ]8 C/ b' t
             1    active+clean+scrubbing+deep2 a# k3 E: V- l% p
9 j8 d, o, v2 L. k8 y& I
  io:
) P4 p; [3 I4 B% A" z    client:   8.3 MiB/s rd, 56 MiB/s wr, 373 op/s rd, 508 op/s wr
7 \& C2 o) [: ?, A0 t0 b8 u
' }6 L  V3 a5 b. j. J+ {( E最好是到对应的节点上执行命令：
) u1 Q- }* A5 _9 x3 w) w( C& [: M[root@hostceph2 ~]# ceph health detail 3 b: o5 c9 F7 P6 n/ g9 y' f
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent
% o+ M# K4 @6 V  ?" d- BOSD_SCRUB_ERRORS 1 scrub errors
' i) @/ c% N' c. J% fPG_DAMAGED Possible data damage: 1 pg inconsistent
& Y1 B: g: U# g8 }    pg 6.309 is active+clean+inconsistent, acting [9,16]6 M( y+ e( p/ |3 h, B! G5 f
  L. z' j: O5 R# D' \

, _7 z3 i" ^  z! z8 d' l[root@hostceph2 ~]# ceph pg repair 6.309
" ]7 ~* ?( p# x+ J( zinstructing pg 6.309 on osd.9 to repair7 t) Y' R( v5 o0 B
[root@hostceph2 ~]# ceph health detail 3 Q# q  `, E# h( m% z: ~% h
HEALTH_ERR 1 scrub errors; Possible data damage: 1 pg inconsistent( k5 K9 ~3 q* `& a8 R' u# S- O
OSD_SCRUB_ERRORS 1 scrub errors/ s! T6 |7 F* a% n
PG_DAMAGED Possible data damage: 1 pg inconsistent3 P4 a1 l5 ?/ e& s& C; F
    pg 6.309 is active+clean+inconsistent, acting [9,16]4 o0 Q8 }3 |& }: Z* K8 b. r1 Y

; b2 Z/ |  r  l0 _
' i/ D$ R8 |& m# R2 s- k2 z6 p
2 G, K4 Z6 m! i8 F3 d1 W8 _5 Y( ~2 J1 Z% {4 T
[root@hostceph2 ~]# ceph -s& P; b, D- ^$ Q8 E
  cluster:
* S; I" S3 l. H1 q, F    id:     29046cc0-0682-496b-98b1-912e59964282/ k, @" N- B% E; k" M. N9 g' K
    health: HEALTH_OK/ O6 R7 v# o$ G  |8 Y8 \

" E- _4 j( k, I$ h& U9 Z  services:' t7 k- n8 X" R4 Z% w/ i# ~
    mon: 3 daemons, quorum hostceph1,hostceph2,hostceph3 (age 2w)& i8 r5 ~9 H  O# C$ r7 o
    mgr: hostceph2(active, since 3M), standbys: hostceph1, hostceph3
. Z! F9 T5 F; E6 g9 `& f    osd: 34 osds: 34 up (since 2h), 34 in (since 4M)
, V' l* X5 {: ]3 i  x0 E/ ^
% ~1 E5 G* ?9 F4 g' t( W# @  data:
) Z  m$ a. v, B4 N    pools:   9 pools, 5248 pgs5 K/ ?' P- L# c0 G& B
    objects: 3.17M objects, 12 TiB
- S) y6 ?  r: n; @6 [7 B5 p! R    usage:   34 TiB used, 92 TiB / 126 TiB avail# V* e$ o1 Z4 [. A# r
    pgs:     5246 active+clean/ q5 L! E  `; o+ w$ D
             2    active+clean+scrubbing+deep% n7 C8 h# E& Y2 L5 |0 I; ]! K
+ r1 U& N9 ?# d. x# X
  io:. v; Y9 C; J8 A, X
    client:   3.9 MiB/s rd, 47 MiB/s wr, 93 op/s rd, 457 op/s wr
+ c% p. K* h/ g# W5 w' P8 P, Y' B2 [& [7 A

( }8 ~7 z+ S1 }$ A9 z7 P& E9 ?
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 22:57 , Processed in 0.036456 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表