找回密码
 注册
查看: 577|回复: 2

ceph health detail 显示pgs not active

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-7-25 08:00:02 | 显示全部楼层 |阅读模式
单节点安装完ceph后,只创建了两个OSD,导致状态是34.000% pgs not active,用python rados往pool存数据一直卡着,
/ l5 I) j5 U( B1 _
0 }! H( Y) v1 l# B* u4 e" m: X9 n

: Z7 W  E! W2 N# ^. \将crush map导出' W) z- q8 _/ C- L) J
ceph osd getcrushmap -o /usr/src/crushmap
/ c" k3 a0 ?: ], Z输出,这一步的输出和osd数量有关系: [* H0 d. p+ c
将crush map反编译为可读模式
$ \- {& F* x& E8 r* m& Wcrushtool -d /usr/src/crushmap -o /usr/src/crushmap.txt# R  q* h* K6 D* x5 M9 U
修改curshmap,主要是修改OSD级别
$ q9 `& f, m# Q# y4 \+ v

, z" J7 w% ], {" S) H
7 O! r$ f  B0 E* i, m
7 m7 l1 L6 f4 O- A( Svim   /usr/src/crushmap.txt2 A  `3 O2 R: p3 b) X5 F
找到step chooseleaf firstn 0 type host
6 U0 T0 Q: E0 f/ W3 b1 m. @改成step chooseleaf firstn 0 type osd
# w9 c5 I, }% R# p8 b: m6 }! e5 h0 K) V1 k! R
保存退出:
6 T( i; l2 g' Z或者通过sed 修改:
' C- S9 A$ D& n: f" S* y0 ised -i ‘s/step chooseleaf firstn 0 type host/step chooseleaf firstn 0 type osd/’ /usr/src/crushmap.txt
4 `/ M! U2 S. @% u3 i7 {

& n, a+ T( Z& w% e- D7 d5 h1 x- |: Y1 l4 Z' `
( a' v* M* F) d; q- G
grep ‘step chooseleaf’ /usr/src/crushmap.txt  t( U( ?- ?  ~4 g
输出step chooseleaf firstn 0 type osd4 O! a0 S' q2 x" i% ]
crushtool -c /usr/src/crushmap.txt -o /usr/src/crushmap-new( e! w# D: I0 w+ n8 S8 W
将修改过的crush map导入集群5 i1 x8 k( M: f; y
ceph osd setcrushmap -i /usr/src/crushmap-new
% E7 d# ~# I9 L1 ?3 C1 |# u; Q输出数值比导出数值大就对了。
+ i* z- I% m, G" I7 G

$ s) \2 l; O5 i
1 ^# G# U+ [5 ^; i% H/ @. H7 r: }! k0 d
现在再看ceph -s,pg数状态9 G" [) Q3 L; \; L8 \' E" _
. a) G, }6 C  _6 P

( q6 f8 `8 n0 L

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-25 08:00:03 | 显示全部楼层
我现在再运行代码,没问题,数据存进去了,对象名是/root/ceph-test/abc.txt
1 d" ]( c& S2 T' M  ~: L
7 g# J+ P, o% K/ y2 f3 O6 B[root@controller ceph-test]# python pooltest.py
: U4 E, D  v1 KObject contents = /root/ceph-test/abc.txt
1 U' B6 z! r% r3 ^( p[root@controller ceph-test]# rados -p data2 ls
$ g4 d: `6 j# _/root/ceph-test/abc.txt
; Z4 Z/ ^7 O5 H# `2 m8 m) t4 F2 ?

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-25 08:00:04 | 显示全部楼层
1、没有创建pool之前8 @; E* ^' h6 O4 K3 t
) u2 |7 H# F# D2 u# e* H
复制代码9 r! m* A8 ^$ l/ E
[root@cluster9 ceph-cluster]# ceph -s! V6 z' P& o. p  z, j' d1 r) z2 x
  cluster:
- l3 W5 d8 c' w+ {- l4 t% B7 Y    id:     d81b3ce4-bcbc-4b43-870e-430950652315
% o7 J9 A8 U  `* Q    health: HEALTH_OK
* n) Z9 ?( N+ |0 z$ o" P; y
8 p3 c. n. b* S! a2 Z- S" H  services:
) b5 f- @  n/ G& t$ O$ ~, ?    mon: 1 daemons, quorum cluster9; s4 z& G) j1 U8 u( _
    mgr: cluster9(active)# P1 L; \) ]1 K! J& E
    osd: 3 osds: 3 up, 3 in/ X% ~! d. u) P4 R

9 \8 \7 B) }6 {! u" v  data:2 [7 A! j* X. T  y/ [0 x) h
    pools:   0 pools, 0 pgs
) t* o, B  s; _5 B: R    objects: 0 objects, 0B* t) t5 @# G5 g$ F" \/ y
    usage:   3.06GiB used, 10.9TiB / 10.9TiB avail# m! \/ X+ O. u/ D& {  Z6 R
    pgs:     
0 j* P# D3 f5 m& n复制代码+ |' {3 d; i0 C7 u5 L
2、创建pool后
# c) r5 `, S5 M& A2 U. K% E' N/ K( K* l3 b
复制代码
0 S; N" ~: m) N8 P. O1 P5 m[root@cluster9 ceph-cluster]# ceph -s
: U& B! k# ~) W! `  O3 O( O9 q  cluster:
% c' H0 |) t$ {& O/ z6 }7 D7 _& `) I+ w& i    id:     d81b3ce4-bcbc-4b43-870e-430950652315
+ Y" g- ?0 D+ G2 u7 W    health: HEALTH_OK; {9 k2 L. t$ k( ^
( h& e7 A0 P0 u# e
  services:
2 |8 G6 {7 l1 I! }) N    mon: 1 daemons, quorum cluster9
8 J4 p% D! ~1 o- F  Y& M/ P4 x    mgr: cluster9(active)/ u' ^4 `8 ~3 J+ O
    osd: 3 osds: 3 up, 3 in  D& s* T; r  `2 M4 z

' f! G; P3 r* ^6 U/ V. d: P9 y  data:
6 S  H/ h/ ^; {) J    pools:   1 pools, 128 pgs
# Z2 r, m6 [; t, {+ d0 w  g7 ^    objects: 0 objects, 0B9 l" F4 u+ K) }, I1 A* F$ A
    usage:   3.06GiB used, 10.9TiB / 10.9TiB avail8 N( V1 C9 \& T' K1 r
    pgs:     100.000% pgs not active# t& Q  |. d1 U3 b
             128 undersized+peered
2 z( p' k# s7 [8 p4 d& t* Y复制代码2 B9 s1 X# f) _7 k* H+ p
3、修改osd级别
& }, M* v, v  h6 c+ a: C9 u% K9 |9 b, q8 \5 E
复制代码: e1 L) f2 j/ k8 w$ F* q
[root@cluster9 ceph-cluster]# cd /etc/ceph/
; O! q/ x; [' L6 N: ~  P$ ^[root@cluster9 ceph]# ceph osd getcrushmap -o /etc/ceph/crushmap( R% U) g( t5 H  {, T5 s
187 d: W- Q$ H7 c6 ^+ _  ^, B. p1 t
[root@cluster9 ceph]# crushtool -d /etc/ceph/crushmap -o /etc/ceph/crushmap.txt& R) S- m  G  {  X% _+ i/ ^* N( w
[root@cluster9 ceph]# sed -i 's/step chooseleaf firstn 0 type host/step chooseleaf firstn 0 type osd/' /etc/ceph/crushmap.txt
! j+ ?* J! B& r, r! t' C# t9 R[root@cluster9 ceph]# grep 'step chooseleaf' /etc/ceph/crushmap.txt2 j" x4 k7 X2 ~
    step chooseleaf firstn 0 type osd
- i! f+ e( m5 F* D+ ^8 L[root@cluster9 ceph]# crushtool -c /etc/ceph/crushmap.txt -o /etc/ceph/crushmap-new+ O5 G3 q3 q2 C2 \
[root@cluster9 ceph]# ceph osd setcrushmap -i /etc/ceph/crushmap-new6 M: f3 B# T9 N; [
19( C$ I5 u8 C+ g- G; j
复制代码1 g" j2 Z  w9 l2 P; o. t8 z
4、再次查看ceph状态/ x% |' K, _9 G

; L, u/ R+ \3 R& I1 w+ H复制代码0 u$ e0 `" \* n5 s# F% W
[root@cluster9 ceph]# ceph -s& S. J& t" s, i# W' u" m" W6 g
  cluster:
7 p' }4 X3 }% a: C' |' m: W    id:     d81b3ce4-bcbc-4b43-870e-430950652315, ?# P, |' F! Q( ?2 A+ `$ K
    health: HEALTH_OK
5 U0 [# _& i( ~. C& O, s7 V * }! Y( n9 ^, R8 k& M+ F: J
  services:+ V# }! n; {8 c) [- x8 j9 \
    mon: 1 daemons, quorum cluster9
' ]" P) D! S% |( o    mgr: cluster9(active)
2 A  ~$ f) t8 R8 O" X& V, W    osd: 3 osds: 3 up, 3 in
7 r4 J+ H( `4 _" i. K6 w3 W - p% }& O$ g( @
  data:0 \5 \* T$ u/ w( u% t5 |2 Q
    pools:   1 pools, 128 pgs& c% S/ Q! G; I1 U; |: ]! d
    objects: 0 objects, 0B
) ]  C7 J0 ?6 O9 s: m    usage:   3.06GiB used, 10.9TiB / 10.9TiB avail! f+ R$ a2 t% H$ K% y: `9 {
    pgs:     128 active+clean
+ S6 W5 r% K, k1 W" Y6 ?复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:03 , Processed in 0.018653 second(s), 22 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表