浏览此站
联系我们相册切换到窄版 Language

 找回密码
 注册
易陆发现论坛»论坛 › 云计算开源区 › ceph分布式存储 › ceph osd 相关命令集合
返回列表 发新帖
查看: 664|回复: 3

ceph osd 相关命令集合

[复制链接]
admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-7-22 09:28:31 | 显示全部楼层 |阅读模式
[root@ceph-2 ~]# ceph osd status
5 ~& L0 f- E9 x+----+------------------+-------+-------+--------+---------+--------+---------+-----------+
3 z3 ^& c+ D# g6 u4 L% P$ i| id |       host       |  used | avail | wr ops | wr data | rd ops | rd data |   state   |
9 j! e! W) @: s. o7 {! C: ~+----+------------------+-------+-------+--------+---------+--------+---------+-----------+
1 a! x- Y1 @, @9 g, D" `& A8 R# ^| 0  | ceph-1.novalocal | 5227M | 94.8G |    0   |     0   |    0   |     0   | exists,up |
9 z9 H2 u; \3 p2 q| 1  | ceph-1.novalocal | 1030M | 98.8G |    0   |     0   |    0   |     0   | exists,up |/ C! w8 N) @) L6 d, X
| 2  | ceph-2.novalocal | 1030M | 98.8G |    0   |     0   |    0   |     0   | exists,up |3 R  J" S' W+ ]% E- q+ Z6 H& d9 H
| 3  | ceph-2.novalocal | 1030M | 98.8G |    0   |     0   |    0   |     0   | exists,up |
& O$ w- K- W- D! _& ^5 g| 4  | ceph-3.novalocal | 1030M | 98.8G |    0   |     0   |    0   |     0   | exists,up |7 s" J0 v" b3 E8 a; Z
+----+------------------+-------+-------+--------+---------+--------+---------+-----------+  D4 g& j" X& Y- x. h  \, m
[root@ceph-2 ~]# ceph osd dump & W4 q4 E; z" I) M% E
epoch 49
% n* S0 X) Z. z8 mfsid 57bf4711-2218-46af-99d6-9c68ae230ce1
# e$ @" F# ^7 F) ccreated 2022-07-18 14:35:55.213289
# c6 ]+ |' b  ~modified 2022-07-22 09:15:56.4811967 R) y+ K! w9 x! N6 c
flags sortbitwise,recovery_deletes,purged_snapdirs  F, j3 m/ T. ]5 j" {
crush_version 243 w5 }5 T$ y; s- e% s
full_ratio 0.95
/ l6 _* K6 v( Ybackfillfull_ratio 0.90 P( ]# n9 N5 b
nearfull_ratio 0.85
, g3 {( ~4 Q* L" srequire_min_compat_client jewel
/ f4 V) C$ ~9 S0 [- y/ u& imin_compat_client jewel. U/ ^4 t  ~0 K& H- T. C" a' ~( n
require_osd_release luminous
0 k; V" d3 v) R; U' l( _max_osd 55 o6 H6 Z6 o+ y8 l0 n0 C4 h
osd.0 up   in  weight 1 up_from 40 up_thru 0 down_at 33 last_clean_interval [24,32) 192.168.120.23:6801/29312 192.168.120.23:6802/29312 192.168.120.23:6803/29312 192.168.120.23:6804/29312 exists,up a0870816-e235-4abe-a951-21cea538944b
* s1 h0 O2 J$ l4 U2 h, N! s- fosd.1 up   in  weight 1 up_from 27 up_thru 0 down_at 0 last_clean_interval [0,0) 192.168.120.23:6805/20931 192.168.120.23:6806/20931 192.168.120.23:6807/20931 192.168.120.23:6808/20931 exists,up c93215ac-b6be-41a3-b49f-32f58b573ac34 a2 P' |' u$ @) n7 r
osd.2 up   in  weight 1 up_from 30 up_thru 0 down_at 0 last_clean_interval [0,0) 192.168.120.16:6800/10624 192.168.120.16:6801/10624 192.168.120.16:6802/10624 192.168.120.16:6803/10624 exists,up 5de4831f-4607-41fb-b068-6ceed8cd7c7f$ p- g3 q. ~% W8 G9 \6 W3 ^* m
osd.3 up   in  weight 1 up_from 43 up_thru 0 down_at 0 last_clean_interval [0,0) 192.168.120.16:6804/12167 192.168.120.16:6805/12167 192.168.120.16:6806/12167 192.168.120.16:6807/12167 exists,up 297a9d7d-10b3-41cf-acda-886a38a9430a7 K) B6 S2 `$ H: r9 e' A
osd.4 up   in  weight 1 up_from 46 up_thru 0 down_at 0 last_clean_interval [0,0) 192.168.120.31:6800/10016 192.168.120.31:6801/10016 192.168.120.31:6802/10016 192.168.120.31:6803/10016 exists,up ad1d7272-46c3-45ef-8aee-0d08ad8d6be60 ]( Q1 @$ I* D& m7 |7 C+ ?! A0 Y* G9 R
[root@ceph-2 ~]#
7 q/ q% V1 Y" {
8 \1 `( j) c/ M, S6 F; t/ a3 C& B! _[root@ceph-2 ~]# ceph osd df tree 6 H1 [; W  T& v: q2 _9 L/ R% ]
ID CLASS WEIGHT REWEIGHT SIZE    USE     AVAIL   %USE VAR  PGS TYPE NAME       2 ?# ^( e. q7 _# N. |
-9            0        -      0B      0B      0B    0    0   - host root      
1 u3 N6 |3 g: [7 ^" {; X- v-1            0        -  500GiB 9.13GiB  490GiB 1.83 1.00   - root default   
2 i5 x8 N* b/ U( Q+ ~-2            0        -  200GiB 6.11GiB  194GiB 3.06 1.67   -     host ceph-1
9 U# E0 `& Y0 ^+ u: i+ f 0   hdd      0  1.00000  100GiB 5.11GiB 94.8GiB 5.11 2.79   0         osd.0   
* E, [- |+ i3 E" I; U 1   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0         osd.1   
/ v+ X+ y  y% q- j-3            0        -  200GiB 2.01GiB  198GiB 1.01 0.55   -     host ceph-2
/ t  c; X% A2 z) B& p 2   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0         osd.2   
6 m5 n* S* {& c3 _8 Z; A 3   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0         osd.3   7 }* w) g8 e) I& E$ d8 c8 ]
-4            0        - 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   -     host ceph-3 0 a$ d$ T$ E: T2 w# m' S
4   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0         osd.4   - R2 R, ?' r8 `
                   TOTAL  500GiB 9.13GiB  490GiB 1.83                          
/ @8 m; T' ?" g3 Q- l  UMIN/MAX VAR: 0.55/2.79  STDDEV: 1.64
* T. J0 s7 |$ t
. b# ?7 @+ O) p% B9 u, t3 c' I[root@ceph-2 ~]# ceph osd df plain
0 }7 o- o5 t1 C& j! H# hID CLASS WEIGHT REWEIGHT SIZE    USE     AVAIL   %USE VAR  PGS $ N: w! C4 m# N: J6 A3 m- n
0   hdd      0  1.00000  100GiB 5.11GiB 94.8GiB 5.11 2.79   0 / ~6 w2 ^) t+ F! d- j
1   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0 5 a' j# y6 n- w; H. V' n( U
2   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0 5 x! a6 `* J5 _& C
3   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0
1 [& o3 h; s' n& J1 c' O1 F 4   hdd      0  1.00000 99.9GiB 1.01GiB 98.9GiB 1.01 0.55   0 - ^4 [$ g/ v5 ?- E. E
                   TOTAL  500GiB 9.13GiB  490GiB 1.83          0 R7 `% Y! u. O8 V5 V$ y& X( ^0 s
MIN/MAX VAR: 0.55/2.79  STDDEV: 1.64
0 z7 e8 c! U& v
" p1 C2 n/ K0 q
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-22 09:53:03 | 显示全部楼层
手动控制PG的Primary OSD
% R. {( `$ I8 I        可以通过手动修改osd的权重以提升 特定OSD被选为PG Primary OSD的概率，避免将速度慢的磁盘用作primary osd
6 L* L6 r; ~7 k2 Z) s- q9 y8 }. l: F0 {8 c3 }1 m" d( K
4.1 查看osd.4为主的pg
) Y. k: P) a# \' P5 j& ?- ~[root@ceph2 ceph]# ceph pg dump|grep 'active+clean'|egrep "[4,"
& y1 M4 p8 i! Z% Z+ P# p3 f1 H! M3 v" u' t. X
dumped all                          #查看OSD.4位主的PG
% B: P+ G3 n; E9 e; _1.7e          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.280490        0'0    311:517 [4,0,8]          4 [4,0,8]              4        0'0 2019-03-27 13:28:30.900982             0'0 2019-03-24 06:16:20.594466 ; Z4 i2 ^* m1 Y- w: C
1.7b          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256673        0'0    311:523 [4,6,5]          4 [4,6,5]              4        0'0 2019-03-28 02:46:27.659275             0'0 2019-03-23 09:10:34.438462
4 ]" L* w6 s  z15.77         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.282033        0'0    311:162 [4,5,0]          4 [4,5,0]              4        0'0 2019-03-28 04:25:28.324399             0'0 2019-03-26 17:10:19.390530   m* E7 A5 E9 X) j/ ]# w0 Q0 h
1.77          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:34:03.733420        0'0    312:528 [4,0,5]          4 [4,0,5]              4        0'0 2019-03-28 08:34:03.733386             0'0 2019-03-27 08:26:21.579623
# y4 X) u) g( H  i15.7a         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257051        0'0    311:158 [4,2,3]          4 [4,2,3]              4        0'0 2019-03-28 03:27:22.186467             0'0 2019-03-26 17:10:19.390530
( b- o* Q9 R- |- _- S& g15.7c         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.273391        0'0    311:144 [4,0,8]          4 [4,0,8]              4        0'0 2019-03-27 17:59:38.124535             0'0 2019-03-26 17:10:19.390530 / R" q8 D6 X! C: x
1.72          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.276870        0'0    311:528 [4,8,0]          4 [4,8,0]              4        0'0 2019-03-28 06:36:06.125767             0'0 2019-03-24 13:59:12.569691
3 A0 l- u/ N6 h15.7f         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258669        0'0    311:149 [4,8,0]          4 [4,8,0]              4        0'0 2019-03-27 21:48:22.082918             0'0 2019-03-27 21:48:22.082918
; ], W2 T2 z8 I0 `2 }# x9 J/ @15.69         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258736        0'0    311:150 [4,0,8]          4 [4,0,8]              4        0'0 2019-03-28 00:07:06.805003             0'0 2019-03-28 00:07:06.805003
% C# ?  n8 p1 @  B: b" S1.67          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.275098        0'0    311:517 [4,0,8]          4 [4,0,8]              4        0'0 2019-03-27 21:08:41.166673             0'0 2019-03-24 06:16:29.598240 ' I6 Z0 q) ~, I  |" Z4 }
14.22         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257257        0'0    311:149 [4,5,6]          4 [4,5,6]              4        0'0 2019-03-27 20:32:16.816439             0'0 2019-03-26 17:09:56.246887
* ], K4 [* Q  j5 i14.29         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252788        0'0    311:151 [4,5,6]          4 [4,5,6]              4        0'0 2019-03-27 21:55:42.189434             0'0 2019-03-26 17:09:56.246887 & e" i: W( g. j9 V* Z9 N
5.21          2                  0        0         0       0  4210688  139      139  active+clean 2019-03-28 08:02:25.257694    189'139    311:730 [4,6,2]          4 [4,6,2]              4    189'139 2019-03-27 19:02:33.483252         189'139 2019-03-25 08:42:13.970938 # E& ~( S% s2 b
14.2a         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256911        0'0    311:150 [4,6,5]          4 [4,6,5]              4        0'0 2019-03-27 18:09:45.512728             0'0 2019-03-26 17:09:56.246887 * a' P5 k5 p" i
14.2b         0                  0        0         0       0        0    1        1  active+clean 2019-03-28 08:02:25.258316      214'1    311:162 [4,6,2]          4 [4,6,2]              4      214'1 2019-03-27 23:48:05.092971             0'0 2019-03-26 17:09:56.246887
0 a8 @2 }2 o5 M( S5 O14.2d         1                  0        0         0       0       46    1        1  active+clean 2019-03-28 08:02:25.282383      214'1    311:171 [4,3,2]          4 [4,3,2]              4      214'1 2019-03-28 03:14:08.690676             0'0 2019-03-26 17:09:56.246887 . M% F) x- M- N* Q5 P
15.2c         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258195        0'0    311:157 [4,3,5]          4 [4,3,5]              4        0'0 2019-03-28 02:03:17.819746             0'0 2019-03-28 02:03:17.819746 . m& L4 X: A) d3 m% j4 N4 h7 f
6.1a          1                  0        0         0       0       19    2        2  active+clean 2019-03-28 08:02:25.281807      161'2    311:267 [4,2,6]          4 [4,2,6]              4      161'2 2019-03-27 22:42:45.639905           161'2 2019-03-26 12:51:51.614941
4 B2 g% u; Z, i5 w7 [( }5.18          4                  0        0         0       0    49168   98       98  active+clean 2019-03-28 08:02:25.258482     172'98    311:621 [4,8,3]          4 [4,8,3]              4     172'98 2019-03-27 21:27:03.723920          172'98 2019-03-27 21:27:03.723920 7 M! t6 [3 ]( h( Z. e+ V
15.14         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252656        0'0    311:148 [4,6,5]          4 [4,6,5]              4        0'0 2019-03-27 19:56:18.466744             0'0 2019-03-26 17:10:19.390530
0 a) u9 e1 h6 T! g15.17         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256549        0'0    311:164 [4,5,0]          4 [4,5,0]              4        0'0 2019-03-27 23:58:46.490357             0'0 2019-03-26 17:10:19.390530
8 i2 U( q+ R3 O! ]8 E1.18          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.277674        0'0    311:507 [4,6,8]          4 [4,6,8]              4        0'0 2019-03-28 01:14:47.944309             0'0 2019-03-26 18:31:14.774358 ' C, m1 `5 g/ ?0 F/ v/ m3 }
5.1c          2                  0        0         0       0       16  250      250  active+clean 2019-03-28 08:02:25.257857    183'250  311:19066 [4,2,6]          4 [4,2,6]              4    183'250 2019-03-28 05:42:09.856046         183'250 2019-03-25 23:36:49.652800 + G6 `3 H9 x% ]% ]7 {& w
15.19         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257506        0'0    311:164 [4,2,3]          4 [4,2,3]              4        0'0 2019-03-28 00:39:31.020637             0'0 2019-03-26 17:10:19.390530   j2 _5 ~( F) n' m- W
16.7          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.282212        0'0     311:40 [4,3,2]          4 [4,3,2]              4        0'0 2019-03-28 01:11:12.974900             0'0 2019-03-26 21:40:00.073686
3 r+ N- z. g7 C$ E, V+ z6.e           0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258109        0'0    311:251 [4,6,2]          4 [4,6,2]              4        0'0 2019-03-27 06:36:11.963158             0'0 2019-03-27 06:36:11.963158
# w% i+ r% v2 F7 C% ]7 V13.5          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257437        0'0    311:168 [4,0,2]          4 [4,0,2]              4        0'0 2019-03-27 19:52:21.320611             0'0 2019-03-26 13:31:34.012304 ; @% v3 C. V0 A% A! C2 s( d
16.19         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257560        0'0     311:42 [4,2,6]          4 [4,2,6]              4        0'0 2019-03-28 04:21:53.015903             0'0 2019-03-26 21:40:00.073686 ( j( r; x7 v0 ~) W0 l; `# P4 I7 S
7.1           3                  0        0         0       0     1813   14       14  active+clean 2019-03-28 08:02:25.257994     192'14    311:303 [4,2,3]          4 [4,2,3]              4     192'14 2019-03-27 12:08:04.858102          192'14 2019-03-27 12:08:04.858102
2 K  M9 A7 p  d* t7 D* J14.9          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252723        0'0    311:163 [4,3,5]          4 [4,3,5]              4        0'0 2019-03-28 04:45:30.060857             0'0 2019-03-28 04:45:30.060857
1 N- k% _) g% b! s. y/ E5.1           3                  0        0         0       0  8404992  119      119  active+clean 2019-03-28 08:02:25.258586    189'119    311:635 [4,3,8]          4 [4,3,8]              4    189'119 2019-03-28 01:01:39.725401         189'119 2019-03-25 09:40:24.623173
3 |5 |: Q3 n( ?& D' _5 A13.6          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257198        0'0    311:157 [4,5,0]          4 [4,5,0]              4        0'0 2019-03-27 15:49:19.196870             0'0 2019-03-26 13:31:34.012304
& y% k* I/ x" n& z% O7 B: X5.f           5                  0        0         0       0    86016  128      128  active+clean 2019-03-28 08:02:25.258053    183'128   311:1179 [4,2,3]          4 [4,2,3]              4    183'128 2019-03-27 12:15:30.134353         183'128 2019-03-22 12:21:02.832942
9 N. u- Y* V: ?- z16.1d         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257306        0'0     311:42 [4,0,2]          4 [4,0,2]              4        0'0 2019-03-28 01:15:37.043172             0'0 2019-03-26 21:40:00.073686 1 u: V9 j. U" {6 m/ d$ D9 ]) b
12.0          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258535        0'0    311:140 [4,6,8]          4 [4,6,8]              4        0'0 2019-03-27 15:42:11.927266             0'0 2019-03-26 13:31:31.916623 & A+ W! n, H2 b, K3 l: T) B1 B
16.1f         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258248        0'0     311:41 [4,0,5]          4 [4,0,5]              4        0'0 2019-03-28 08:01:48.349363             0'0 2019-03-28 08:01:48.349363
' F+ T9 u. R2 N! z" c: D9.6           0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257612        0'0    311:211 [4,2,3]          4 [4,2,3]              4        0'0 2019-03-27 23:02:31.386965             0'0 2019-03-27 23:02:31.386965
& ~+ G. m) z) x! W$ E1.f           0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.279868        0'0    311:503 [4,3,8]          4 [4,3,8]              4        0'0 2019-03-28 07:41:02.022670             0'0 2019-03-24 07:50:30.260358 6 m3 @& R! b. c/ {: o% E, Z
1.10          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257936        0'0    311:538 [4,2,0]          4 [4,2,0]              4        0'0 2019-03-28 01:43:31.429879             0'0 2019-03-23 06:36:38.178339
$ g% M+ C0 `0 w* H1.12          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256725        0'0    311:527 [4,3,5]          4 [4,3,5]              4        0'0 2019-03-28 04:49:49.213043             0'0 2019-03-25 17:35:25.833155
0 E& V# n2 b8 c5 D9 U+ ~3 W. B+ j16.2          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.278599        0'0     311:31 [4,6,8]          4 [4,6,8]              4        0'0 2019-03-28 07:32:10.065419             0'0 2019-03-26 21:40:00.073686
0 o0 f7 l. q2 V9 \! h3 I15.1d         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252838        0'0    311:155 [4,5,3]          4 [4,5,3]              4        0'0 2019-03-28 00:50:04.416619             0'0 2019-03-26 17:10:19.390530 0 T( Y9 v7 b+ j- J
5.2a          0                  0        0         0       0        0  107      107  active+clean 2019-03-28 08:02:25.281096    172'107    311:621 [4,6,8]          4 [4,6,8]              4    172'107 2019-03-27 23:39:40.781443         172'107 2019-03-25 17:35:38.835798
$ A6 M' r7 |* x6 r5.2b          7                  0        0         0       0 16826368  225      225  active+clean 2019-03-28 08:02:25.257363    189'225   311:2419 [4,0,5]          4 [4,0,5]              4    189'225 2019-03-27 10:24:42.972494         189'225 2019-03-25 04:13:33.567532
5 I8 p& w# P( ^( l" w* @0 f1.31          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256401        0'0    311:514 [4,5,6]          4 [4,5,6]              4        0'0 2019-03-27 20:39:23.076113             0'0 2019-03-25 10:06:22.224727
9 Y' B/ }. M; c! F; z; F5 s. x5.31          1                  0        0         0       0  4194304  113      113  active+clean 2019-03-28 08:02:25.282326    189'113    311:661 [4,2,3]          4 [4,2,3]              4    189'113 2019-03-27 23:35:50.633871         189'113 2019-03-25 10:27:03.837772 $ a& r% |! G0 D: f' f
14.37         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.282270        0'0    311:153 [4,5,0]          4 [4,5,0]              4        0'0 2019-03-27 20:36:25.969312             0'0 2019-03-26 17:09:56.246887
% M; ~" T# i; M# ]1 p15.34         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258369        0'0    311:132 [4,8,3]          4 [4,8,3]              4        0'0 2019-03-27 23:30:49.442053             0'0 2019-03-26 17:10:19.390530
" U. v9 r4 X' ?! G! a3 x& X1.43          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.279242        0'0    311:501 [4,6,8]          4 [4,6,8]              4        0'0 2019-03-27 21:59:51.254952             0'0 2019-03-26 13:16:37.312462
+ z- U* Q- x; S& w. J1.48          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.281910        0'0    311:534 [4,0,5]          4 [4,0,5]              4        0'0 2019-03-27 23:47:00.053793             0'0 2019-03-24 04:51:10.218424 8 m; `3 X! \6 ^; K4 o
15.45         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.258421        0'0    311:155 [4,0,8]          4 [4,0,8]              4        0'0 2019-03-28 01:39:15.366349             0'0 2019-03-26 17:10:19.390530
" A( O/ c; G( I6 ~. B) x' A0 S0 I1.4e          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252906        0'0    311:519 [4,5,3]          4 [4,5,3]              4        0'0 2019-03-27 20:50:17.495390             0'0 2019-03-21 01:02:41.709506 ( h) T0 @' [" L
1.51          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.281974        0'0    311:530 [4,6,2]          4 [4,6,2]              4        0'0 2019-03-28 07:23:04.730515             0'0 2019-03-26 00:23:54.419333 2 i' E8 s( K; H, |' y
15.5a         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.257140        0'0    311:158 [4,0,2]          4 [4,0,2]              4        0'0 2019-03-28 00:12:17.000955             0'0 2019-03-26 17:10:19.390530
6 z5 [: P  @4 _$ r; e0 P' t1.56          0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.256961        0'0    311:521 [4,5,3]          4 [4,5,3]              4        0'0 2019-03-27 16:24:10.512235             0'0 2019-03-27 16:24:10.512235 ' {' S2 `1 M1 a; O% N' z. @, C" P
15.50         0                  0        0         0       0        0    0        0  active+clean 2019-03-28 08:02:25.252599        0'0    311:154 [4,5,3]          4 [4,5,3]              4        0'0 2019-03-28 00:25:01.475477             0'0 2019-03-26 17:10:19.390530 + S! p! [' Q' [7 Z' H
统计$ q& I) Z2 z2 z2 @+ V

- k9 S$ I! L* p8 z& M[root@ceph2 ceph]# ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l
7 X9 K* B& w, y" V* U
0 }! u& ?, P1 {0 e! Ydumped all) b& G# |$ v* X. X% G4 \3 D
56
. Z% C! }  H6 }/ P) r0 ^4.2 权重设为0
7 l: S: W2 g- F8 t7 [[root@ceph2 ceph]# ceph osd primary-affinity osd.4 0
. l* q6 O& }( G" }, y& Y" s/ u% d' D  y- q/ {7 l9 i  j
Error EPERM: you must enable 'mon osd allow primary affinity = true' on the mons before you can adjust primary-affinity.  note that older clients will no longer be able to communicate with the cluster.
! t# a  y4 A2 Z5 _[root@ceph2 ceph]# ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show|grep primary
5 U. T. q8 T( }1 X' E6 B
# N; o' l" r2 S( M   "mon_osd_allow_primary_affinity": "false",
0 K6 [' {9 s5 E0 P) b2 D# L' E    "mon_osd_allow_primary_temp": "false",3 ~, o/ D+ n8 k# u3 G8 \+ {
4.3 修改配置文件' O5 C& m7 F! B& f4 N) k
[root@ceph1 ~]# vim  /etc/ceph/ceph.conf
) R8 ^0 o' N9 i; W2 L" q7 r$ U2 f/ }6 G: `
[global]: R" @. L* v: m: `( u7 x  U% F7 p
fsid = 35a91e48-8244-4e96-a7ee-980ab989d20d
* f9 T: P& X5 c; ?+ C$ Bmon initial members = ceph2,ceph3,ceph4, F  Z8 ~9 b) ^1 m9 A0 b
mon host = 172.25.250.11,172.25.250.12,172.25.250.13+ D% z3 I6 M1 `3 T" y$ W, I
public network = 172.25.250.0/24
2 b" g% ~! b7 B+ Hcluster network = 172.25.250.0/248 ?$ l! T9 [; U* G2 k2 \4 I
auth_cluster_required = cephx& H1 P# h. C- H( ]
auth_service_required = cephx
' j+ I+ _) u2 C( G+ ^- l0 o( q3 |% Nauth_client_required = cephx/ y* {$ Q. F" C0 m0 O
[osd]7 a& i( p# X' e0 Z+ D# |; d
osd mkfs type = xfs
$ C4 ~9 }; N+ i" A' Yosd mkfs options xfs = -f -i size=2048
: D6 t2 U# ~; I8 Z0 z  ]" Nosd mount options xfs = noatime,largeio,inode64,swalloc) e, G. p  P* ~& n" B6 y
osd journal size = 5120
0 Z$ v  r7 Y6 G4 a4 R% `/ ?$ s" l0 x& D4 T: I# Z% r
[mon]4 n" P5 p( ]' {( C3 n% p; o+ M
mon_allow_pool_delete = true
& f; v/ n" ^; i( Q; |$ ]3 g9 Dmon_osd_allow_primary_affinity = true
2 M; H( g' [7 A7 m[root@ceph1 ~]# ansible all -m copy -a 'src=/etc/ceph/ceph.conf dest=/etc/ceph/ceph.conf owner=ceph group=ceph mode=0644': c( ?# x5 a2 o2 P8 |! d0 q  Z
' {" y8 d0 Q3 C# K4 {* s
[root@ceph1 ~]# ansible mons -m shell -a ' systemctl restart ceph-mon.target'
# d5 J7 L$ r. o0 r( B6 T: J8 I& ~: O" W6 N' U8 L- z2 s. L" H% }
[root@ceph1 ~]# ansible mons -m shell -a ' systemctl restart ceph-osd.target'% z# u# L+ e7 O; n, C2 w
7 G( h* u/ i- [) E$ U" M' b) ~6 g
[root@ceph2 ceph]# ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show|grep primary
% ~  }8 l8 n' H" x
* e" ^$ v. V( Z5 {- y6 v% w' x  a' T
, S% n% A, U% w- L% ^' _
没有生效
0 t: J. {' t& g" s2 U4 E! |5 V. @
4.5 使用命令行修改
1 q, D6 _, E( d- D: v[root@ceph2 ceph]# ceph tell mon.* injectargs '--mon_osd_allow_primary_affinity=true'* \. e6 Z" D/ \) U% X# y

; O- _4 ^( i4 t5 Emon.ceph2: injectargs:mon_osd_allow_primary_affinity = 'true' (not observed, change may require restart)
% ?5 {* J9 C$ D: R4 o) P8 b. lmon.ceph3: injectargs:mon_osd_allow_primary_affinity = 'true' (not observed, change may require restart)
. |3 ^2 n% I! v2 `& o% Qmon.ceph4: injectargs:mon_osd_allow_primary_affinity = 'true' (not observed, change may require restart) + t# R( ]. n- J+ N
[root@ceph2 ceph]# ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show|grep primary3 n* [( t8 u" F
8 e7 h( q/ p/ c7 y3 [/ U
& i6 B4 @) ]/ w6 T7 J- z% b: g6 `
3 s$ p5 d/ M# p3 r: K' G- S
[root@ceph2 ceph]# ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l) J& `0 @* _$ r1 q! F

8 Y- u; \& W* G, _9 n8 Jdumped all0 k) s6 y0 u3 M
56
% R; G0 S' F8 E2 s& ^' R: F4.6 修改权重
8 p  G9 j8 b/ N1 j3 Z3 m  C/ Q[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l
( f% H; v) I- t* F/ K9 qdumped all- e1 ~% Y/ ?' s" W$ P
56$ b/ Y+ C! ^' q5 F4 e
[root@ceph2 ceph]# ceph osd primary-affinity osd.4 0
) J9 x( q6 `5 G$ }set osd.4 primary-affinity to 0 (802)) O" R6 u3 _; q" ?; F1 M/ X
[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l
  M% [& ?) H7 Q! E' Z: |dumped all! @8 d/ z0 ]9 T6 I* h
56
, _& m9 t0 G0 B% H5 X[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l9 Z% B# H& E' x: Q, b: ?0 j
dumped all
8 {) P' [! K* r7 q- O, _- y56
0 I) u- [$ o) ]1 F; u[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l
% Z: q  {! s" x# K( ^  ?, a1 ^# Ddumped all% n2 ?3 y( ?* ]) E
0
2 v( k8 F& ]7 P* ]3 F9 R[root@ceph2 ceph]# ceph osd primary-affinity osd.4 0.5( X/ b9 y$ j% U$ D
set osd.4 primary-affinity to 0.5 (8327682)3 ~6 U4 J7 R" T/ E$ G) F
[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l8 V% A  h1 N: v
dumped all2 o7 D: P4 I, X
26
5 j. Z) `) b2 d. y2 H* U2 c[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l, P7 T3 i6 U- H3 z) G! d
dumped all
5 X$ }, ~2 x& b2 O7 m261 p; n( |" D6 V* L1 K* S
[root@ceph2 ceph]#  ceph pg dump|grep 'active+clean'|egrep "[4,"|wc -l
- P% d( I5 Z. }" u- Ydumped all6 o; Z2 T  [# O! E; {$ t
26
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-22 11:07:44 | 显示全部楼层
[root@ceph-2 ~]# ceph osd status  - ^7 i: Z6 h' b+ i& p) U0 Y
+----+------------------+-------+-------+--------+---------+--------+---------+-----------+
; l3 W8 @9 _; O8 s4 D6 @5 k| id |       host       |  used | avail | wr ops | wr data | rd ops | rd data |   state   |
& `" _; k& D2 U4 H+----+------------------+-------+-------+--------+---------+--------+---------+-----------+6 s* t1 R6 j2 L; f8 X1 c: p
| 0  | ceph-1.novalocal | 5227M | 94.8G |    0   |     0   |    0   |     0   | exists,up |) r" p* A5 J  V& A" C
| 1  | ceph-1.novalocal | 1031M | 98.8G |    0   |     0   |    0   |     0   | exists,up |7 x% R  z# }8 v3 ~
| 2  | ceph-2.novalocal | 1031M | 98.8G |    0   |     0   |    0   |     0   | exists,up |- [! }* z+ l, ]8 H$ Q8 s
| 3  | ceph-2.novalocal | 1031M | 98.8G |    0   |     0   |    0   |     0   | exists,up |! q% s- \- a; L) [1 f
| 4  | ceph-3.novalocal | 1031M | 98.8G |    0   |     0   |    0   |     0   | exists,up |
7 V" z# D8 B2 u! w/ F" l+----+------------------+-------+-------+--------+---------+--------+---------+-----------+
$ v  z) i( _5 v1 O( a' o8 W[root@ceph-2 ~]#  ceph osd dump | grep ratio
: h# `; W1 M" m1 @- k5 [full_ratio 0.95
4 x; j1 `2 X% ~( x& Q' z( z  s7 n! ubackfillfull_ratio 0.9. }. d* G6 I& _: N
nearfull_ratio 0.85
" t5 O( J$ R( ?# Z+ N[root@ceph-2 ~]#
回复

举报

admin

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-22 11:08:37 | 显示全部楼层

: L8 P5 d3 V& {' f4 nHow to set/unset noout:
3 r; _% P; o! l/ b7 L5 S- z2 Y, j7 t" Y4 w/ I' Q6 h" z. e* Z
ceph osd set noout; T! v; ~* U7 ?8 h% t% w/ E  A) Y$ ~
ceph osd unset noout
) |0 v* w% p$ B& _: p9 y" N) P$ [, S" q% d
To get the cluster out of this state, data needs to be pushed away or removed from the OSDs in question. In the below example it is a single OSD in question (osd.52), but there could be many OSDs that are marked full.  7 Z: R$ q( {0 o

) H1 s6 N8 e  _9 c$ Z& F5 Z/ zTo push data away from the osd, run:& q; g$ o" D+ \+ [8 e1 ^

3 o( Z% \; h1 ^; u& }( sceph osd reweight $osdID $Weight
# H3 c! W! Z1 k, H9 o; K+ q  E9 e& F: i
Where $osdID is the OSD number "52" and $Weight is a value below 1, for example:
& U* E4 W! H& S" s4 t  d
5 r: v- ]/ K3 u2 e$ Yceph osd reweight 52 .85: d/ @) c) Y- u2 a3 e' W% D! G
% E* J+ K  H& H! b$ A0 o7 k
The first objective is to get the OSDs that are full below 95% capacity, so the OSDs /pool(s)/cluster is not marked Read Only.  It is possible to achieve this goal with a $Weight of .95 in some cases, and in other cases, it may require a lower value, .90, .85, .80, etc.
1 ~/ }* _: k) r& Z, \" K2 h7 [! \
The second objective is to get the OSDs in question first below 90%, then below 85% of capacity.  This is achieved by continuing to monitor the cluster and re-weighting down the OSDs in question.  This process can take a few hours to complete.
- i/ L& o0 B3 K3 V9 `% d; H2 E
5 h3 v. V. F8 o. U5 \Keep in mind that when data is being pushed away or removed from an OSD, that data is being placed on another OSD in the cluster.  This action can in turn cause other OSDs to fill up as well.  The administrator will need to monitor ALL OSDs with "ceph osd df tree" to ensure that proper action is taken. " S, |' \6 b" S& ?  \9 a
# q  o( m0 F' _! p7 U
In some cases it will be necessary to change the following settings temporarily:
# |4 z2 W0 b- v  D( o2 n8 k/ y6 [/ b
0 F+ p4 x' z$ f% [ceph osd set-nearfull-ratio <ratio>
% j- G- A( F' G+ |- ~! t9 Qceph osd set-backfillfull-ratio <ratio>& \7 h3 K# }: A3 @& r
ceph osd set-full-ratio <ratio>
  M, F6 v/ n# C. x" v/ x, T* v0 r! Q- t- o
"ceph osd set-full-ratio .96" will change the "full_ratio" to 96% and remove the Read Only flag on OSDs which are 95% -96% full. If OSDs are 96% full it's possible to set "ceph osd set-full-ratio .97", however, do NOT set this value too high.
4 M, Z7 D! o2 g
4 N/ `1 R9 M$ Z! ]. G"ceph osd set-backfillfull-ratio 91" will change the "backfillfull_ratio" to 91% and allow backfill to occur on OSDs which are 90-91% full.  This setting is helpful when there are multiple OSDs which are full. 9 y' D! ^/ u' [7 b! g& P4 ?: S' E  w

' h3 `: m) Y- L. Y1 BIn some cases, it will appear that the cluster is trying to add data to the OSDs before the cluster will start pushing data away from the OSDs in question.  
9 j6 e* S$ [5 `" z$ ~8 _( M* I# B& P! S; v6 o5 M( f+ j! K+ u
Once OSDs are below 95% capacity (full-ratio) or below the 90% capacity (backfillfull-ratio), set the setting sback to default:
2 `9 }' K1 J; B: n6 O" x6 `& `  K" u4 m) [/ C* m5 K- c
ceph osd set-nearfull-ratio .85: i8 ^+ K3 m# J3 J1 a
ceph osd set-backfillfull-ratio .90: U/ q0 k9 |9 F9 t
ceph osd set-full-ratio .95, s+ G- `9 K( U
. b' a& X9 t: _0 |; W
This will ensure that there is breathing room should any OSDs get marked full again at some point in time.  
7 }  ^" D" u7 ]! l( u
/ {% Q4 H: _! L  `1 p# S( wIf the Administrator is confident the issue addressed and it is safe to re-weight OSDs back up, it can be done in the same way:
0 p/ ^' w- @) r7 q4 ]6 }+ }) v8 E  }0 M# E' Z/ S; P' w! i- ?
ceph osd reweight $osdID $Weight
* c& }' m' p4 g% m8 d2 A/ Q8 x2 k- L6 `: U% |+ P8 F" P( A# j; E
Where $osdID is the OSD number "52" and $Weight is a value up to 1:3 v  a, Y" O4 |% e6 w
4 Z* E! K5 E) T$ }
ceph osd reweight 52 .90
- k1 l+ y% D  F' ^    or$ c; t; U: M5 ?! q) _
ceph osd reweight 52 .95
# h/ S9 v* i: ?! ?    or
% K2 M* C7 Z6 ~; `; Oceph osd reweight 52 1- A; \. M0 b8 ~5 o- N
, S6 t3 p3 ?8 ?6 x6 a1 Q5 T: U# O
Monitor with:
& X* w6 M1 }. G; J3 S) ^; Q( m0 c8 F7 f$ ?( Q7 _. N+ y
ceph -s
- {$ l8 m/ E! Q7 h0 y5 g% \% Zceph health detail
3 o% E5 |  z& a5 B9 i* ^8 zceph osd df tree.  9 C$ P, F2 k$ A$ L: B8 Y7 `
回复

举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:13 , Processed in 0.024866 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表