找回密码
 注册
查看: 1928|回复: 6

ceph 15版本中速率设置max_backfills和osd_recovery_max_active详解

[复制链接]

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
发表于 2023-1-9 08:00:02 | 显示全部楼层 |阅读模式
购买主题 本主题需向作者支付 2 金钱 才能浏览

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-9 08:00:03 | 显示全部楼层
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
6 |" o* x, [$ u* f# f: Iosd_max_backfills = 17 l! w9 u0 v" X1 d. K
osd_recovery_max_active = 0
) A. K9 S) {' `4 O" c" @osd_recovery_max_active_hdd = 3
9 C3 k7 q1 o5 F, g6 posd_recovery_max_active_ssd = 103 A) F( Q& u& k" p; G4 l9 C
osd_recovery_op_priority = 3) @' @+ m6 n; |3 h! ^" x
[root@ceph1 ~]# ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
  R: _) b: L& R1 F9 fosd.0: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
9 Y' H% Y$ U1 `% a* ]5 e# S/ Yosd.0: {}
- p6 Y' ^; ~1 i- H. I, C0 aosd.1: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart) ; X. \& m; N( d* S7 Y: J2 {1 z5 H' j
osd.1: {}
' ]* b. `# \- k0 |osd.2: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
& A- ]& \9 O0 G$ L9 N) x# aosd.2: {}
* t" T3 E. \1 y$ F( h0 l; u# p[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
" ^+ T" f- O6 \( H4 d) C( \osd_max_backfills = 1
2 @" K1 g. T5 Zosd_recovery_max_active = 0
2 h* z( M% d) uosd_recovery_max_active_hdd = 30 S8 s" J, n# Y& B! u* W) G' e+ p
osd_recovery_max_active_ssd = 10% R8 i3 W8 [- X2 Z3 s. f
osd_recovery_op_priority = 39 U& p6 Y4 {* h! s; }1 S
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"6 q" n6 i% L+ U& x: {8 @8 q
osd_max_backfills = 1. A/ w8 Y5 y+ K7 r- @
osd_recovery_max_active = 0* _+ h9 _, |' v9 n8 Y9 Y
osd_recovery_max_active_hdd = 3
7 o9 B, T" D0 \* Gosd_recovery_max_active_ssd = 10) }. l2 d4 n& m9 o
osd_recovery_op_priority = 3
9 h; y" R2 a# p! a[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"8 d' O! y& J9 W' f6 O- G7 e
osd_max_backfills = 1% y9 Z% n1 D5 z7 R
osd_recovery_max_active = 05 c! D( J3 m* K! k( |; ^6 C
osd_recovery_max_active_hdd = 3
& @; |5 ^3 a0 p' Vosd_recovery_max_active_ssd = 103 l. {; A: {! L! |3 U
osd_recovery_op_priority = 3* [* W. t; C/ W3 A; R+ J( d
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"  O4 h0 T5 U" u
osd_max_backfills = 1
5 z% S: S7 L  b- xosd_recovery_max_active = 0
4 f, J8 H& N! ~7 u" c+ C+ }" tosd_recovery_max_active_hdd = 3, o. R5 f# x0 F6 \/ o
osd_recovery_max_active_ssd = 10
/ r1 O& E( E% H: N, U7 M$ }+ Tosd_recovery_op_priority = 3, K8 C/ Z, `: K6 R8 |
[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
) U' z- N' V5 e0 z  posd_max_backfills = 1
: Z7 i# T$ K4 c4 J% Cosd_recovery_max_active = 0! t; _* E) o0 S+ |! _
osd_recovery_max_active_hdd = 3, n. ?/ Q& x' b$ s( q
osd_recovery_max_active_ssd = 10/ O0 M7 f5 j; a/ F! n4 X$ M  Q3 O  q
osd_recovery_op_priority = 3
( M8 @# V2 \! P: m9 W. k2 N[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"% `% ?/ i: i, J- Y8 W0 z
osd_max_backfills = 1! O+ G4 Z+ I9 E* U
osd_recovery_max_active = 0) ^: f6 C# S) I  F8 Q) T) H4 I
osd_recovery_max_active_hdd = 34 w: A/ z! d6 Q8 j& i7 C
osd_recovery_max_active_ssd = 10
4 m9 M* e0 O! wosd_recovery_op_priority = 3
1 F' V5 e7 `) ?[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"
  m; d1 u! q# @/ S% Vosd_max_backfills = 1
; x; s4 Z* U. K" ?( Vosd_recovery_max_active = 0
2 j3 k. I0 X8 K6 _5 h# y3 iosd_recovery_max_active_hdd = 3. }; @( G0 o3 }" [2 u. }, D
osd_recovery_max_active_ssd = 10
' a; I3 ~4 N) m2 ^5 e% T& @osd_recovery_op_priority = 3
1 X# m  J( d6 h7 i7 b6 @[root@ceph1 ~]# ceph daemon osd.1 config get osd_max_backfills
4 `6 B2 l4 N9 ?: s* ~8 eadmin_socket: exception getting command descriptions: [Errno 2] No such file or directory; a' I4 K6 v2 C' o: {2 @
[root@ceph1 ~]# ceph config show osd.2' `, W3 c- ~& m% b+ A, Y
NAME                            VALUE                                                                                                                                                        SOURCE    OVERRIDES  IGNORES3 j5 Q4 k" F6 ~- a% E+ Z5 x, \
container_image                 quay.io/ceph/ceph:v15                                                                                                                                        mon                        
; B9 Z* R! Z4 z, Z2 @( ^daemonize                       false                                                                                                                                                        override                    
4 ?& ?5 r9 s; T: a$ zkeyring                         $osd_data/keyring                                                                                                                                            default                     
' R( b0 j  \7 V0 E8 Aleveldb_log                                                                                                                                                                                  default                     
! C7 Z3 N& S/ n7 O4 }1 Xlog_stderr_prefix               debug                                                                                                                                                        default                     % b7 Q8 K8 Y# l1 }* V
log_to_file                     false                                                                                                                                                        default                     9 \8 q7 h6 l4 o* ^" d: G
log_to_stderr                   true                                                                                                                                                         default                     
4 Q  D9 Z. {; ^, Kmon_host                        [v2:192.168.13.170:3300/0,v1:192.168.13.170:6789/0] [v2:192.168.13.171:3300/0,v1:192.168.13.171:6789/0] [v2:192.168.13.172:3300/0,v1:192.168.13.172:6789/0]  file                        
0 t( e; ?% h2 O: L; P1 Y  kmon_warn_on_pool_no_redundancy  false                                                                                                                                                        mon                         3 h& n. w( p4 n6 l2 Q
no_config_file                  false                                                                                                                                                        override                    0 ?$ }3 B: F: x8 W4 N; X+ _
osd_max_backfills               2                                                                                                                                                            override                    
6 X# o3 n) E8 o0 bosd_recovery_max_active         6                                                                                                                                                            override                    
* C& h6 k8 O  J5 ^, n' Z4 _7 E- Jrbd_default_features            61                                                                                                                                                           default                     
) n5 X+ W) a/ f9 Z& n1 Q  M5 y. Qsetgroup                        ceph                                                                                                                                                         cmdline                     
4 y$ n' I9 i, R  s1 j# Ksetuser                         ceph                                                                                                                                                         cmdline                     
+ O+ _7 [; E6 z8 J9 G3 {6 O[root@ceph1 ~]# ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"6 D; R0 s# _! J: ^5 W
osd_max_backfills = 1
  ^/ U) f3 h7 P* B+ S: ~7 Eosd_recovery_max_active = 0
9 o9 F6 y5 E( g1 q3 v5 E* Vosd_recovery_max_active_hdd = 3
9 A  }  R5 t  A, Z, P  I% [osd_recovery_max_active_ssd = 10( k8 g& L% X0 u! t0 c  _
osd_recovery_op_priority = 3
2 u; C9 _, ?& j4 A6 r[root@ceph1 ~]# ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
9 \& ^+ [- ^3 p$ L8 }3 sosd.0: {}2 y3 B, |4 Q/ {
osd.1: {}
, I' J' X7 [; P, l1 L' Losd.2: {}7 A' v$ b  [1 D, I

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-9 09:15:38 | 显示全部楼层
[root@ceph1 ~]#  ceph tell 'osd.*' injectargs --osd-max-backfills=2 --osd-recovery-max-active=6
8 ~+ T6 U# d" f+ ~. K9 H  sosd.0: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart) 9 h5 I% Y0 L1 U' ?* ~, R
osd.0: {}' X5 p( L& K; R/ ?/ e
osd.1: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
/ `/ `/ S; x4 Kosd.1: {}+ K. X: L' L$ v  g6 R* q0 J; P
osd.2: osd_max_backfills = '2' osd_recovery_max_active = '6' (not observed, change may require restart)
; b1 S. T# Z+ V2 ^0 `& b- Z4 aosd.2: {}7 L0 K" v. p& q9 M! w
[root@ceph1 ~]#  ceph-conf --show-config | egrep "osd_recovery_max_active|osd_recovery_op_priority|osd_max_backfills"* v' u$ x' f1 J' s2 P) O$ M
osd_max_backfills = 13 Z9 _7 w9 w, M! Y
osd_recovery_max_active = 0
2 x+ H, N2 N; }+ G3 f1 j. r* A5 }' r$ sosd_recovery_max_active_hdd = 3
" e* z7 X4 y) I# w! g# ]' ?2 zosd_recovery_max_active_ssd = 10
) y$ c: ~$ Q* [5 X0 F4 U  D% _0 Gosd_recovery_op_priority = 3
3 m- U, [% a# e! C[root@ceph1 ~]# ceph config show osd.2
. Y1 u& }+ E! S% m4 r# _$ {" T$ cNAME                            VALUE                                                                                                                                                        SOURCE    OVERRIDES  IGNORES& |1 t4 Y3 e, H+ p0 j! Q0 u
container_image                 quay.io/ceph/ceph:v15                                                                                                                                        mon                         " L/ u! D; |: W
daemonize                       false                                                                                                                                                        override                    0 U/ b$ `: T; w0 W6 J
keyring                         $osd_data/keyring                                                                                                                                            default                     $ I3 n3 v6 J" I
leveldb_log                                                                                                                                                                                  default                     : W& m* ~+ D) I" h: x- J: O" @
log_stderr_prefix               debug                                                                                                                                                        default                       K6 ]) |" n# F6 s% r" u$ g* ^
log_to_file                     false                                                                                                                                                        default                       _# s' M7 _5 ~/ y! N
log_to_stderr                   true                                                                                                                                                         default                     
( e& |/ P' C; y0 K- ~+ Vmon_host                        [v2:192.168.13.170:3300/0,v1:192.168.13.170:6789/0] [v2:192.168.13.171:3300/0,v1:192.168.13.171:6789/0] [v2:192.168.13.172:3300/0,v1:192.168.13.172:6789/0]  file                        
/ {. E2 x1 w* ]( xmon_warn_on_pool_no_redundancy  false                                                                                                                                                        mon                        
+ ?+ F/ j" d& p5 |6 b- [5 n; w5 H5 hno_config_file                  false                                                                                                                                                        override                    
: m7 Z& x' S- E; Sosd_max_backfills               2                                                                                                                                                            override                    
1 K& n) @5 c% l; q- j6 p3 d3 L; Losd_recovery_max_active         6                                                                                                                                                            override                    : U4 C6 i( G2 n, N; Z
rbd_default_features            61                                                                                                                                                           default                     9 B# c. ^7 z; \5 J8 \
setgroup                        ceph                                                                                                                                                         cmdline                     ( R6 o  Y' g% a7 ?& y  V, l1 W$ B
setuser                         ceph                                                                                                                                                         cmdline         
  }" J" N7 p& T8 z, t7 X. {+ O% O8 |- }( d

+ x* Q2 a9 P) i2 ~9 }" g+ t这个只是临时生效。重启集群后失效。

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-9 09:45:47 | 显示全部楼层
ceph mgr module disable pg_autoscaler   关闭

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-9 13:45:11 | 显示全部楼层
ceph config show osd.1 osd_recovery_max_active
& h) U. ]9 A2 i3 @[root@ceph1 ~]# ceph config show osd.1 osd_recovery_max_active
' a) `' K4 t; d# z' m) L: C8 @& G' G( A4
! v+ N) l' X; t

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-10 15:04:01 | 显示全部楼层
To view the current active setting(s), on the node where the the OSD being checked is running execute for example:( e2 d6 S" f/ t5 `# Y
2 G" D, r  ?: R" D
ceph daemon osd.<insert_id> config get osd_max_backfills
+ p* y5 M% b) B8 t; W% D9 {' [- R! ]5 u3 e
To set back to default:4 O" W8 `0 n* R" v; ?) N  `+ l4 M
ceph tell 'osd.*' injectargs --osd-max-backfills=1 --osd-recovery-max-active=3
7 k, B, L) @5 P- L" b! F
+ [+ W* J" Z7 B, [$ r# _) ^; w4 uWith SES 6, "ceph config set" can alternatively be used:
: G9 Z1 B4 p5 K6 G
: D5 P  l; z- l# {8 Q' \) D- A" Lceph config set osd osd_max_backfills 2) a: e0 f+ u/ O& J
ceph config set osd osd_recovery_max_active 3
: W" ]1 V3 c/ d* J& D+ x
2 ?- _$ a: R: o8 |+ ~4 HTo set back to default:
- x6 c, r, B% s: U( D$ c 1 I6 f; |0 g- B# y
ceph config rm osd osd_recovery_max_active
3 _: \, v4 z! p- U: ^ceph config rm osd osd_max_backfills
' _3 \) d% w* P; p; h+ p6 V! M: [
6 R8 U0 E7 }. X' n& k) A/ WTo view the current settings:
, X2 v4 j( k/ F1 ^ / t0 b' n; e# l, H9 A) f* A( ]
ceph config show osd.<insert_id>
8 k% m  W( o' K# M' `' `   y+ v* J( x5 J% x5 K) ]
Recovery can be monitored with "ceph -s".5 B, v- l7 {7 f6 Q
: g+ I# b1 |0 ?$ z$ z* o- _9 {
After increasing the settings, should any OSDs become unstable (restarting) or clients are negatively impacted by the additional recovery overhead then reduce the values or set them back to the defaults.+ d& K' {% x' `; z7 c

6 f9 |" `) v: E. A9 M( \Once the cluster is finished with recovery and back in a HEALTH_OK state, set the values back to default.

0

主题

0

回帖

9

积分

管理员

积分
9
QQ
 楼主| 发表于 2023-1-10 17:16:56 | 显示全部楼层
ceph tell 'osd.*' injectargs --osd-max-backfills=3 --osd-recovery-max-active=9    两者按照1:3的方式匹配
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 22:00 , Processed in 0.015201 second(s), 25 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表