ceph临时调整osd full的阀值以及weigh的值

admin

临时调整osd full的阈值，然后删除不需要的rbd磁盘

ceph tell osd.* injectargs '--mon-osd-full-ratio 0.98'

调整每个osd的weigh值，使数据重新分布# ceph osd crush reweight osd.10 1.05
% r' j; ^4 c% C

# N$ v6 [5 v) T4 W7 ireweighted item id 10 name 'osd.10' to 1.05 in crush map

* X+ v8 V7 t* |1 R5 p7 Y* j+ P. o
osd缺省的weight值为1，调整以后数据会向weigh值高的osd上重新分布，把一些比较空闲的osd weight值调高，接收数据,使用率高的osd weight调低，释放数据


ceph中各osd的pg数量是近似均匀的，可以认为各pg下的数据容量大致相等，因此从原理上来说保证各osd pg相等，则各osd上的磁盘使用量也差不多相同，但是由于算法做不到绝对均匀的原因某些osd上的pg数会相差比较大，这样某些osd上的空间使用量就会比较多。建议是ceph部署完成，各pool也创建完成后，主动手工观察，通过命令调整osd的权重来调整osd上的pg数；
8 e& s8 A+ Q4 ]. E
3 v2 M- U  C5 I! W统计各osd上所有pg数：
ceph pg dump | awk '
# U+ h  s7 H4 m7 c8 P /^pg_stat/ { col=1; while($col!="up") {col++}; col++ }
/^[0-9a-f]+\.[0-9a-f]+/ { match($0,/^[0-9a-f]+/); pool=substr($0, RSTART, RLENGTH); poollist[pool]=0;
up=$col; i=0; RSTART=0; RLENGTH=0; delete osds; while(match(up,/[0-9]+/)>0) { osds[++i]=substr(up,RSTART,RLENGTH); up = substr(up, RSTART+RLENGTH) }
for(i in osds) {array[osds,pool]++; osdlist[osds];}
2 d! h- J$ c2 _+ T! B9 K" Z}
END {
printf("\n");
printf("pool :\t"); for (i in poollist) printf("%s\t",i); printf("| SUM \n");
7 `8 K2 i6 U3 Y. X for (i in poollist) printf("--------"); printf("----------------\n");
for (i in osdlist) { printf("osd.%i\t", i); sum=0;
' I8 Y+ ?3 a# k9 A for (j in poollist) { printf("%i\t", array[i,j]); sum+=array[i,j]; poollist[j]+=array[i,j] }; printf("| %i\n",sum) }
for (i in poollist) printf("--------"); printf("----------------\n");
4 _3 h8 r$ r( N' v& z) W printf("SUM :\t"); for (i in poollist) printf("%s\t",poollist); printf("|\n");
}'
+ `9 N: d2 z1 ]+ N
! p/ \/ R% s3 g% [
0 l' E' c( E* u; K. @4 Z上面这个是获取各osd所有pool的pg数，其实我们只关注default.rgw.buckets.data这个pool，其他pool数据很少，我们通过ceph df知道default.rgw.buckets.data的pool id是23，通过一个更简单命令得到23号pool在各osd上的pg数排序：

- ~. _, J0 X0 J! L: Q) K: pceph pg dump|grep '^23\.'|awk -F ' ' '{print $1, $15}'|awk -F "[ ]|[[]|[,]|[]]" '{print $3, $4}'|tr -s ' ' '\n'|sort|uniq -c|sort -n
" q  ^; ^. ^/ C+ T7 h9 B
4 h  W- p* ~5 `3 ?( S输出如下：

     95 1
     95 312
5 k  M! G2 ]4 |% L' l3 {     96 252
2 ~6 O: Y1 e* V9 I/ c( G     99 177
     99 265
     99 62
    101 121
    101 261

( I3 v6 O8 [) v2 j+ K......

" f. i+ S( [" t    132 102
5 z0 j4 i' _2 u3 B1 A1 a8 w    132 105
    132 179
    132 253
    132 256
8 W9 O2 T# }2 `! A- b6 \: A+ o0 v    133 111
    133 115
    133 151
    133 203
    133 259
    133 271
! C. ^) H, K# v7 O    133 292
    134 257
( Y. C& C6 y0 z* e$ l8 ]4 A5 b    134 302
/ q) M( e. S) ~' m    134 61
    135 220
' s  c+ e3 h) W
可以看到最少的osd.1上面只有95个pg，最多的osd.220上有135个pg，调整pg的命令：

ceph osd reweight-by-pg 105 default.rgw.buckets.data

注：105这个数字貌似不起作用，ceph内部会自己调整

, ^1 o: }! C3 i  _4 d

由于每次手动观察比较麻烦，可以通过计算每次调整后的个osd上pg数的方差来判断效果，如果每次反差在减小，说明分布相对更均匀一些：
" |. D( A# r7 D
* a1 d  v) U. W0 C3 C7 D6 Oceph pg dump|grep '^23\.'|awk -F ' ' '{print $1, $15}'|awk -F "[ ]|[[]|[,]|[]]" '{print $3, $4}'|tr -s ' ' '\n'|sort|uniq -c|sort -r|awk '{printf("%s\n", $1)}'|awk '{x[NR]=$0;s+=$0;n++} END{a=s/n;for(i in x) {ss += (x-a)^2} sd = sqrt(ss/n); print "SD = "sd}'
dumped all in format plain
/ a- h* H& _, p, T( R0 F0 qSD = 8.71607


: x: Q; l/ u; M8 o4 T+ [) z9 f2 g0 [

  L7 q) ~5 o! \5 C; \7 H$ O

CEPH 数据不一致时，需要对ceph pg的数据进行平衡

1:检查数据分布是否均衡

6 F3 z. Y% h* k8 _#查看osd使用情况
4 a. L) i8 M! v' G: }0 Z0 Q& i  O
, |4 s1 W) m! R( `& I3 g# ]# ceph osd df tree
7 ]* Z, ?- ~0 ^* x! K3 c
#查看osd_num,PGS, %USE

# ceph osd df tree | awk '/osd\./{print $NF" "$(NF-1)" "$(NF-3) }'
" E( R  \1 b. x" y+ i
osd.0 up 0.92
* T, c1 N  ^) m: n; @# C+ I& {+ g  A
# M4 e4 a# a- Aosd.3 up 1.02
' a4 U* M1 P! x" K; U9 X( b  U, s  h
/ C  w) j& J8 T8 R* n6 Z6 i. T6 iosd.1 up 0.90
  x( M% n& W$ j$ I$ P
osd.4 up 1.23

osd.2 up 0.95

osd.5 up 1.03
; \6 X$ f' |! Z! c  P4 A: e
#
. ?7 x/ }; P# N6 Q8 F1 f
5 R3 X0 {0 d0 m( j# y- p2：reweight-by-pg 按归置组分布情况调整 OSD 的权重

# ceph osd reweight-by-pg
8 I5 k* z( I6 |6 n( q+ P

5 z( W9 k! W; x
EX:

    $ceph osd reweight-by-pg
    moved 35 / 4032 (0.868056%)                                         #35个PG发送迁移
0 u8 x' w+ u% ~# m# j5 {8 o    avg 115.2                                                           #每个OSD承载的平均PG数目为115.2
7 ]& r/ X% p4 `( h  Y9 D1 F    stddev 10.378 -> 9.47418 (expected baseline 10.5787)             #执行本次调整后， 标准方差将由10.378变为9.47418
# R/ g( A0 O; G0 H$ E2 @! ~; g    min osd.15 with 93 -> 92 pgs (0.807292 -> 0.798611 * mean)            #当前负载最轻的OSD为osd.15，只承载了93个PG, 执行本次调整后，将承载92个PG
. Q$ f# C) _: `( T    max osd.6 with 141 -> 132 pgs (1.22396 -> 1.14583 * mean)         #当前负载最重的OSD为osd.6, 承载了141个PG, 执行本次调整后，讲承载132个PG
    oload 120
: u( F+ ]% J  i9 f" X% N5 ?    max_change 0.05
2 u1 |0 w, L. D, U6 P5 s7 ~/ V    max_change_osds 4
7 D7 f0 f) e8 `/ G$ r) G9 X    average_utilization 21.1365
    overload_utilization 25.3638
    osd.6 weight 1.0000 -> 0.9500                                        #执行本次调整后，对osd.6,osd.23,osd.7,osd.27的reweight进行调整
    osd.23 weight 0.8500 -> 0.9000
    osd.7 weight 0.9000 -> 0.9500
& _! a4 ?( W( N2 h$ n; z    osd.27 weight 0.8500 -> 0.9000
( ?* K0 V1 A: X
. w9 T+ H; C/ S% k4 p& i! X

3： reweight-by-utilization 按利用率调整 OSD 的权重
( {. n) k+ E4 R2 {
$ T. g. p* k( [
) D3 Y: L! h7 Y# O( L
2 N8 p0 X! h6 Q! @2 C) I# ceph osd reweight-by-utilization

moved 10 / 843 (1.18624%)                                                                #10个PG发送迁移
9 @* ?7 I( ?7 q$ Q6 f4 |" s$ Q
avg 140.5                                                                                             #每个OSD承载的平均PG数目为140.5
! U) g* C1 e; ]3 {' o: Z
/ a; q- u$ d+ [+ [; |( t7 \' g* \: ustddev 8.69387 -> 12.339 (expected baseline 10.8205)                       #执行本次调整后， 标准方差将由8.69387 变为12.339
) `  B) c$ i. K: `3 l
min osd.3 with 127 -> 127 pgs (0.903915 -> 0.903915 * mean)  #负载最轻的OSD为osd.3，只承载了127个PG, 执行本次调整后，将承载127

max osd.0 with 154 -> 154 pgs (1.09609 -> 1.09609 * mean) #负载最重的OSD为osd.0, 承载了154个PG, 执行本次调整后，讲承载154个PG
, ^( p8 S2 ~: I5 ~! ~1 r1 o6 T


  E& b7 n# Q( O) X- Hoload 120

4 V  ?. v. o7 r8 E% wmax_change 0.05

max_change_osds 4

average_utilization 0.0904

overload_utilization 0.1084
) @  Y1 J7 X! M3 L1 C( p
, m, A9 n. E9 B0 r/ x2 o) Fosd.4 weight 0.9500 -> 0.9000

4 L# L: E- C3 e$ L检查数据的平衡状态:
& U/ t2 f$ j, A2 t; v
# ceph -s



4： 数据均衡后还原权重
1 [; r0 p8 A" C( M0 v
#统计osd_num, REWEIGHT

8 Q; n, G% Q: x9 Q[root@node-10 ~]# ceph osd df tree | awk '/osd\./{print $NF" "$4 }'

osd.0 1.00000
# M& e( q# s; A9 H4 z' `2 P
3 w! R* U/ ~6 C9 q4 n7 ~4 @osd.3 1.00000

% T" h' J) u& o2 Sosd.1 1.00000

6 b- f/ [+ i) p0 j% @% P7 @6 [osd.4 0.90002

osd.2 1.00000
1 q# ~7 ~- Y  K7 z3 ?) _* g0 c
; r( R4 A* ~5 v" Kosd.5 1.00000

' q/ n+ V$ V# ]" f: _3 Q& J7 `[root@node-10 ~]#
9 o/ g$ c/ k6 n+ E7 q; U  }  w7 V


#依次设置osd权重为默认值，1.0

9 I/ R8 k' T( F" }$ o#ceph osd reweight {id} {weight}
2 _* n/ d5 L9 Q) G( t: d
#说明：osd weight的取值为0~1



, Z- D8 t- s# ^$ ceph osd reweight 5 1.0
$ d. h, h; x8 x; `6 z. F
# V: f- e/ X  c, c
" ?8 w! w, B8 O/ `) F& ]通过ceph osd tree 可以查看到 weight 和reweight的值


1 b. {- d" A# {! x1 o. }5 e

admin

1）粗略统计（注：本方法只针对于2副本；gc会影响统计结果；对于一个pg，可能多个副本发生迁移，一个pg上的数据量没有乘以迁移的副本数，导致结果不准确）

步骤：

①统计数据迁移前pg的分布

  Y' }$ G$ \, s4 m% Oceph pg dump pgs|awk '{print $1,$2,$7,$15}' |sort >>/root/oldpg  #这里记录的分别是，pg名，object数，pg上的数据量，以及pg的acting osd。
, C7 Y9 q, C9 ?1 ^( Y9 V2 j+ ]! W
②统计数据迁移后pg的分布

ceph pg dump pgs|awk '{print $1,$2,$7,$15}' |sort >>/root/newpg
# A% E& Z) Y& V4 J  `5 i" ^" v. t8 d
+ m( u3 E- ?8 q, u) a③对比前后pg变化
. ^1 T( G! b0 [/ o
vimdiff  /root/oldpg /root/newpg #查看是否有pg上的数据量发生变化或者一个pg是否只有一个副本发生位置变化
1 ^% [7 J3 t9 h# t8 D/ [* |8 x
③计算迁移量

% ~3 ?/ p1 r( s) a- n! Rdiff -y /root/oldpg /root/newpg --suppress-common-lines|awk 'BEGIN{sum=0}{sum+=$3}END{print sum}' 来进行统计,这里的单位是字节

（2）相对精确的统计

& N# n% E; t" `9 h% V$ o9 A6 s理论①：对于一个pg，可能多个副本发生迁移，一个pg上的数据量乘以迁移的副本数可得到准确结果。

. x! W. n$ X; Q: _& O

admin

开始操作及注意事项
建议每次调整一个osd ，等同步完成后再进行下一个，下面会说调整如何查看
$ y/ o# b, a1 H. F8 f1 ?6 T
查看使用率
凡是%user达到85的都需要调整
ceph osd df |sort -nk 7
" r* J/ E! o' M; r
: C/ T+ n7 s7 w# o- c* E& k调整权重及调整后查看
格式：ceph osd reweight osdID REWEIGHT（osdid和reweight用ceph osd df查看）
如：调整上图调整osdid为1的优先级为0.85 ：ceph osd reweight 1 0.85

注：这个REWEIGHT值 越低 表示优先级越低 也就是说数据会优先往REWEIGHT的上面写，默认是1.
+ o2 r1 S7 t- F& l3 r
调整完毕以后 使用ceph –s 查看 会有一个数据同步进度 等进度完成以后再调整下一个

, z' I, E" L2 F/ p' \  Y
5 o$ a! B! R4 o& d: j8 L2 b8 U使用率达到85%不调整的影响
% Q' v. q' K. e$ [; k3 T1 T; B( ^刚开始说了 osd使用率达到85以后 数据会停止或者极少量写入，现在来详细说明，首先查看 remapped （重映射） ，具体看图
ceph pg dump | grep remapped

/ }% T" q7 b8 M9 f) C* t& K

admin

3. 处理故障的pg

从ceph的状态中，可以看到，有一部分的pg处于stale/down/peering等状态，这部分异常的pg不能提供对外提供服务，影响了业务的可用性，通过ceph health detail找到这部分异常的pg，发现其中有一些pg的upset中都没有映射到osd，或者三副本只选出来2个osd，没有选出来第3个osd，下面是当时故障的pg的状态：

这个现象很有可能是权重不平衡导致的，关于权重在0.94.7版本的ceph中，有两个参数，一个是weight，一个是reweight，weight会参与crush算法，计算出要落位osd，然后reweight是在此基础上再去决定是否选择此osd，但是reweight不会参与crush算法，crush算法本质上是一个概率算法，因此当权重相差悬殊的时候，很有可能选不出来osd，客户环境中部分osd的reweight设置成了0.09，有将近一半的osd都将reweight设置成了小于1的值，这就有可能导致pg出现异常，从而选不出osd。因此尝试将故障pg对应的osd的reweight重置为1：

3 y) i4 w& Y4 ?! {7 h- q[url=][/url]

1 , T7 i' _  ]; y2 3

ceph health detail | grep stale 2 j5 I- q$ L+ e& [: R  k; eceph pg <pgid> query ceph osd reweight <id> 1 ; k; S+ k; C/ m" Q5 g

置为1之后，观察到该pg重新映射出了osd，并且消除了stale状态，恢复了服务。因为reweight的不确定性，我们调整权重，一般不调整reweight，让它始终保持为1，在L版之前的ceph中，需要通过调整weight值进行数据平衡，L版之后新增了weight-set功能，可以更有效的去平衡数据。

此时，可以将所有reweight不为1的osd重置为1:

[url=][/url]
1 ]0 Z- v7 c7 ~; g

1	for i in `cat reweight_osds.txt`; do setsid ceph osd reweight $i 1; done 8 M3 U' W* J# l& s/ k+ B. J% t! r

( \: g9 n! B/ H5 ~5 Y9 V6 M

重置为1之后，stale的pg全部恢复了正常，业务也恢复了正常。

4. 数据重平衡

后续需要做的操作就是继续平衡数据，但是要保持各个osd-domain的权重值大小一致，然后可以微调osd的weight值，将一个osd-domain中高使用率的调低，同时也要将另一个osd-domain中低使用率的调高，平衡数据，直到各个osd的使用率趋于均衡。

5. 恢复mon服务

等待数据平衡完成之后，压缩61 62的mon服务，然后启动，再将63加进集群。

至此故障处理完成，所以最终总结一下，引起该故障的本质原因，在于调整数据均衡的方式不对，权重调整的幅度过于大，不同osd之间的权重相差悬殊，导致pg出现了问题，进而引发了后续的一系列问题。因此，关于权重值需要关注以下几点：

• 保持各个bucket的故障域的权重是相等的，bucket里面的osd权重值可以不一致，但是osd上的权重值得保持相等，扩容/缩容，都需要考虑这个问题
• weight不要设置过大与过小，需要跟它的实际容量保持一致
• 尽量不调整reweight值，即使调整，也是微调
  # K4 s  p6 \4 I0 k& w, i/ }

) I5 @& n2 c7 m$ d