POOL_PG_NUM_NOT_POWER_OF_TWO 1 pool(s) have non-power-of-two pg_num

admin

POOL_PG_NUM_NOT_POWER_OF_TWO 1 pool(s) have non-power-of-two pg_num
0 b( n9 Q4 f# ^    pool 'hdd-8T-volumes' pg_num 1998 is not a power of two

admin

*pgs为64，因为是2副本的配置，所以当有8个osd的时候，每个osd上均分了64/8 2=16个pgs,也就是出现了如上的错误 小于最小配置30个

admin

ceph pg dump
4 Y4 z9 i0 T' Uversion 1765170
, _3 W( A2 n* N  F8 D2 @2 Fstamp 2022-06-01 15:03:44.763524
last_osdmap_epoch 0
9 T0 C' ^6 N# hlast_pg_scan 0
PG_STAT OBJECTS MISSING_ON_PRIMARY DEGRADED MISPLACED UNFOUND BYTES      OMAP_BYTES* OMAP_KEYS* LOG  DISK_LOG STATE                         STATE_STAMP                VERSION       REPORTED       UP      UP_PRIMARY ACTING  ACTING_PRIMARY LAST_SCRUB    SCRUB_STAMP                LAST_DEEP_SCRUB DEEP_SCRUB_STAMP           SNAPTRIMQ_LEN
, m- X, f5 W7 W2 q2 x# t- Q& K11.707      565                  0        0         0       0 2352037888         129          9 3553     3553                  active+clean 2022-06-01 13:50:56.036510  6975'1003301   6979:5303817 [19,30]         19 [19,30]             19   5646'988376 2022-05-31 19:39:44.514733     5641'924297 2022-05-29 01:07:42.814102             0
( U4 D; i6 i1 v$ n, G, c11.706      540                  0        0         0       0 2247659538           0          0 3681     3681                  active+clean 2022-06-01 13:50:55.656551   6971'498069   6979:1349902 [23,30]         23 [23,30]             23   5646'490912 2022-06-01 05:10:22.249896     5646'490912 2022-06-01 05:10:22.249896             0
* i, p8 e+ l2 M7 i' y3 a11.705      543                  0        0         0       0 2253346825           0          0 3618     3618                  active+clean 2022-06-01 13:51:02.905785   6975'567441   6979:1089443 [28,19]         28 [28,19]             28   5646'541859 2022-05-31 15:49:53.861271     5646'541859 2022-05-31 15:49:53.861271             0
1 H& g  K; G3 {% o5 I$ Q/ t11.704      529                  0        0         0       0 2206302208           0          0 3617     3617                  active+clean 2022-06-01 13:50:56.229366  6980'2482736   6980:2502435 [25,26]         25 [25,26]             25  5646'2417945 2022-05-31 20:26:39.154274    5641'2179835 2022-05-29 01:50:34.488740             0
11.703      535                  0        0         0       0 2226425856           0          0 3275     3275                  active+clean 2022-06-01 13:50:56.495111   6975'640962    6979:837072 [22,15]         22 [22,15]             22   5645'572517 2022-05-31 09:34:20.003323     5641'543726 2022-05-29 22:30:35.200783             0
11.702      530                  0        0         0       0 2213830656           0          0 3042     3042                  active+clean 2022-06-01 13:50:55.244651  6980'2125742   6980:2148550 [26,17]         26 [26,17]             26  5646'2074880 2022-06-01 03:17:32.402047    5641'1799433 2022-05-29 15:56:28.693544             0
6 d5 z; m) E- Z8 D" {4 u  F$ W11.701      537                  0        0         0       0 2236018688           0          0 3034     3034                  active+clean 2022-06-01 13:50:55.649399   6975'433678    6979:493391 [15,30]         15 [15,30]             15   5899'430001 2022-06-01 13:43:33.184527     5631'287651 2022-05-26 10:58:58.467872             0
11.700      557                  0        0         0       0 2323128320           0          0 3183     3183                  active+clean 2022-06-01 13:50:56.539878   6980'952801    6980:978009 [19,24]         19 [19,24]             19   5646'925119 2022-06-01 00:12:38.120802     5641'824465 2022-05-29 18:59:31.211162             0
2 p2 c* G4 v: d6 y' q11.6ff      529                  0        0         0       0 2208663552           0          0 3466     3466                  active+clean 2022-06-01 13:50:55.986988   6973'480985    6979:734557 [24,29]         24 [24,29]             24   5646'462045 2022-05-31 14:11:18.036212     5633'321079 2022-05-26 14:50:55.449167             0
11.6fe      547                  0        0         0       0 2277564416           0          0 3636     3636                  active+clean 2022-06-01 13:50:55.292607   6980'746853    6980:772710 [16,19]         16 [16,19]             16   5646'739069 2022-06-01 06:38:11.261440     5646'739069 2022-06-01 06:38:11.261440             0
11.6fd      538                  0        0         0       0 2241312768         103          9 4445     4445                  active+clean 2022-06-01 13:51:05.731263  6975'1055040   6980:4159540 [21,28]         21 [21,28]             21  5646'1030455 2022-05-31 13:25:03.642497     5641'981254 2022-05-28 23:32:07.447816             0
2 `" j& A% K: t1 U0 x# f# L4 Q: W11.6fc      551                  0        0         0       0 2298370048           0          0 3396     3396                  active+clean 2022-06-01 13:50:54.655918   6980'453209    6980:582916 [29,20]         29 [29,20]             29   5812'449700 2022-06-01 10:00:15.170529     5628'298940 2022-05-26 03:28:00.270068             0
11.6fb      565                  0        0         0       0 2348988416           0          0 3100     3100                  active+clean 2022-06-01 13:50:55.227034   6976'662735    6979:701211 [30,16]         30 [30,16]             30   5646'645776 2022-05-31 17:13:35.999562     5645'624502 2022-05-30 14:07:48.197255             0
# T. p3 b  [3 {( V9 |) [11.6fa      551                  0        0         0       0 2289412096          38          4 3956     3956                  active+clean 2022-06-01 13:50:55.510160  6975'1018477   6980:2458087 [29,16]         29 [29,16]             29  5646'1011235 2022-06-01 07:39:30.769316    5646'1011235 2022-06-01 07:39:30.769316             0
11.6f9      536                  0        0         0       0 2223634944          38          4 3782     3782                  active+clean 2022-06-01 13:50:56.671297   6980'645514   6980:2230236 [22,18]         22 [22,18]             22   5645'616258 2022-05-31 09:20:04.984695     5623'516864 2022-05-24 23:55:49.505979             0
11.6f8      533                  0        0         0       0 2225010697           0          0 3082     3082                  active+clean 2022-06-01 13:50:55.343119  6980'3079623   6980:3494654 [18,31]         18 [18,31]             18  5646'3061334 2022-06-01 08:34:50.685997    5641'2740582 2022-05-28 20:54:58.793261             0
11.6f7      562                  0        0         0       0 2348101632           0          0 3767     3767                  active+clean 2022-06-01 13:51:03.432581   6978'823391    6979:851557 [28,19]   
7 A' w, j1 K1 y* b' e3 {
sum 1237725 0 0 124332 0 5204815326611 53577 3191 9521026 9521026
! K! F+ P" r  z* m% a1 M  P$ o0 x0 qOSD_STAT USED    AVAIL   USED_RAW TOTAL   HB_PEERS                                                    PG_SUM PRIMARY_PG_SUM
31       485 GiB 6.8 TiB  486 GiB 7.3 TiB   [0,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30]    245            117
% z8 R: D8 j9 D! p% E- n3 J30       463 GiB 6.8 TiB  464 GiB 7.3 TiB    [2,9,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,31]    249            111
29       477 GiB 6.8 TiB  478 GiB 7.3 TiB  [1,6,7,10,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,30]    242            125
28       652 GiB 6.6 TiB  654 GiB 7.3 TiB    [7,8,14,15,16,17,18,19,20,21,22,23,24,25,26,27,29,30,31]    315            147
27       550 GiB 6.7 TiB  551 GiB 7.3 TiB      [7,14,15,16,17,18,19,20,21,22,23,24,25,26,28,29,30,31]    278            148
26       441 GiB 6.8 TiB  442 GiB 7.3 TiB     [10,14,15,16,17,18,19,20,21,22,23,24,25,27,28,29,30,31]    232            109
25       473 GiB 6.8 TiB  475 GiB 7.3 TiB         [8,14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    246            134
0 M. I2 d. u$ k0 p24       515 GiB 6.8 TiB  517 GiB 7.3 TiB   [0,11,14,15,16,17,18,19,20,21,22,23,25,26,27,28,29,30,31]    263            138
& L2 O9 U7 `. w8 ^$ c9 z23       528 GiB 6.8 TiB  529 GiB 7.3 TiB           [14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    268            115
# b' E7 _) E) B6 t: G* m22       461 GiB 6.8 TiB  462 GiB 7.3 TiB    [0,6,14,15,16,17,18,19,20,21,23,24,25,26,27,28,29,30,31]    229            101
9        148 GiB 410 GiB  149 GiB 559 GiB                                 [5,6,7,8,10,11,17,21,23,26]    337            155
8         42 MiB 446 GiB  1.0 GiB 447 GiB                               [7,9,10,11,16,19,20,25,28,31]      0              0
7         42 MiB 446 GiB  1.0 GiB 447 GiB                                 [3,6,8,9,10,18,22,24,27,30]      0              0
) S0 C& I8 J8 d! l! p6         42 MiB 446 GiB  1.0 GiB 447 GiB                                 [0,4,5,7,14,17,21,23,26,29]      0              0
3 n5 q- K( G+ A" l  T5         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,3,4,6,11,19,25,28]     46             28
0 x' d0 p1 X6 o3 E! X- B4         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,3,5,7,13,18,27,30]     44             20
/ Q1 G) t2 k0 X# l( C& J2 t4 O0         42 MiB 893 GiB  1.0 GiB 894 GiB                                  [1,2,3,4,5,12,17,21,26,31]     42             21
1         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,2,3,4,5,9,11,13,24,30]     33             15
2         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,3,4,5,8,19,25,28,31]     33             16
3         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,4,5,8,10,11,23,29]     58             28
10       154 GiB 404 GiB  155 GiB 559 GiB                                [4,8,9,11,15,18,22,24,27,30]    352            177
11       147 GiB 411 GiB  148 GiB 559 GiB                                [3,7,9,10,12,19,20,25,28,31]    335            180
# \5 K! |4 }% ]" F; e+ d% ?4 k12       104 GiB 2.1 TiB  105 GiB 2.2 TiB                                [0,2,8,11,13,17,21,23,26,29]    512            259
13       104 GiB 2.1 TiB  105 GiB 2.2 TiB                              [8,11,12,14,16,18,22,24,27,30]    512            253
; {/ L0 h6 t, A' L  l  r' ]7 p: Y14       526 GiB 6.8 TiB  527 GiB 7.3 TiB [6,9,13,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    255            133
& U  n9 \( L6 o8 L15       477 GiB 6.8 TiB  478 GiB 7.3 TiB     [11,14,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    251            124
16       479 GiB 6.8 TiB  480 GiB 7.3 TiB      [6,14,15,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    259            149
! ?/ }2 u* q6 P% ~" X17       424 GiB 6.9 TiB  426 GiB 7.3 TiB       [7,9,14,15,16,18,20,21,22,23,24,25,26,27,28,29,30,31]    244            119
  t* t) u) R( ~  p9 l18       477 GiB 6.8 TiB  478 GiB 7.3 TiB      [4,14,15,16,17,19,20,21,22,23,24,25,26,27,28,29,30,31]    249            111
, Y. |! i  O  A& W8 w) P19       519 GiB 6.8 TiB  521 GiB 7.3 TiB [3,6,13,14,15,16,17,18,20,21,22,23,24,25,26,27,28,29,30,31]    262            145
' H# e, l( L; H20       563 GiB 6.7 TiB  564 GiB 7.3 TiB     [11,14,15,16,17,18,19,21,22,23,24,25,26,27,28,29,30,31]    276            147
21       542 GiB 6.7 TiB  544 GiB 7.3 TiB   [3,11,14,15,16,17,18,19,20,22,23,24,25,26,27,28,29,30,31]    261            139
sum      9.5 TiB 134 TiB  9.5 TiB 144 TiB                                                                                   
  `  ^) h& d* [% l" Q
- {: [5 s% _* T5 b* NOTE: Omap statistics are gathered during deep scrub and may be inaccurate soon afterwards depending on utilisation. See http://docs.ceph.com/docs/master ... up/#omap-statistics for further details.

admin

If you have more than 50 OSDs, we recommend approximately 50-100 placement groups per OSD to balance out resource usage, data durability and distribution. If you have less than 50 OSDs, choosing among the preselection above is best. For a single pool of objects, you can use the following formula to get a baseline:
+ h  Y" L5 I7 \3 y
             (OSDs * 100)
" `3 z) X; l7 I1 K! zTotal PGs =  ------------
- l6 t1 B9 C% p) {+ p              pool size
$ Y. k) ^, o5 T* T! v' P/ uWhere pool size is either the number of replicas for replicated pools or the K+M sum for erasure coded pools (as returned by ceph osd erasure-code-profile get).

admin

解决办法就是设置为1024的倍数。之类的。过了1024就需要设置成1024的倍数，比如 2以后4 ，4过后8 ，8变成16个pg，16 pg到32pg ，32pg到64pg ，64>128 , 128>256, 256>512,  512>1024,  1024>2048