POOL_PG_NUM_NOT_POWER_OF_TWO 1 pool(s) have non-power-of-two pg_num

admin

POOL_PG_NUM_NOT_POWER_OF_TWO 1 pool(s) have non-power-of-two pg_num
: u  Y. W- K3 F% z% `    pool 'hdd-8T-volumes' pg_num 1998 is not a power of two
  n4 {2 g# G. v5 M

admin

*pgs为64，因为是2副本的配置，所以当有8个osd的时候，每个osd上均分了64/8 2=16个pgs,也就是出现了如上的错误 小于最小配置30个

admin

ceph pg dump
/ |3 ?9 I* C9 ?version 1765170
% c1 U, d& D, J2 K7 y- N  jstamp 2022-06-01 15:03:44.763524
last_osdmap_epoch 0
( H/ I* f) b+ _  U' vlast_pg_scan 0
PG_STAT OBJECTS MISSING_ON_PRIMARY DEGRADED MISPLACED UNFOUND BYTES      OMAP_BYTES* OMAP_KEYS* LOG  DISK_LOG STATE                         STATE_STAMP                VERSION       REPORTED       UP      UP_PRIMARY ACTING  ACTING_PRIMARY LAST_SCRUB    SCRUB_STAMP                LAST_DEEP_SCRUB DEEP_SCRUB_STAMP           SNAPTRIMQ_LEN
11.707      565                  0        0         0       0 2352037888         129          9 3553     3553                  active+clean 2022-06-01 13:50:56.036510  6975'1003301   6979:5303817 [19,30]         19 [19,30]             19   5646'988376 2022-05-31 19:39:44.514733     5641'924297 2022-05-29 01:07:42.814102             0
11.706      540                  0        0         0       0 2247659538           0          0 3681     3681                  active+clean 2022-06-01 13:50:55.656551   6971'498069   6979:1349902 [23,30]         23 [23,30]             23   5646'490912 2022-06-01 05:10:22.249896     5646'490912 2022-06-01 05:10:22.249896             0
  p! _5 P  J+ i  f11.705      543                  0        0         0       0 2253346825           0          0 3618     3618                  active+clean 2022-06-01 13:51:02.905785   6975'567441   6979:1089443 [28,19]         28 [28,19]             28   5646'541859 2022-05-31 15:49:53.861271     5646'541859 2022-05-31 15:49:53.861271             0
# j$ \5 K: _+ P4 }11.704      529                  0        0         0       0 2206302208           0          0 3617     3617                  active+clean 2022-06-01 13:50:56.229366  6980'2482736   6980:2502435 [25,26]         25 [25,26]             25  5646'2417945 2022-05-31 20:26:39.154274    5641'2179835 2022-05-29 01:50:34.488740             0
11.703      535                  0        0         0       0 2226425856           0          0 3275     3275                  active+clean 2022-06-01 13:50:56.495111   6975'640962    6979:837072 [22,15]         22 [22,15]             22   5645'572517 2022-05-31 09:34:20.003323     5641'543726 2022-05-29 22:30:35.200783             0
11.702      530                  0        0         0       0 2213830656           0          0 3042     3042                  active+clean 2022-06-01 13:50:55.244651  6980'2125742   6980:2148550 [26,17]         26 [26,17]             26  5646'2074880 2022-06-01 03:17:32.402047    5641'1799433 2022-05-29 15:56:28.693544             0
11.701      537                  0        0         0       0 2236018688           0          0 3034     3034                  active+clean 2022-06-01 13:50:55.649399   6975'433678    6979:493391 [15,30]         15 [15,30]             15   5899'430001 2022-06-01 13:43:33.184527     5631'287651 2022-05-26 10:58:58.467872             0
: a" T- M- j' W0 C, ~11.700      557                  0        0         0       0 2323128320           0          0 3183     3183                  active+clean 2022-06-01 13:50:56.539878   6980'952801    6980:978009 [19,24]         19 [19,24]             19   5646'925119 2022-06-01 00:12:38.120802     5641'824465 2022-05-29 18:59:31.211162             0
11.6ff      529                  0        0         0       0 2208663552           0          0 3466     3466                  active+clean 2022-06-01 13:50:55.986988   6973'480985    6979:734557 [24,29]         24 [24,29]             24   5646'462045 2022-05-31 14:11:18.036212     5633'321079 2022-05-26 14:50:55.449167             0
11.6fe      547                  0        0         0       0 2277564416           0          0 3636     3636                  active+clean 2022-06-01 13:50:55.292607   6980'746853    6980:772710 [16,19]         16 [16,19]             16   5646'739069 2022-06-01 06:38:11.261440     5646'739069 2022-06-01 06:38:11.261440             0
' @, G9 A6 O, c* m" F11.6fd      538                  0        0         0       0 2241312768         103          9 4445     4445                  active+clean 2022-06-01 13:51:05.731263  6975'1055040   6980:4159540 [21,28]         21 [21,28]             21  5646'1030455 2022-05-31 13:25:03.642497     5641'981254 2022-05-28 23:32:07.447816             0
11.6fc      551                  0        0         0       0 2298370048           0          0 3396     3396                  active+clean 2022-06-01 13:50:54.655918   6980'453209    6980:582916 [29,20]         29 [29,20]             29   5812'449700 2022-06-01 10:00:15.170529     5628'298940 2022-05-26 03:28:00.270068             0
11.6fb      565                  0        0         0       0 2348988416           0          0 3100     3100                  active+clean 2022-06-01 13:50:55.227034   6976'662735    6979:701211 [30,16]         30 [30,16]             30   5646'645776 2022-05-31 17:13:35.999562     5645'624502 2022-05-30 14:07:48.197255             0
11.6fa      551                  0        0         0       0 2289412096          38          4 3956     3956                  active+clean 2022-06-01 13:50:55.510160  6975'1018477   6980:2458087 [29,16]         29 [29,16]             29  5646'1011235 2022-06-01 07:39:30.769316    5646'1011235 2022-06-01 07:39:30.769316             0
. f6 q' B4 n$ f2 x, J7 b11.6f9      536                  0        0         0       0 2223634944          38          4 3782     3782                  active+clean 2022-06-01 13:50:56.671297   6980'645514   6980:2230236 [22,18]         22 [22,18]             22   5645'616258 2022-05-31 09:20:04.984695     5623'516864 2022-05-24 23:55:49.505979             0
11.6f8      533                  0        0         0       0 2225010697           0          0 3082     3082                  active+clean 2022-06-01 13:50:55.343119  6980'3079623   6980:3494654 [18,31]         18 [18,31]             18  5646'3061334 2022-06-01 08:34:50.685997    5641'2740582 2022-05-28 20:54:58.793261             0
5 y$ a# Z+ v7 ]) t& r11.6f7      562                  0        0         0       0 2348101632           0          0 3767     3767                  active+clean 2022-06-01 13:51:03.432581   6978'823391    6979:851557 [28,19]   

3 B+ d& w! x) j8 U/ h; {. f- Fsum 1237725 0 0 124332 0 5204815326611 53577 3191 9521026 9521026
" q0 S6 J0 f0 |, NOSD_STAT USED    AVAIL   USED_RAW TOTAL   HB_PEERS                                                    PG_SUM PRIMARY_PG_SUM
31       485 GiB 6.8 TiB  486 GiB 7.3 TiB   [0,13,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30]    245            117
30       463 GiB 6.8 TiB  464 GiB 7.3 TiB    [2,9,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,31]    249            111
% A: A1 L0 }1 M$ ~! O/ J/ U29       477 GiB 6.8 TiB  478 GiB 7.3 TiB  [1,6,7,10,14,15,16,17,18,19,20,21,22,23,24,25,26,27,28,30]    242            125
28       652 GiB 6.6 TiB  654 GiB 7.3 TiB    [7,8,14,15,16,17,18,19,20,21,22,23,24,25,26,27,29,30,31]    315            147
27       550 GiB 6.7 TiB  551 GiB 7.3 TiB      [7,14,15,16,17,18,19,20,21,22,23,24,25,26,28,29,30,31]    278            148
: `! e% F. s8 m7 `% n26       441 GiB 6.8 TiB  442 GiB 7.3 TiB     [10,14,15,16,17,18,19,20,21,22,23,24,25,27,28,29,30,31]    232            109
" s! C2 ?0 e, L  h, a9 x- m3 e' j25       473 GiB 6.8 TiB  475 GiB 7.3 TiB         [8,14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    246            134
7 X8 `! b* s2 ^4 b: [9 `9 x24       515 GiB 6.8 TiB  517 GiB 7.3 TiB   [0,11,14,15,16,17,18,19,20,21,22,23,25,26,27,28,29,30,31]    263            138
23       528 GiB 6.8 TiB  529 GiB 7.3 TiB           [14,15,16,17,18,19,20,21,22,24,26,27,28,29,30,31]    268            115
22       461 GiB 6.8 TiB  462 GiB 7.3 TiB    [0,6,14,15,16,17,18,19,20,21,23,24,25,26,27,28,29,30,31]    229            101
: V* i. v" l( p* Z) o9        148 GiB 410 GiB  149 GiB 559 GiB                                 [5,6,7,8,10,11,17,21,23,26]    337            155
8         42 MiB 446 GiB  1.0 GiB 447 GiB                               [7,9,10,11,16,19,20,25,28,31]      0              0
, N- X7 b2 S7 o$ ]+ ?' @7 B) V7         42 MiB 446 GiB  1.0 GiB 447 GiB                                 [3,6,8,9,10,18,22,24,27,30]      0              0
( s* q8 A# P5 E1 ~1 ?- O% N6         42 MiB 446 GiB  1.0 GiB 447 GiB                                 [0,4,5,7,14,17,21,23,26,29]      0              0
5         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,3,4,6,11,19,25,28]     46             28
4         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,3,5,7,13,18,27,30]     44             20
0         42 MiB 893 GiB  1.0 GiB 894 GiB                                  [1,2,3,4,5,12,17,21,26,31]     42             21
3 a, t0 b8 d2 Y& ]1         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,2,3,4,5,9,11,13,24,30]     33             15
) |! M; o6 Q# U5 _2         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,3,4,5,8,19,25,28,31]     33             16
/ z% Q8 u) ?# ~  q+ V1 s2 z3         42 MiB 893 GiB  1.0 GiB 894 GiB                                   [0,1,2,4,5,8,10,11,23,29]     58             28
10       154 GiB 404 GiB  155 GiB 559 GiB                                [4,8,9,11,15,18,22,24,27,30]    352            177
11       147 GiB 411 GiB  148 GiB 559 GiB                                [3,7,9,10,12,19,20,25,28,31]    335            180
! [+ q/ w' a: c' D% H7 @12       104 GiB 2.1 TiB  105 GiB 2.2 TiB                                [0,2,8,11,13,17,21,23,26,29]    512            259
13       104 GiB 2.1 TiB  105 GiB 2.2 TiB                              [8,11,12,14,16,18,22,24,27,30]    512            253
$ L2 H5 W1 \' Y3 r* ^14       526 GiB 6.8 TiB  527 GiB 7.3 TiB [6,9,13,15,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    255            133
$ A2 w7 D. P; E# V7 r15       477 GiB 6.8 TiB  478 GiB 7.3 TiB     [11,14,16,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    251            124
8 m* }( J2 x- y0 G6 i16       479 GiB 6.8 TiB  480 GiB 7.3 TiB      [6,14,15,17,18,19,20,21,22,23,24,25,26,27,28,29,30,31]    259            149
17       424 GiB 6.9 TiB  426 GiB 7.3 TiB       [7,9,14,15,16,18,20,21,22,23,24,25,26,27,28,29,30,31]    244            119
18       477 GiB 6.8 TiB  478 GiB 7.3 TiB      [4,14,15,16,17,19,20,21,22,23,24,25,26,27,28,29,30,31]    249            111
+ \7 k; h5 B1 O' g% Z" ~4 h19       519 GiB 6.8 TiB  521 GiB 7.3 TiB [3,6,13,14,15,16,17,18,20,21,22,23,24,25,26,27,28,29,30,31]    262            145
4 [" p# ~3 w, E4 x/ A20       563 GiB 6.7 TiB  564 GiB 7.3 TiB     [11,14,15,16,17,18,19,21,22,23,24,25,26,27,28,29,30,31]    276            147
( Q. d  n& Z, D21       542 GiB 6.7 TiB  544 GiB 7.3 TiB   [3,11,14,15,16,17,18,19,20,22,23,24,25,26,27,28,29,30,31]    261            139
2 e" z6 }: N2 u7 D& `( f, K+ Dsum      9.5 TiB 134 TiB  9.5 TiB 144 TiB                                                                                   

$ X* t' Y! Y* }& r+ n3 P* NOTE: Omap statistics are gathered during deep scrub and may be inaccurate soon afterwards depending on utilisation. See http://docs.ceph.com/docs/master ... up/#omap-statistics for further details.

admin

If you have more than 50 OSDs, we recommend approximately 50-100 placement groups per OSD to balance out resource usage, data durability and distribution. If you have less than 50 OSDs, choosing among the preselection above is best. For a single pool of objects, you can use the following formula to get a baseline:
' N9 N; X) N5 N3 a' w2 x
             (OSDs * 100)
7 x3 D$ m/ H5 F# R7 z. j0 GTotal PGs =  ------------
              pool size
* p3 Z" v' Y7 k2 ~7 k! U( S. GWhere pool size is either the number of replicas for replicated pools or the K+M sum for erasure coded pools (as returned by ceph osd erasure-code-profile get).

admin

解决办法就是设置为1024的倍数。之类的。过了1024就需要设置成1024的倍数，比如 2以后4 ，4过后8 ，8变成16个pg，16 pg到32pg ，32pg到64pg ，64>128 , 128>256, 256>512,  512>1024,  1024>2048