|
|
Ceph-disk手动添加OSD使用方法3 B3 w- H7 U. Y% O
尝试了多种方式，并在网上搜了一下ceph-disk prepare的执行流程，总是有些意想不到的结果，让我很是迷茫，加上生产环境中，ceph的添加方式不是ceph-deploy工具执行的，只能考虑复现这种问题，最终通过下面的方式成功完成了osd创建，而且创建后的osd和原本使用ceph-deploy推出的集群状态保持了一致。而且这种方式创建出来的osd不再像之前的文档那样，需要添加fstab进行osd分区的挂载，而是通过systemd自动管理挂载。' \5 O$ {- H2 R# `* B
j% _! ]4 O! l1、准备磁盘4 ]5 V% V! {: C0 t. w A
[root@ceph-1 ~]# sgdisk -Z -o -g /dev/vdb: ~4 ]. @( d- L/ G: q
GPT data structures destroyed! You may now partition the disk using fdisk or$ y1 D) `; D- V4 K
other utilities.4 Q! g; m2 ]4 ]% R* m, O+ |5 n
The operation has completed successfully.
/ j- H0 |1 `! V, G2、对磁盘进行分区7 i6 p- v$ c/ o* w) i
[root@ceph-1 ~]# sgdisk -n 2:0:+5120M -c 2:"ceph journal" -t 2:45b0969e-9b03-4f30-b4c6-b4b80ceff106 /dev/sde# H1 s) @( s6 p* c
The operation has completed successfully.3 r+ [. q' V! o( Z7 ~, m
[root@ceph-1 ~]# sgdisk -n 1:0:0 -c 1:"ceph data" -t 1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/sde0 g/ z' f+ i4 y; n
The operation has completed successfully.' S# }$ q8 }" e
其中-t指定的是分区类型，在ceph中两种类型分区的type code：
2 C: S' U' y6 { TYPE) h5 p& U: g) n9 D" i+ {- G
TYPE CODE
1 q+ l3 }5 ?; L4 Q/ I: t% EJournal* G. F5 ]0 N' y/ R' I- J
45b0969e-9b03-4f30-b4c6-b4b80ceff1061 |$ g$ A6 `+ ?4 M, ]& D) c# m
osd ! m6 C$ z$ k7 R8 J. X) C
4fbd7e29-9d25-41b8-afd0-062c0ceff05d2 W l' u' s2 n7 C6 b" F6 c
Ceph通过uuid来区分对应的分区是osd还是journal，然后再决定数据存放在哪里。( Y" u/ X4 }4 a+ O& w" F8 v1 V; B
3、格式化osd分区9 x! f% m/ W+ Q* \4 R
[root@ceph-1 ~]# mkfs.xfs -f -i size=2048 /dev/sde13 W4 ]# y' ^5 m$ E( l# {# ]* ~
4、创建osd. z3 a( `& Y6 q8 b/ B/ K& w/ H
[root@ceph-1 ~]# ceph osd create
* g& y5 c! {* _; ]% O11- d: Y4 N& g% p5 S6 q" M
5、创建osd数据目录
% F3 h3 i r6 B2 }7 o+ B[root@ceph-1 ~]# mkdir /var/lib/ceph/osd/ceph-112 s) j3 h) w' U/ ]
6、挂载分区到osd的数据目录
3 @' P- D6 X, A( n* J5 ?( q2 ?[root@ceph-1 ~]# mount /dev/sde1 /var/lib/ceph/osd/ceph-11/
- ^/ @# I9 M+ u" q; Z1 c7、初始化osd数据目录" p/ Q" f$ x) \5 f4 o/ n6 a# }; v
[root@ceph-1 ~]# ceph-osd -i 11 --mkfs --mkkey/ x0 N) Z% q# J. B3 ^& K
8、指定journal分区1 e2 u3 C. h+ e( p; n
删除自动生成的journal文件- |4 f3 V4 Y0 \4 W( v: ]) D
[root@ceph-1 ~]# rm -rf /var/lib/ceph/osd/ceph-11/journal
3 y% h& w; y+ N9 h U; s4 K查看要用作journal分区的sde2对应的uuid
1 O; e7 P( D# h5 z$ N D$ O2 q[root@ceph-1 ~]# ll /dev/disk/by-partuuid/ | grep sde23 m- M" ^% J9 F% ~; E* T
lrwxrwxrwx 1 root root 10 Aug 31 11:58 adc17c4e-4aa8-44dd-8351-f9a1f8895455 -> ../../sde2
j8 S; K2 Q6 |把sde2的uuid创建软链为journal
/ n& W- `. e% u- { R8 r9 z; w( k[root@ceph-1 ~]# ln -s /dev/disk/by-partuuid/adc17c4e-4aa8-44dd-8351-f9a1f8895455 /var/lib/ceph/osd/ceph-11/journal
8 w9 Y% s: }9 V% y* ~在osd数据目录下写入journal分区的uuid
& m7 U! C; }, w0 Y[root@ceph-1 ~]# echo adc17c4e-4aa8-44dd-8351-f9a1f8895455 > /var/lib/ceph/osd/ceph-11/journal_uuid! ?0 A9 @1 w6 `, H0 f, M8 `
创建journal' G- x+ \8 O% D1 p' X& f# Q+ j
[root@ceph-1 ~]# ceph-osd -i 11 --mkjournal
2 D1 ~' G* n+ o& [' j& T9、注册osd的认证秘钥
- r" d% R& t8 f. s[root@ceph-1 ~]# ceph auth add osd.11 mon 'allow profile osd' mgr 'allow profile osd' osd 'allow *' -i /var/lib/ceph/osd/ceph-11/keyring2 K- n! [, I7 w$ S3 X
10、把osd添加到crush map
1 ]. n8 J) d1 ^ E7 D% E$ {[root@ceph-1 ~]# ceph osd crush add osd.11 0.01459 host=node3 j! P) P: g4 R
这里的权重建议跟原本的osd权重保持一致，可以通过ceph osd tree查看之前添加的osd的权重值+ I% ~1 ?! i1 a- G* q
11、修改数据目录权限( U: o6 [" {% d+ s" x" I
[root@ceph-1 ~]# chown -R ceph:ceph /var/lib/ceph/osd/ceph-11
+ k. ^ q+ ~5 n- E9 m& B! C! Y( p12、激活osd( P: X. q& j8 v
[root@ceph-1 ~]# ceph-disk activate --mark-init systemd --mount /dev/sde1
* a! h6 @# b! w7 T激活完成后osd会自动启动，此时可以使用ceph osd tree查看osd的状态 M8 u% l; R, H! y
& M- X: e! p ^ R
|
|
发表于 2022-7-19 11:13:52