|
|
Ceph-disk手动添加OSD使用方法
/ p% ?+ l6 X7 `尝试了多种方式，并在网上搜了一下ceph-disk prepare的执行流程，总是有些意想不到的结果，让我很是迷茫，加上生产环境中，ceph的添加方式不是ceph-deploy工具执行的，只能考虑复现这种问题，最终通过下面的方式成功完成了osd创建，而且创建后的osd和原本使用ceph-deploy推出的集群状态保持了一致。而且这种方式创建出来的osd不再像之前的文档那样，需要添加fstab进行osd分区的挂载，而是通过systemd自动管理挂载。' |6 ]2 Z. B5 S! G4 K' C
L& {; U- V4 p: q- ~1、准备磁盘
) W, T# w0 T# `. \. x4 X k! Q. a$ o[root@ceph-1 ~]# sgdisk -Z -o -g /dev/vdb
6 N6 T! [; e& W; B, a3 y2 AGPT data structures destroyed! You may now partition the disk using fdisk or
# y$ Z Y# Z2 @6 _8 n$ P% }other utilities.
" _' T( u( A3 M( TThe operation has completed successfully.
X" M5 q9 x- r% U: X' U2、对磁盘进行分区% S4 H1 Z, A, V0 c5 e
[root@ceph-1 ~]# sgdisk -n 2:0:+5120M -c 2:"ceph journal" -t 2:45b0969e-9b03-4f30-b4c6-b4b80ceff106 /dev/sde# r+ ]3 b5 n+ ?( N( e
The operation has completed successfully.
* z5 p2 {0 u2 u8 [- J[root@ceph-1 ~]# sgdisk -n 1:0:0 -c 1:"ceph data" -t 1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/sde
7 Y) b) o' J9 @( J3 i- KThe operation has completed successfully.
3 c( M( ~/ \5 B" l' w; J其中-t指定的是分区类型，在ceph中两种类型分区的type code：0 i& h" g9 T6 `" V4 f
TYPE( z/ g! x8 D" Z+ B; D% ?
TYPE CODE2 o) r! s+ e5 D. z* y4 z7 Q6 i: O8 E
Journal
2 ~1 f d( b0 }45b0969e-9b03-4f30-b4c6-b4b80ceff106
* Y: b* x1 N8 Q. posd
9 A' C: p! z, l2 @2 c' a4fbd7e29-9d25-41b8-afd0-062c0ceff05d1 ?* V: Q5 q( z8 F5 Q' O& h9 r1 n
Ceph通过uuid来区分对应的分区是osd还是journal，然后再决定数据存放在哪里。% v# q7 r+ K: F2 T! Y3 B
3、格式化osd分区4 J- o' N. } k5 A* s$ X5 b
[root@ceph-1 ~]# mkfs.xfs -f -i size=2048 /dev/sde1
- g" u9 P! `- s6 X3 X; h; G' G4、创建osd
( b: B, f0 o8 e( b7 O* b[root@ceph-1 ~]# ceph osd create
& `: T, s: L8 f0 p( y" F5 U11% N# Q* |$ n/ t3 R9 l3 c6 w
5、创建osd数据目录
0 x E, q- Z; Z" ?+ {[root@ceph-1 ~]# mkdir /var/lib/ceph/osd/ceph-11; E8 ~* E' r# A( I+ D
6、挂载分区到osd的数据目录
/ T* _* g# w& F+ d6 T[root@ceph-1 ~]# mount /dev/sde1 /var/lib/ceph/osd/ceph-11/. O! A# I/ x4 U) T! t+ ~
7、初始化osd数据目录
; ?$ R! f8 V5 |% Z6 }% z[root@ceph-1 ~]# ceph-osd -i 11 --mkfs --mkkey
2 x0 f# Q$ K, J4 |. N+ k8、指定journal分区+ R j8 H y1 y/ G& t; V4 w
删除自动生成的journal文件
( G' U+ K' y, n6 K[root@ceph-1 ~]# rm -rf /var/lib/ceph/osd/ceph-11/journal ; E, ^' Z. a* a; ^) z9 T" F- ]) o
查看要用作journal分区的sde2对应的uuid
3 ^4 g Y" n p, o' s2 ~7 t- _& |7 |[root@ceph-1 ~]# ll /dev/disk/by-partuuid/ | grep sde2
* z; C4 O1 a0 |lrwxrwxrwx 1 root root 10 Aug 31 11:58 adc17c4e-4aa8-44dd-8351-f9a1f8895455 -> ../../sde2
. O) {. I& L8 V( Z" `5 c5 O把sde2的uuid创建软链为journal
! G5 J2 E& [0 J% E[root@ceph-1 ~]# ln -s /dev/disk/by-partuuid/adc17c4e-4aa8-44dd-8351-f9a1f8895455 /var/lib/ceph/osd/ceph-11/journal
$ ^ Z0 h: c5 t9 W- U, X& l0 k" z在osd数据目录下写入journal分区的uuid, _" z+ Z% s% ]' m! m" j* I- `: o
[root@ceph-1 ~]# echo adc17c4e-4aa8-44dd-8351-f9a1f8895455 > /var/lib/ceph/osd/ceph-11/journal_uuid
& ~* L) S% W1 @创建journal" B# S! U9 }3 u8 |( I
[root@ceph-1 ~]# ceph-osd -i 11 --mkjournal
+ }0 ?; ~- j- u* c$ t5 Q9、注册osd的认证秘钥
' U. k. t5 ~5 F5 C" j I# s[root@ceph-1 ~]# ceph auth add osd.11 mon 'allow profile osd' mgr 'allow profile osd' osd 'allow *' -i /var/lib/ceph/osd/ceph-11/keyring
- q( |' p0 [$ z, s% q7 P10、把osd添加到crush map
, {) i% u, l: M" p6 `. V[root@ceph-1 ~]# ceph osd crush add osd.11 0.01459 host=node30 N1 k3 F4 s- v* j
这里的权重建议跟原本的osd权重保持一致，可以通过ceph osd tree查看之前添加的osd的权重值% E4 B6 a) Z, @! H, |) b1 v b
11、修改数据目录权限2 v% ^" O1 V# }* O: _8 o @
[root@ceph-1 ~]# chown -R ceph:ceph /var/lib/ceph/osd/ceph-11. x0 x& W% b' Y
12、激活osd! k+ Y$ E" B9 ^, n
[root@ceph-1 ~]# ceph-disk activate --mark-init systemd --mount /dev/sde1
& ^7 Q/ {. b& `激活完成后osd会自动启动，此时可以使用ceph osd tree查看osd的状态+ ^( r( V1 ]# P: @* [; E: O+ w w/ p+ j$ R
" R/ T/ j2 n8 h
|
|
发表于 2022-7-19 11:13:52