|
|
Ceph-disk手动添加OSD使用方法
+ J8 M6 P- A- y尝试了多种方式，并在网上搜了一下ceph-disk prepare的执行流程，总是有些意想不到的结果，让我很是迷茫，加上生产环境中，ceph的添加方式不是ceph-deploy工具执行的，只能考虑复现这种问题，最终通过下面的方式成功完成了osd创建，而且创建后的osd和原本使用ceph-deploy推出的集群状态保持了一致。而且这种方式创建出来的osd不再像之前的文档那样，需要添加fstab进行osd分区的挂载，而是通过systemd自动管理挂载。
& J: n* @% ?* d8 J2 w7 C3 I5 H* N0 y' t! N: _' }
1、准备磁盘4 Z4 t. T, N% U1 x( e
[root@ceph-1 ~]# sgdisk -Z -o -g /dev/vdb
+ Y6 U5 y8 M, m) S6 j: A% X. PGPT data structures destroyed! You may now partition the disk using fdisk or+ Z* d2 `! [9 W% @" ]' B
other utilities.
7 K2 C, u5 G" M5 I0 j7 V! dThe operation has completed successfully.
& q/ c1 ?+ c, Y+ S6 v1 X2、对磁盘进行分区
+ l& @; S) F* X5 O[root@ceph-1 ~]# sgdisk -n 2:0:+5120M -c 2:"ceph journal" -t 2:45b0969e-9b03-4f30-b4c6-b4b80ceff106 /dev/sde( Y' g) m" A" D: E8 U7 f
The operation has completed successfully.4 N5 z" F3 T* E" O! q9 g
[root@ceph-1 ~]# sgdisk -n 1:0:0 -c 1:"ceph data" -t 1:4fbd7e29-9d25-41b8-afd0-062c0ceff05d /dev/sde, n+ ^5 i4 W8 V
The operation has completed successfully.& l2 d* j3 h' J, i/ U
其中-t指定的是分区类型，在ceph中两种类型分区的type code：, P% n2 q) x' ~4 h5 z9 ?
TYPE
5 C+ K3 u& n. _0 n( S1 CTYPE CODE, T- q& e7 _+ B4 P2 P+ x
Journal A* ], r8 K8 F
45b0969e-9b03-4f30-b4c6-b4b80ceff106
% T: c, [; U9 H2 D! T+ A9 Tosd ' e+ B0 Y* J; T8 y$ ^! b: w
4fbd7e29-9d25-41b8-afd0-062c0ceff05d5 r( ^0 f& q" I! K+ H" \6 m
Ceph通过uuid来区分对应的分区是osd还是journal，然后再决定数据存放在哪里。
" S% i; t6 g- }8 U$ Z3、格式化osd分区& @6 i R. o* x, X% C
[root@ceph-1 ~]# mkfs.xfs -f -i size=2048 /dev/sde1
- H9 X" J W! [4、创建osd
3 g. q+ d$ E4 q: Z[root@ceph-1 ~]# ceph osd create
; a6 {5 j x& V, v6 U, a115 H4 _2 Z: n( s* x6 g2 @' R
5、创建osd数据目录
3 v! t( Q+ C. x% \. m[root@ceph-1 ~]# mkdir /var/lib/ceph/osd/ceph-11
! ]/ S, C8 K4 N6、挂载分区到osd的数据目录
1 w) Y' \9 L, n* ~. w* b[root@ceph-1 ~]# mount /dev/sde1 /var/lib/ceph/osd/ceph-11/, q6 X* [" N% K9 i5 n! v9 S9 L: }
7、初始化osd数据目录
4 Z/ ^: o. ?, K: W5 I4 P[root@ceph-1 ~]# ceph-osd -i 11 --mkfs --mkkey
/ o7 _$ ~/ G& g( Z8、指定journal分区
/ s( {) i- V" E& ?# i! b+ k删除自动生成的journal文件
4 ?0 e6 r6 m# C8 I$ D( a2 \' F) Y[root@ceph-1 ~]# rm -rf /var/lib/ceph/osd/ceph-11/journal
% n) a4 Z+ I* u% I# _查看要用作journal分区的sde2对应的uuid
" y: R" ?1 {8 n[root@ceph-1 ~]# ll /dev/disk/by-partuuid/ | grep sde2/ D) E! \. a. K, N! g0 P( N
lrwxrwxrwx 1 root root 10 Aug 31 11:58 adc17c4e-4aa8-44dd-8351-f9a1f8895455 -> ../../sde2
) ] l2 R1 v" P3 z; O把sde2的uuid创建软链为journal
+ u% P* H/ q+ h( o; W[root@ceph-1 ~]# ln -s /dev/disk/by-partuuid/adc17c4e-4aa8-44dd-8351-f9a1f8895455 /var/lib/ceph/osd/ceph-11/journal
: A6 c2 w( h5 I h2 b在osd数据目录下写入journal分区的uuid' i7 F8 l( w D8 q6 ~6 K+ A7 f
[root@ceph-1 ~]# echo adc17c4e-4aa8-44dd-8351-f9a1f8895455 > /var/lib/ceph/osd/ceph-11/journal_uuid
3 \ U$ z( @' m- `创建journal1 h% i: I% g5 i. ?7 M9 S6 e
[root@ceph-1 ~]# ceph-osd -i 11 --mkjournal
& |' \6 V; u( H3 M; j4 V7 T2 ?9、注册osd的认证秘钥
& F) s- k- K1 j r[root@ceph-1 ~]# ceph auth add osd.11 mon 'allow profile osd' mgr 'allow profile osd' osd 'allow *' -i /var/lib/ceph/osd/ceph-11/keyring
1 x9 F& t; K6 P* V. ]& x10、把osd添加到crush map3 w' ]! U1 @ |7 m
[root@ceph-1 ~]# ceph osd crush add osd.11 0.01459 host=node3
. v8 y b0 H* Z) u3 Z: l2 }这里的权重建议跟原本的osd权重保持一致，可以通过ceph osd tree查看之前添加的osd的权重值5 s1 k+ {# M$ \# Q8 h. N5 f1 x6 y
11、修改数据目录权限
, |- b w: M7 M$ x, d) d[root@ceph-1 ~]# chown -R ceph:ceph /var/lib/ceph/osd/ceph-11
( M. f6 p( \7 H4 S+ B |8 }12、激活osd
1 `: _8 p3 A3 `[root@ceph-1 ~]# ceph-disk activate --mark-init systemd --mount /dev/sde1
( N3 M; k5 K- L# r! |, G激活完成后osd会自动启动，此时可以使用ceph osd tree查看osd的状态. F$ W- ~1 `- f+ e0 G/ }; s
% I+ J, ? O4 ]; I" B6 U) l |
|
发表于 2022-7-19 11:13:52