找回密码
 注册
查看: 684|回复: 7

手动方式部署cephfs文件系统

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-7-26 10:50:44 | 显示全部楼层 |阅读模式
FS使用 部署MDS
1)为MDS元数据服务器创建一个数据目录
# mkdir -p /var/lib/ceph/mds/ceph-{hostname}
[root@ceph-2 ~]# mkdir -p /var/lib/ceph/mds/ceph-`hostname -s`

& P6 `" A; {/ \# T/ `
[root@ceph-2 mds]# chown -R ceph:ceph /var/lib/ceph/mds/ceph-ceph-2/
5 D. j% g5 e: n( t
) ^9 R8 o- A; c- A& ?
6 d2 q+ x" Q) X2 _/ l3 q
修改ceph集群的配置文件/etc/ceph/ceph.conf文件,在该文件中添加mds的相关内容。具体添加内容如下:5 U0 _3 e7 v$ w. N) C
[mds]
+ O+ p: p9 q1 l# smds data =/var/lib/ceph/mds/ceph-ceph-2/mds.$id
$ \6 d$ ]( }0 @3 Z" z) ^7 G4 @keyring = /etc/ceph/ceph.mds.$id.keyring6 ~+ H' |" C, l8 K5 }( n" O& C
[mds.0]7 ]3 M% i. O9 v/ Q9 R
host = {hostname}- s! S8 t9 `: d( D' L
8 p& {$ i: ~8 I- F+ ^- z. f+ T: \- y! T
[mds]
1 {1 ]6 W0 c& W0 V3 i3 `8 I" L4 A/ kmsd_data = /var/lib/ceph/mds/mds.$id  c  x0 u& d. c) T  U2 P7 z
keyring = /var/lib/ceph/mds/ceph-2/keyring  {3 C/ x5 [0 \* Q$ \) k  ]1 X, t' j
[mds.0]* |  `. n/ n8 w: X; Y
hostname = ceph-2
: q& p/ I' E/ i; @7 a* W  \. V
1 E* a, k7 r  t7 P0 k  y0 a
2) 创建MDS用户
# ceph auth get-or-create mds.{hostname} osd "allow rwx" mds "allow" mon "allow profile mds"

: T3 \: B$ |( Y) V5 ^  w
ceph auth get-or-create mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds"
[mds.ceph-2]
* C4 W+ z1 f7 k, {% V key = AQCyWt9ixp9UMxAAOItsnAobL+9U/kbOGZHLaw==
: f4 H% @; t9 a; @5 J0 ]

8 z8 a# K/ V  u& i
3)获取MDS密钥并导入其数据目录
# ceph auth get mds.{hostname} | tee /var/lib/ceph/mds/ceph-{hostname}/keyring
2 A! P: v2 u3 [9 [
[root@ceph-2 ~]# ceph auth get mds.`hostname -s`  |tee /var/lib/ceph/mds/ceph-2/keyring
1 y+ W& l* _* u9 J4 h5 V( texported keyring for mds.ceph-2
4 Y; a3 Z! v; N& ~- j9 [[mds.ceph-2]4 L0 J; P2 {- V0 f; p6 E) s- P3 O8 Q6 T
key = AQCyWt9ixp9UMxAAOItsnAobL+9U/kbOGZHLaw==
' F4 e) M& t$ z8 s caps mds = "allow"' F$ O. H7 x- C( j
caps mon = "allow profile mds"# q6 T: B* [2 ]4 \
caps osd = "allow rwx"
6 y& U( y( X3 m9 Z0 f
4)启动守护进程

2 K/ j) c& b' C/ g* ?
#systemctl restart ceph-mds@{hostname} & systemctl enable ceph-mds@{hostname}

' O  m; ?6 v! R6 M" C: E8 H
' ^( l5 o9 Q& x! ~4 l( `
创建cephfs
1)创建
#ceph osd pool create cephfs_data <pg_num>
#ceph osd pool create cephfs_metadata <pg_num>
#ceph fs new cephfs cephfs_metadata cephfs_data
2)检查状态
#ceph mds stat
挂载cephfs
1)创建挂载目录
#mkdir /mnt/cephfs
2)查看管理员密钥
密钥存放于ceph.client.admin.keyring内,key值即为密钥
3)使用mount命令挂载
# mount ceph IP:6789/ /mnt/cephfs -o name=admin,secret={secretkey}
4)使用df -h命令查看挂载情况

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:31:27 | 显示全部楼层
[root@ceph-2 mds]# ceph auth get-or-create mds.ceph-2 mds 'allow' osd 'allow *' mon 'allow rwx'  >/etc/ceph/ceph.mds-ceph-2.keyring- I  @/ b( C! F" G0 Z  d3 Y
[root@ceph-2 mds]#

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:38:59 | 显示全部楼层
[root@ceph-2 mds]# mkdir -p /var/lib/ceph/mds/mds.0
: E0 J3 F+ c) S: h[root@ceph-2 mds]# vim /etc/ceph/ceph.conf 4 {0 k4 M0 [' v2 S  H
[root@ceph-2 mds]# ceph auth get-or-create mds.0 mds 'allow' osd 'allow *' mon 'allow rwx'  >/etc/ceph/ceph.mds.0.keyring
: @2 }' y9 u: [: L: Q+ l, Q6 s3 @& L5 t" s: T  o
[root@ceph-2 mds]# systemctl status ceph-mds@0
9 s: s* F7 S2 Oceph-mds@0.service - Ceph metadata server daemon
7 R, A; @  R* B6 Q( L# E3 `, `# E   Loaded: loaded (/usr/lib/systemd/system/ceph-mds@.service; disabled; vendor preset: disabled)
. N7 F8 Q3 l4 _# S2 v* `   Active: active (running) since Tue 2022-07-26 11:38:23 CST; 6s ago
7 I4 g# }. L. g- r( j( ]* f2 B& C8 @ Main PID: 37142 (ceph-mds)
4 ]- H( ^- @# C% U   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@0.service
4 E3 u- R7 r& i6 n2 r           └─37142 /usr/bin/ceph-mds -f --cluster ceph --id 0 --setuser ceph --setgroup ceph
6 ^' I8 ?. R* q0 E% y& Q; M5 `: c( o1 ^8 i
Jul 26 11:38:23 ceph-2.novalocal systemd[1]: Started Ceph metadata server daemon.7 B0 b9 @8 z# f* d, [
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: 2022-07-26 11:38:23.555502 7fb5f38ef240 -1 deprecatio...it.
8 _' f1 D: H% t+ W2 ?7 ]) SJul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: starting mds.0 at -
- x9 b3 W1 E. F4 g% rHint: Some lines were ellipsized, use -l to show in full.
& G* K7 d* u* h" H- g" _4 n, A[root@ceph-2 mds]# systemctl status ceph-mds@0.service
) I; V0 V( t: [$ Q, @7 rceph-mds@0.service - Ceph metadata server daemon/ M; {7 P2 z4 u
   Loaded: loaded (/usr/lib/systemd/system/ceph-mds@.service; disabled; vendor preset: disabled)
, R1 p" U+ \. P" r# ^! r   Active: active (running) since Tue 2022-07-26 11:38:23 CST; 10s ago
% L% n5 h) z6 {& E* V3 x) a* ? Main PID: 37142 (ceph-mds)
- O/ b% Q) k" n. t3 Y2 y7 W   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@0.service
. Z6 e, I: B* g/ B$ l$ j           └─37142 /usr/bin/ceph-mds -f --cluster ceph --id 0 --setuser ceph --setgroup ceph
# z8 B: Q6 _; S/ p5 g/ {# q+ t8 Y1 q4 y/ j& l
Jul 26 11:38:23 ceph-2.novalocal systemd[1]: Started Ceph metadata server daemon.) q5 K1 C5 A) k6 v
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: 2022-07-26 11:38:23.555502 7fb5f38ef240 -1 deprecatio...it.# i1 T3 m* Z& y0 R: o
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: starting mds.0 at -
  v0 A! k& ?" ?2 A0 THint: Some lines were ellipsized, use -l to show in full.
$ f- _+ j5 F- c( @4 o4 u  s[root@ceph-2 mds]# systemctl enable ceph-mds@0.service
0 ?- q- h7 s+ P. i, eCreated symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@0.service to /usr/lib/systemd/system/ceph-mds@.service." F) @( Y* l  X% V7 `" Q9 Y( d
[root@ceph-2 mds]#

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:49:53 | 显示全部楼层
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf+ o$ C8 M: o' L4 F9 j
[ceph_deploy.cli][INFO  ] Invoked (2.0.1): /usr/bin/ceph-deploy mds create compute03" ^1 Q! _$ G( w5 u5 @
[ceph_deploy.cli][INFO  ] ceph-deploy options:# }& N# d9 F$ W% @+ t
[ceph_deploy.cli][INFO  ]  username                      : None
" n) J; U8 {9 e' w; c[ceph_deploy.cli][INFO  ]  verbose                       : False  |6 d2 ^0 t) ]
[ceph_deploy.cli][INFO  ]  overwrite_conf                : False
& E. `' D0 O! w( J0 f[ceph_deploy.cli][INFO  ]  subcommand                    : create
, {! {; X$ k6 S. }3 F* G[ceph_deploy.cli][INFO  ]  quiet                         : False
" |1 v2 t8 f1 r3 P9 E  W, ^[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f182680d878>" C/ ?# ^! u3 H) z3 z' H& \
[ceph_deploy.cli][INFO  ]  cluster                       : ceph
" Y. c8 x/ H$ i2 S[ceph_deploy.cli][INFO  ]  func                          : <function mds at 0x7f1826a5fed8>
8 l8 A* f, f( ^/ x[ceph_deploy.cli][INFO  ]  ceph_conf                     : None
. X" t* ]; C% g6 Z. J[ceph_deploy.cli][INFO  ]  mds                           : [('compute03', 'compute03')]
) I+ S( ?! [* m" T' j- S[ceph_deploy.cli][INFO  ]  default_release               : False1 z/ S: U5 b0 i% w8 i
[ceph_deploy.mds][DEBUG ] Deploying mds, cluster ceph hosts compute03:compute03
' W6 a3 x& x8 [) T" x[compute03][DEBUG ] connected to host: compute03 + [3 M  ]5 R" q# Q5 o
[compute03][DEBUG ] detect platform information from remote host
8 S5 o, n# [$ h* X* P[compute03][DEBUG ] detect machine type; d9 s# {5 L/ x* H/ D/ {0 w
[ceph_deploy.mds][INFO  ] Distro info: CentOS Linux 7.9.2009 Core0 ?  I; y$ u; V% Y. F
[ceph_deploy.mds][DEBUG ] remote host will use systemd
( {3 C: s- V; n9 H' e- t2 d[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to compute03
, }% U# d; v* ]1 |3 {) W# ^4 X2 f[compute03][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf! t* y' C4 [1 ^- S! m' K
[compute03][WARNIN] mds keyring does not exist yet, creating one' ]/ [2 }. x" Y& }. Q8 ~/ r
[compute03][DEBUG ] create a keyring file
/ ^- I7 J1 i3 ~5 o  z5 U' B[compute03][DEBUG ] create path if it doesn't exist
% T) B9 c. D0 X6 a9 P0 y[compute03][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.compute03 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-compute03/keyring! M; @2 x4 \8 S2 G9 S5 e6 A
[compute03][INFO  ] Running command: systemctl enable ceph-mds@compute031 c7 ~2 `1 g0 Q; i/ J6 i! y
[compute03][WARNIN] Created symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@compute03.service to /usr/lib/systemd/system/ceph-mds@.service.
. h  i' e; ]) J: o1 D) g% Q  [[compute03][INFO  ] Running command: systemctl start ceph-mds@compute03
0 f3 a& j/ D# q% l$ N8 @5 r; }[compute03][INFO  ] Running command: systemctl enable ceph.target

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:55:31 | 显示全部楼层
ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-2 osd 'allow rwx' mds 'allow' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-2/keyring
. [& P( I/ }3 h* k. w/ P
: g6 w# e/ U2 t  q[root@ceph-2 ceph]# systemctl enable ceph-mds@ceph-2.service + H3 L# j5 q+ y3 C: [3 C) g
Created symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-2.service to /usr/lib/systemd/system/ceph-mds@.service.
" U/ l" p* ]- u+ ^) z4 H9 `[root@ceph-2 ceph]# systemctl start ceph-mds@ceph-2.service

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:35:06 | 显示全部楼层
MDS; q2 y/ ~7 p4 ]7 h) P

, K; I* M+ F, A/ l+ a7 D; y* }28. 创建mds工作目录
6 e; c, y  ]5 @: {mkdir -p /var/lib/ceph/mds/ceph-admin) J) B* W- [- [& ~1 q) ~5 o. \

% c& b$ c0 J7 M; ~$ {
  l) M2 [3 \! p  b+ R. u29. 注册mds的密钥
7 f3 e- ]! o8 Z: kceph auth get-or-create mds.ceph-admin mds 'allow *' osd 'allow rwx' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-admin/keyring
1 v( A, R7 I3 L: Q4 G& ~0 Z: _8 ]
2 |# M. m5 e# {- k" {7 c7 N7 J7 p" d3 k- n8 m! m6 b
30. 启动mds进程
8 g% c1 K$ X9 ]; eceph-mds --cluster ceph --id ceph-admin --setuser root --setgroup root
2 u& [0 R& f& g! N4 @9 Q- f  m4 I% z! N0 |" a; U8 J& s8 a% z

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:52:05 | 显示全部楼层
[root@ceph-1 ~]# mkdir -p /var/lib/ceph/mds/ceph-1
9 ^6 Y  m3 `) _, Z+ n  g6 @+ w[root@ceph-1 ~]# ceph auth get-or-create mds.ceph-1 mds 'allow *' osd 'allow rwx' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-1/keyring+ Z7 m) Q! d, k6 e0 r

# y  I5 T  H% A7 `6 b9 \8 F  A0 ^# N' H6 ^2 `! L, [+ k0 _' ~/ \/ ?5 x
添加MDS 创建mds数据目录 mkdir -p /var/lib/ceph/mds/ceph-`h...
; i1 U; v4 w% z7 v% D1 z添加MDS
. ?8 V% K; a3 v# W! P创建mds数据目录
, ]( L% L/ ]/ c8 q  b3 Mmkdir -p /var/lib/ceph/mds/ceph-`hostname -s`
% d% r7 l. D6 p chown -R ceph.ceph /var/lib/ceph/mds/ceph-`hostname -s`7 j% \$ x& p/ j- a3 s. v5 @' M7 k! v' x
复制
& e, y. R5 y' i" n2 `/ z0 a! B1 A 创建keyring# F5 @2 P3 Z* G1 n! J+ ^
ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-`hostname -s`/keyring --gen-key -n mds.`hostname -s`
) d$ o* M5 _; c8 O, `& l3 i) C复制" P$ X& H+ G/ w. l3 k8 m3 X6 Y2 J1 C
导入keyring并设置权限
# R1 L' O3 g& `) p3 K8 W2 v; uceph auth add mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-`hostname -s`/keyring) r' ~( U( W% n5 a* u; \4 w
chown ceph:ceph /var/lib/ceph/mds/ceph-`hostname -s`/keyring# T; e6 ?9 u$ |1 q0 y
复制4 ]. a6 b# L% N8 D) Z
修改ceph.conf配置文件
; s9 c/ F' V) c6 ^! ^: i7 o4 J4 H$ kcat >> /etc/ceph/ceph.conf <<EOF$ t& `' C6 p- n2 E. w! P' L: j
[mds.node-1]! J6 e+ K8 [5 R2 u
host = node-1
& G; e, S$ J3 x4 {& | [mds.node-2]+ y, I) f  q$ m/ T4 }
host = node-2
  I( ?/ q5 ]7 n5 g% a8 T [mds.node-3]
/ S, r/ c! J/ K- I5 b& z8 X host = node-3
' E& C: F- D" S8 [% b! K5 { EOF' C; i" |' H' v( \" F% }
复制, A' U5 C  l- G/ ^; q$ |
启动mds服务
% m  n$ n+ D; C- Q5 \! [systemctl enable ceph-mds@`hostname -s` && systemctl start ceph-mds@`hostname -s`, L% M: G. ^. Y# G% C3 H5 g
复制
- v# K) f, e8 p1 z5 I+ z 现在状态应该是这样的
! z0 O9 T3 U$ Y& c. r& E+ I# D4 r  u& T- j

' J: q7 e2 a- q2 I) n7 L; s; Z1 I. z[root@ceph-1 mds]# systemctl start ceph-mds@ceph-1.service ' E# r0 K8 \; X( H/ o0 x- N( s' W% S
[root@ceph-1 mds]# systemctl status ceph-mds@ceph-1.service 1 K, ~6 s; L: j
ceph-mds@ceph-1.service - Ceph metadata server daemon/ ~: z& b( K3 Y7 L
   Loaded: loaded ([url=]/usr/lib/systemd/system/ceph-mds@.service[/url]; enabled; vendor preset: disabled)( \7 p5 f. F3 D
   Active: active (running) since Tue 2022-07-26 14:51:01 CST; 5s ago
; L) V/ F  |3 l' e% i+ K) D9 K Main PID: 48091 (ceph-mds)
; y( s, H, _. u9 @  `' u   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@ceph-1.service& j: j: J5 J8 E7 G& z
           └─48091 /usr/bin/ceph-mds -f --cluster ceph --id ceph-1 --setuser ceph --setgroup ceph4 `8 |$ r9 z6 M' T6 R
Jul 26 14:51:01 ceph-1.novalocal systemd[1]: Started Ceph metadata server daemon.: V0 q! U0 s0 a2 H
Jul 26 14:51:01 ceph-1.novalocal ceph-mds[48091]: starting mds.ceph-1 at -
/ {8 _: ]! V0 q  r" ^& M
  e3 i% Z  o2 r: P, K8 O8 g% U/ k' ]. n$ c/ s
- Y; {6 q7 y+ e$ F

( A, s. W% ?- ~: `1 R

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:53:25 | 显示全部楼层
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-11 23:02 , Processed in 0.026058 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表