找回密码
 注册
查看: 686|回复: 7

手动方式部署cephfs文件系统

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2022-7-26 10:50:44 | 显示全部楼层 |阅读模式
FS使用 部署MDS
1)为MDS元数据服务器创建一个数据目录
# mkdir -p /var/lib/ceph/mds/ceph-{hostname}
[root@ceph-2 ~]# mkdir -p /var/lib/ceph/mds/ceph-`hostname -s`
$ Z9 T) P% R9 m' i  N. R9 x& x7 r( |: F
[root@ceph-2 mds]# chown -R ceph:ceph /var/lib/ceph/mds/ceph-ceph-2/
- @- R0 ?4 J6 s4 t% x, J# `2 S' e$ {: {' n- A/ Y8 V2 ^5 B

9 j$ |! n# }& q$ J4 [  A修改ceph集群的配置文件/etc/ceph/ceph.conf文件,在该文件中添加mds的相关内容。具体添加内容如下:
; H+ ~$ A) X7 z( E4 c: D[mds]
$ }3 y, \( A9 M1 N$ Z' ]mds data =/var/lib/ceph/mds/ceph-ceph-2/mds.$id
; m' q7 X% I# Xkeyring = /etc/ceph/ceph.mds.$id.keyring
" @! f! d! h( F7 E[mds.0]
) ^2 v- q: c! ~' J7 R1 yhost = {hostname}# _! o& E3 b4 t4 y7 V

/ ^2 S0 Q6 T* r6 s8 k
[mds]
1 m/ L7 B$ u3 l( u* _msd_data = /var/lib/ceph/mds/mds.$id0 U4 |1 X8 V8 z' V! a* [$ R
keyring = /var/lib/ceph/mds/ceph-2/keyring
$ ?$ A4 I, n& Z4 I1 L* q0 c[mds.0]  S5 |3 O1 u$ e6 h- ?4 G  ^
hostname = ceph-2

; V  Q0 \/ |/ B! E: A! J( W

+ z  R3 h4 y/ N. ~# h3 y( O
2) 创建MDS用户
# ceph auth get-or-create mds.{hostname} osd "allow rwx" mds "allow" mon "allow profile mds"

, u0 W  |; Z3 \& V# _+ U/ `
ceph auth get-or-create mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds"
[mds.ceph-2]/ h7 j+ X* k" s
key = AQCyWt9ixp9UMxAAOItsnAobL+9U/kbOGZHLaw==

& u- v8 T6 T5 M0 Y* s1 Z+ ]
7 U- O& A- i& _6 k) X; j+ n' j  D
3)获取MDS密钥并导入其数据目录
# ceph auth get mds.{hostname} | tee /var/lib/ceph/mds/ceph-{hostname}/keyring

# Z" Q1 t& O; u9 d9 O3 ]- Y
[root@ceph-2 ~]# ceph auth get mds.`hostname -s`  |tee /var/lib/ceph/mds/ceph-2/keyring  @" N/ I- z! S; H8 Q3 ]$ o
exported keyring for mds.ceph-2$ T6 B2 s$ O4 t3 }. E" _$ N, ^
[mds.ceph-2], x: M9 H9 n/ V; }* S
key = AQCyWt9ixp9UMxAAOItsnAobL+9U/kbOGZHLaw==
; v( |- Z+ l7 v caps mds = "allow"
: i; S  A; O; Q7 _9 k9 f( ? caps mon = "allow profile mds") P# H; b& l: j# i: M' Z
caps osd = "allow rwx"

, n' ^' m$ u: N+ I  k3 m) p$ \) e
4)启动守护进程
& b2 V) |$ g  W* W7 B+ f" w
#systemctl restart ceph-mds@{hostname} & systemctl enable ceph-mds@{hostname}

2 ^3 a" @* N7 h; n' i6 g
4 h' r3 U6 u8 m2 c5 j" t# Q2 [
创建cephfs
1)创建
#ceph osd pool create cephfs_data <pg_num>
#ceph osd pool create cephfs_metadata <pg_num>
#ceph fs new cephfs cephfs_metadata cephfs_data
2)检查状态
#ceph mds stat
挂载cephfs
1)创建挂载目录
#mkdir /mnt/cephfs
2)查看管理员密钥
密钥存放于ceph.client.admin.keyring内,key值即为密钥
3)使用mount命令挂载
# mount ceph IP:6789/ /mnt/cephfs -o name=admin,secret={secretkey}
4)使用df -h命令查看挂载情况

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:31:27 | 显示全部楼层
[root@ceph-2 mds]# ceph auth get-or-create mds.ceph-2 mds 'allow' osd 'allow *' mon 'allow rwx'  >/etc/ceph/ceph.mds-ceph-2.keyring
, r9 ~8 a. v% n( ^0 Z. L6 v; p' w3 X/ z[root@ceph-2 mds]#

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:38:59 | 显示全部楼层
[root@ceph-2 mds]# mkdir -p /var/lib/ceph/mds/mds.0
8 `# C3 p- h3 k% M! ~4 }[root@ceph-2 mds]# vim /etc/ceph/ceph.conf 7 o3 q! q8 ]% |: ]# j3 I
[root@ceph-2 mds]# ceph auth get-or-create mds.0 mds 'allow' osd 'allow *' mon 'allow rwx'  >/etc/ceph/ceph.mds.0.keyring
, g- ^, K/ A! g, s; P' h' j/ O2 F, h. A, c# f0 g9 T
[root@ceph-2 mds]# systemctl status ceph-mds@03 i3 p: m0 r+ G* Z" B, R* Q
ceph-mds@0.service - Ceph metadata server daemon1 ?$ H! k4 {7 s" q+ c. ~# R* C
   Loaded: loaded (/usr/lib/systemd/system/ceph-mds@.service; disabled; vendor preset: disabled)
, T& @# ]9 p+ V   Active: active (running) since Tue 2022-07-26 11:38:23 CST; 6s ago' }8 k% o- y# j) I4 m% r$ y
Main PID: 37142 (ceph-mds)0 y% a( ?3 l. d
   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@0.service
) N" u. }6 t8 `           └─37142 /usr/bin/ceph-mds -f --cluster ceph --id 0 --setuser ceph --setgroup ceph8 c: N5 [5 {2 g3 Z9 }1 ^

' u/ G. k& ?" V1 d6 p: QJul 26 11:38:23 ceph-2.novalocal systemd[1]: Started Ceph metadata server daemon." _8 K, N. ^; {' A: C/ t  ^( L
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: 2022-07-26 11:38:23.555502 7fb5f38ef240 -1 deprecatio...it.& Z0 X) Q1 U1 K3 E( j
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: starting mds.0 at -0 w  f* r6 F2 `* Q4 b! k9 \- A
Hint: Some lines were ellipsized, use -l to show in full.. J' p- B: `9 d* t& K4 `2 {; n* v- t. ~
[root@ceph-2 mds]# systemctl status ceph-mds@0.service
- c( s: U# G+ F1 X& d6 U1 cceph-mds@0.service - Ceph metadata server daemon
  j) O( o$ e' ^! g( d9 n   Loaded: loaded (/usr/lib/systemd/system/ceph-mds@.service; disabled; vendor preset: disabled)
9 I8 t; F( G/ C6 p- J8 s) A   Active: active (running) since Tue 2022-07-26 11:38:23 CST; 10s ago
# v) r! }) u6 g3 m3 h* t Main PID: 37142 (ceph-mds): P& |" [3 u- R- [+ Y2 {2 ^$ c
   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@0.service
: W; X( F% b3 _+ ?. c           └─37142 /usr/bin/ceph-mds -f --cluster ceph --id 0 --setuser ceph --setgroup ceph4 Q; L# Q6 H4 z' f
0 l; I- p, B2 \$ m; Q8 e" D9 i
Jul 26 11:38:23 ceph-2.novalocal systemd[1]: Started Ceph metadata server daemon.
2 q( v& F# d+ _" K+ OJul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: 2022-07-26 11:38:23.555502 7fb5f38ef240 -1 deprecatio...it.: r0 B0 Z1 k. p* y
Jul 26 11:38:23 ceph-2.novalocal ceph-mds[37142]: starting mds.0 at -% O4 g2 u% `+ ~5 x. N
Hint: Some lines were ellipsized, use -l to show in full.3 p7 o( ?2 f9 I& ^9 t/ e/ }, r
[root@ceph-2 mds]# systemctl enable ceph-mds@0.service $ ]& v% @; {2 Z  Q/ o* Y: ~: B
Created symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@0.service to /usr/lib/systemd/system/ceph-mds@.service.
& T, O! J! m' y$ y8 E" P0 I, N1 o[root@ceph-2 mds]#

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:49:53 | 显示全部楼层
[ceph_deploy.conf][DEBUG ] found configuration file at: /root/.cephdeploy.conf
1 W$ g6 }& P$ ?8 |% e/ R[ceph_deploy.cli][INFO  ] Invoked (2.0.1): /usr/bin/ceph-deploy mds create compute03
& n8 x& d- y7 t( g) i  ~6 e$ ]) O  h[ceph_deploy.cli][INFO  ] ceph-deploy options:
; \$ }  v  H9 ~' H7 |6 O# ^: ^3 p' u[ceph_deploy.cli][INFO  ]  username                      : None
: W. N5 |$ q( M- m( G  O4 z% A[ceph_deploy.cli][INFO  ]  verbose                       : False
/ G; I& Y' s; L6 v[ceph_deploy.cli][INFO  ]  overwrite_conf                : False3 P( H4 V2 b6 P  J1 K
[ceph_deploy.cli][INFO  ]  subcommand                    : create
  F8 {: @5 X' [3 U4 y7 p[ceph_deploy.cli][INFO  ]  quiet                         : False
0 j/ y6 L8 W+ w& V3 M$ x& t5 l& A* b[ceph_deploy.cli][INFO  ]  cd_conf                       : <ceph_deploy.conf.cephdeploy.Conf instance at 0x7f182680d878># |* i7 K9 ?; h1 A$ S7 \& `
[ceph_deploy.cli][INFO  ]  cluster                       : ceph: A# i: F- v' X9 {' s
[ceph_deploy.cli][INFO  ]  func                          : <function mds at 0x7f1826a5fed8>' C( X# i8 x; T: a. x
[ceph_deploy.cli][INFO  ]  ceph_conf                     : None
; X$ N& B: ?. ]+ z. f, R! v[ceph_deploy.cli][INFO  ]  mds                           : [('compute03', 'compute03')]
+ B& Y. e" Y; T# x2 p! m' V0 D2 n' m: t[ceph_deploy.cli][INFO  ]  default_release               : False
3 f/ ]* `0 K9 H- k* P[ceph_deploy.mds][DEBUG ] Deploying mds, cluster ceph hosts compute03:compute03
# d7 b- y/ u0 @7 a  L' E; K[compute03][DEBUG ] connected to host: compute03 5 l/ p7 h' Q1 h3 }
[compute03][DEBUG ] detect platform information from remote host1 |! K" p: [/ V1 m/ i
[compute03][DEBUG ] detect machine type9 h4 V. ^0 [: j) n" U/ L
[ceph_deploy.mds][INFO  ] Distro info: CentOS Linux 7.9.2009 Core* `: e& F& r( h) F3 d
[ceph_deploy.mds][DEBUG ] remote host will use systemd
( U9 P9 c, n/ [( w, d[ceph_deploy.mds][DEBUG ] deploying mds bootstrap to compute030 @7 k) n& ]; _
[compute03][DEBUG ] write cluster configuration to /etc/ceph/{cluster}.conf
- t: J* i$ m; M1 D  E[compute03][WARNIN] mds keyring does not exist yet, creating one
3 z9 q& T# M* x& S$ c[compute03][DEBUG ] create a keyring file
# e" B+ S( E" B- N& c  P5 J9 _8 ~[compute03][DEBUG ] create path if it doesn't exist
! F, D, j; U6 F. n9 w, z- Z) C[compute03][INFO  ] Running command: ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.compute03 osd allow rwx mds allow mon allow profile mds -o /var/lib/ceph/mds/ceph-compute03/keyring
$ ]- e9 E$ M5 K2 L[compute03][INFO  ] Running command: systemctl enable ceph-mds@compute03
" Z3 A' p! m' D0 X: H0 \[compute03][WARNIN] Created symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@compute03.service to /usr/lib/systemd/system/ceph-mds@.service.
& i& N. h* s  y3 x+ h[compute03][INFO  ] Running command: systemctl start ceph-mds@compute03
8 U2 _9 a% W& U1 T; E  o! H% V[compute03][INFO  ] Running command: systemctl enable ceph.target

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 11:55:31 | 显示全部楼层
ceph --cluster ceph --name client.bootstrap-mds --keyring /var/lib/ceph/bootstrap-mds/ceph.keyring auth get-or-create mds.ceph-2 osd 'allow rwx' mds 'allow' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-2/keyring) v; b$ h6 q4 m& c
2 G9 o# e7 @* P
[root@ceph-2 ceph]# systemctl enable ceph-mds@ceph-2.service
) |5 o" z9 s& {# WCreated symlink from /etc/systemd/system/ceph-mds.target.wants/ceph-mds@ceph-2.service to /usr/lib/systemd/system/ceph-mds@.service.& t' X  I1 Z: i) j) w& Y. c
[root@ceph-2 ceph]# systemctl start ceph-mds@ceph-2.service

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:35:06 | 显示全部楼层
MDS$ p. L  v4 X3 U: y* ~6 C

7 J( d9 t3 w# v28. 创建mds工作目录
) K# ~# R# }8 e8 T, V+ |mkdir -p /var/lib/ceph/mds/ceph-admin
; w3 J7 r( X3 ~1 z# F
8 m# V' L: @# d. x0 R6 r' Y9 k: \5 Z. b  h9 [
29. 注册mds的密钥
4 P- W- K7 y6 V" T/ g, k, Rceph auth get-or-create mds.ceph-admin mds 'allow *' osd 'allow rwx' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-admin/keyring
3 v; D' i; {( d# m$ j
) N; J* ?  @3 e. W" R; U: \  R8 o# W# P% k; U, f, O$ L
30. 启动mds进程9 W+ Z- d. V4 }4 F* Q
ceph-mds --cluster ceph --id ceph-admin --setuser root --setgroup root
* M% s1 y. |* M; g+ l0 c' s$ v6 W* k$ X& r) x

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:52:05 | 显示全部楼层
[root@ceph-1 ~]# mkdir -p /var/lib/ceph/mds/ceph-1
6 D+ ?" R1 N9 l  Q( t5 _0 [8 k. [[root@ceph-1 ~]# ceph auth get-or-create mds.ceph-1 mds 'allow *' osd 'allow rwx' mon 'allow profile mds' -o /var/lib/ceph/mds/ceph-1/keyring$ B$ e/ w* O8 I$ m8 a, d

4 n% x* l2 w3 I" J8 g+ A
, `- s' h9 O- J- ]- s# Q" d添加MDS 创建mds数据目录 mkdir -p /var/lib/ceph/mds/ceph-`h...
9 J; Z3 h  d. b  K* K3 \添加MDS) O! l: b* Q# t9 S" Y6 k8 J: P9 o
创建mds数据目录5 G9 `/ z( {! G3 n' O! M
mkdir -p /var/lib/ceph/mds/ceph-`hostname -s`
# w. l. N8 v3 S- @2 c* B# f chown -R ceph.ceph /var/lib/ceph/mds/ceph-`hostname -s`
' e+ ^. w# i% B5 R复制
, M, j; I8 T" T7 L4 C4 _* e" n 创建keyring, B* |( X7 m$ j) \3 G8 B
ceph-authtool --create-keyring /var/lib/ceph/mds/ceph-`hostname -s`/keyring --gen-key -n mds.`hostname -s`
6 m+ |: f6 w3 Q! D0 j$ H复制' @, ]/ t- Z2 r8 p, `& ]- W+ B
导入keyring并设置权限
5 }- J5 y8 i  v* x4 Bceph auth add mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-`hostname -s`/keyring
* |6 h: k2 l5 ]2 p: E chown ceph:ceph /var/lib/ceph/mds/ceph-`hostname -s`/keyring/ a6 x& Z( |" i5 g+ w9 w6 w; u
复制
, g6 R% `4 }* d2 _' `' l% X9 k 修改ceph.conf配置文件
! P8 @" d: j9 e6 A  [* c" ccat >> /etc/ceph/ceph.conf <<EOF
! k! r: G$ ]8 h) U; S [mds.node-1]
* U) d# q& X) Y1 V3 X# { host = node-15 i8 c5 o3 Y* `/ L9 w
[mds.node-2]
% \9 S8 h5 k7 z6 \/ ]0 O host = node-2
# A3 Q9 A9 `! E; t [mds.node-3]' v: ^$ i: [! Z8 F
host = node-3
) [! ]; R% z, _6 c EOF
( v5 x1 U5 K% `$ O8 c2 }/ C复制
' H& N: G, y" e$ e1 p3 d9 v# A# l 启动mds服务' ?' L, d2 k- ]& x& `- C: E
systemctl enable ceph-mds@`hostname -s` && systemctl start ceph-mds@`hostname -s`/ g) e6 K" p3 a$ z
复制
, r0 u$ I% J4 m; s 现在状态应该是这样的; o+ F  K4 B5 d

8 X- B! C* C/ e9 j4 x/ t; \4 X7 t) S
. W' A% s9 r* M$ b0 h9 [5 V9 G9 W[root@ceph-1 mds]# systemctl start ceph-mds@ceph-1.service
. c3 k- F# K# d! a1 H8 x& @: c( C1 \[root@ceph-1 mds]# systemctl status ceph-mds@ceph-1.service
$ ^  R4 F! m; f! cceph-mds@ceph-1.service - Ceph metadata server daemon5 a: K" d; q# o
   Loaded: loaded ([url=]/usr/lib/systemd/system/ceph-mds@.service[/url]; enabled; vendor preset: disabled); s9 p7 |2 D0 S' D4 K
   Active: active (running) since Tue 2022-07-26 14:51:01 CST; 5s ago& s) c! u, T4 G$ L- s* w; O1 X
Main PID: 48091 (ceph-mds): Z9 J- G2 J1 d$ q
   CGroup: /system.slice/system-ceph\x2dmds.slice/ceph-mds@ceph-1.service0 R+ Q% s2 i6 Z9 u: n
           └─48091 /usr/bin/ceph-mds -f --cluster ceph --id ceph-1 --setuser ceph --setgroup ceph
+ p8 P4 f1 r& _7 cJul 26 14:51:01 ceph-1.novalocal systemd[1]: Started Ceph metadata server daemon.
( d8 v+ N) n# Y4 n) H% H2 TJul 26 14:51:01 ceph-1.novalocal ceph-mds[48091]: starting mds.ceph-1 at -
, z) i  f+ e! t" f9 v# e- s% O
) A% z5 V* p% u) O. T
( u! H% x/ c. T: S( q7 a0 B7 C1 X' w
/ O2 Z/ V6 s' g) I! I5 L- Q: Z# g

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
 楼主| 发表于 2022-7-26 14:53:25 | 显示全部楼层
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:06 , Processed in 0.019468 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表