ceph 分布式存储手动方式添加mds文件系统

admin

#在这里快速回复#bbs168x.cn/forum.php?mod=viewthread&tid=2319&extra=

admin

[root@ceph-3 ~]# ceph fs status

+-------------+
| Standby MDS |
+-------------+
|    ceph-3   |
" y( `4 z: v9 [; s|    ceph-1   |
|    ceph-2   |
+ x* X' ?8 N+ l9 n7 _" E9 i+-------------+
MDS version: ceph version 12.2.8-52.el7 (3af3ca15b68572a357593c261f95038d02f46201) luminous (stable)
3 v& o' ^# z1 g- M/ M" e[root@ceph-3 ~]# ceph fs status

+-------------+
4 ^4 p( g+ w" ~# |. p4 m) n; M/ e3 n| Standby MDS |
+-------------+
|    ceph-3   |
|    ceph-1   |
$ U2 l% {6 o% t2 G|    ceph-2   |
+-------------+

admin

存储池

# ^' Y/ ?4 F' R# \* P! [+ C创建存储池
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
% }* M# Z1 [3 q        [crush-ruleset-name] [expected-num-objects]
8 a5 g5 J2 N$ P! K, Q! qceph osd pool create {pool-name} {pg-num}  {pgp-num}   erasure \
& E5 g! o4 i2 G; J/ M7 Q/ L2 i        [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]


  r) T' ~/ Q# k3 A' T例如：


+ P) K! i5 a4 S, i) a2 F
+ N+ N  X0 N& F( [  u3 e) R9 w2 p[root@ceph-3 ~]# ceph osd pool create cephfsdata 16 16
pool 'cephfsdata' created
[root@ceph-3 ~]# ceph osd pool create cephfsmetadata 16 16
' H4 g' f9 p4 Qpool 'cephfsmetadata' created

& c& ]& p4 |5 n6 y注意可能会报如下错误：
" @+ h$ t4 }& q4 a! O# qError EINVAL: crushtool check failed with -22: crushtool: exec failed: (2) No such file or directory


解决方法：将crushtool模块移动到/usr/bin/目录下

9 w+ f: x( _  @: Z% o创建ceph文件系统
% k4 \7 g- R) {# V5 Eceph fs new <fs_name> <metadata> <data>
3 `1 _4 j) Y2 _5 l: h$ P9 L
, z& [- {/ t9 b* F1 b
$ c6 R" y: \2 C# x: n例如：
1 I3 M0 i( k0 L% Q+ G7 N) @- |ceph fs new cephfs fsmetadata fsdata
[root@ceph-3 ~]# ceph fs new cephfs cephfsmetadata cephfsdata
2 E8 n. N% x- O) a! Y  O0 `new fs with metadata pool 3 and data pool 2
* ?0 X2 ^* ]5 e4 [1 |
3 r9 J0 t7 n0 K3 I& E1 P' ~3 Rok，到这里你就可以挂载文件系统了。。。

admin

[root@ceph-3 ~]# ceph osd pool ls detail
pool 2 'cephfsdata' replicated size 2 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 115 flags hashpspool stripe_width 0 application cephfs
pool 3 'cephfsmetadata' replicated size 2 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 115 flags hashpspool stripe_width 0 application cephfs

. r9 c/ x* q) o[root@ceph-3 ~]# ceph osd pool set cephfsdata size 3
set pool 2 size to 3
, G, _" @  b3 N; P# Y- t/ z[root@ceph-3 ~]# ceph osd pool set cephfsmetadata size 3
set pool 3 size to 3
[root@ceph-3 ~]# ceph -s
  cluster:
0 e3 c6 y/ m0 `9 f# {! r. y    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
/ f* M4 k" ~/ m' ?4 {    health: HEALTH_WARN
            too few PGs per OSD (13 < min 30)

) ]$ Q- n5 @3 S0 L3 {$ A" R  services:
    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
/ {5 S" l' Q5 L' A5 o/ n# \    osd: 6 osds: 6 up, 6 in

; a) D$ ~# U- Q: y  data:
    pools:   2 pools, 32 pgs
2 r( O6 j. F. F3 }. X    objects: 21 objects, 2.19KiB
3 N2 l' s  G1 b$ r5 k    usage:   652MiB used, 584GiB / 585GiB avail
    pgs:     32 active+clean

0 `. Z$ Z; ?+ V, @0 ~+ s, i' f[root@ceph-3 ~]#



[root@ceph-3 ~]# ceph osd pool set cephfsdata pg_num 32
set pool 2 pg_num to 32
$ }9 s2 y* l, G" w# Z6 F' O[root@ceph-3 ~]# ceph osd pool set cephfsdata pgp_num 32
/ C8 n- J2 V9 K) {) uset pool 2 pgp_num to 32
[root@ceph-3 ~]# ceph osd pool set cephfsmetadata pg_num 32
set pool 3 pg_num to 32
; \+ Y$ W0 \' a# y- ?2 V[root@ceph-3 ~]# ceph osd pool set cephfsmetadata pgp_num 32
set pool 3 pgp_num to 32
[root@ceph-3 ~]# ceph -s
* B. H2 ~; r+ H$ Z; n$ g% O& b  cluster:
  c; _" V* F7 H0 D( v* L    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
    health: HEALTH_WARN
            Reduced data availability: 15 pgs inactive, 8 pgs peering
            too few PGs per OSD (29 < min 30)

  services:
    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
; ^( j1 e3 R. f    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
- @7 Y7 N! n2 S& f2 q    osd: 6 osds: 6 up, 6 in

  data:
8 w, X8 m, c' w! N& u1 b6 N    pools:   2 pools, 64 pgs
6 H* G9 C' ?' z( Q, f7 R    objects: 12 objects, 1.12KiB
! j+ H" l+ d: U8 M    usage:   654MiB used, 584GiB / 585GiB avail
    pgs:     7.812% pgs unknown
* s' c4 t2 Q  j, ^; M0 h3 Y- n9 t             60.938% pgs not active
             27 activating
% C, F) e8 S7 m4 u( H             20 active+clean
             12 peering
0 f2 _5 P6 m& p& A             5  unknown
; E  W2 R, q- }. j6 Q& F
  io:
    client:   127B/s wr, 0op/s rd, 1op/s wr
    recovery: 2B/s, 0objects/s
, ^0 J3 z" H& |- N2 x

加载/卸载cephfs过程。

在这里我做的比较简单，就是在ceph集群的机器上做的cephfs加载操作。若在其它客户端进行加载的话，需要将ceph集群配置文件ceph.conf以及访问cephfs的用户keyring复制到对应的客户端。对于通过内核方式加载来说，需要内核模块支持cephfs，对于通过fuse方式加载来说，需要手动安装ceph-fuse这个包。
" U# Z0 A+ ^, _+ {
1、通过内核模块的方式加载cephfs。

5 X8 X- G, Q6 M) Z% I+ x/ k#mkdir -p /mnt/mycephfs
  k2 o, x$ k1 J4 o# D/ D
#mount -t ceph 127.0.0.1:6789:/ /mnt/mycephfs
( i. a+ F1 X- J4 |
2 G; F& D4 L9 y之后通过mount命令就可以看到cephfs已经成功的挂载到/mnt/mycephfs目录下。后面就可以和操作本地文件系统一样操作/mnt/mycephfs目录。
9 e: ~( k0 C  \
6 j7 w+ w( {3 V) q9 \2、通过内核模块的方式卸载cephfs。

" I, f8 V: U7 Q! J5 M8 F  o#umount /mnt/mycephfs

, `7 w* H/ `' B. R; l3 u3、通过fuse方式加载cephfs。
/ @- u+ k' ]# `! k4 e
$ k  V" L/ y8 J5 v% W1 b4 t9 V#ceph-fuse -m 127.0.0.1:6789 /mnt/mycephfs
[root@ceph-3 ~]# ceph-fuse -m 192.168.120.31:6789 /mnt/mycephfs/
- {1 a1 k: m* @1 z+ s3 p4 V& @2022-07-26 17:47:13.582325 7fadc9ddc0c0 -1 init, newargv = 0x558a74c0e720 newargc=9
ceph-fuse[30570]: starting ceph client
ceph-fuse[30570]: starting fuse
$ H! X9 W: V7 g7 b5 N/ d# N[root@ceph-3 ~]# df -Th
4 E4 i: g$ ?" u3 R- J2 [2 WFilesystem            Type            Size  Used Avail Use% Mounted on
/ _0 z* E  V0 e! ]' Hdevtmpfs              devtmpfs        1.9G     0  1.9G   0% /dev
! @; M  j+ I/ V1 f  Itmpfs                 tmpfs           1.9G     0  1.9G   0% /dev/shm
* [7 b  l- t" q$ R0 \) q- ~& ftmpfs                 tmpfs           1.9G  159M  1.7G   9% /run
tmpfs                 tmpfs           1.9G     0  1.9G   0% /sys/fs/cgroup
5 V) M0 C; K; N/ y. `1 W9 W( N/dev/mapper/rhel-root xfs              50G  7.6G   42G  16% /
/dev/vda1             xfs             497M  143M  355M  29% /boot
! E, F7 S* a. U! Rtmpfs                 tmpfs           379M     0  379M   0% /run/user/0
* l0 g( s* H8 i8 {) M/dev/vdb1             xfs              98G  109M   98G   1% /var/lib/ceph/osd/ceph-4
/dev/vdc1             xfs              98G  109M   98G   1% /var/lib/ceph/osd/ceph-5
ceph-fuse             fuse.ceph-fuse  185G     0  185G   0% /mnt/mycephfs

; k- m) \3 X4 `; G5 Z7 u! P
  {3 i9 c4 M1 F8 i之后通过mount命令就可以看到cephfs已经成功的挂载到/mnt/mycephfs目录下。后面就可以和操作本地文件系统一样操作/mnt/mycephfs目录。

4、通过fuse方式卸载cephfs。
. I4 c* T7 }3 C/ P; O( u4 D1 [
#fusermount -u /mnt/mycephfs

admin

[root@ceph-3 ~]# ceph -s
7 h& x0 Q( G% i4 A" P, B  cluster:
    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
/ A5 |: j7 b, v: C/ }    health: HEALTH_OK

8 f. L" I& r4 b6 G6 d1 ~  services:
" M3 G' b9 P$ M, @* E2 B. O) h    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
    osd: 6 osds: 6 up, 6 in
& c, E9 ~3 ^% i/ R) b! P: J/ q2 U
  data:
    pools:   2 pools, 64 pgs
    objects: 21 objects, 2.19KiB
6 f. `9 r9 c8 V    usage:   653MiB used, 584GiB / 585GiB avail
7 F3 E# z' ~9 }  e7 J    pgs:     64 active+clean

/ S3 }; Z2 M; X3 G9 ^3 C+ G; D  io:
    client:   0B/s wr, 0op/s rd, 0op/s wr
; x8 b! @& c% {/ ]9 \2 g2 I    recovery: 0B/s, 0objects/s