ceph 分布式存储手动方式添加mds文件系统

admin

#在这里快速回复#bbs168x.cn/forum.php?mod=viewthread&tid=2319&extra=

admin

[root@ceph-3 ~]# ceph fs status
, A* a# B6 V' O1 m
+-------------+
| Standby MDS |
+-------------+
* ]7 J, @; M4 J8 c8 @( k0 Q: H  X|    ceph-3   |
|    ceph-1   |
: K7 U8 b9 \, m8 X& f: i0 g|    ceph-2   |
+-------------+
' ^% a- U% ~$ t4 uMDS version: ceph version 12.2.8-52.el7 (3af3ca15b68572a357593c261f95038d02f46201) luminous (stable)
[root@ceph-3 ~]# ceph fs status
) _) J8 G% G1 _
4 G& |0 {8 f0 O) ~+-------------+
| Standby MDS |
+-------------+
% Z/ y7 M( s3 s+ [|    ceph-3   |
) `) N4 E3 M/ B# i|    ceph-1   |
|    ceph-2   |
  V: E2 q, h! C5 K+-------------+

admin

存储池
0 I. c8 B* ?& Y0 ]1 b. `/ i( f
创建存储池
ceph osd pool create {pool-name} {pg-num} [{pgp-num}] [replicated] \
        [crush-ruleset-name] [expected-num-objects]
$ E1 U. F  s  v5 r+ \ceph osd pool create {pool-name} {pg-num}  {pgp-num}   erasure \
1 N  n* [* ]& V/ d* T        [erasure-code-profile] [crush-ruleset-name] [expected_num_objects]
, L" d. P" {7 `% e2 e. X4 d: A; A6 z
: n+ M2 H/ e) A: ?
2 {, u: U# U( S& _例如：

6 a2 V7 ~  A  P; p, e; @* }4 W
, m' P/ y0 z, K6 R! h1 W+ P
[root@ceph-3 ~]# ceph osd pool create cephfsdata 16 16
3 }' R; j; M! ypool 'cephfsdata' created
4 W" C- j3 D2 {2 }8 B0 ]9 Y# Z[root@ceph-3 ~]# ceph osd pool create cephfsmetadata 16 16
pool 'cephfsmetadata' created

注意可能会报如下错误：
Error EINVAL: crushtool check failed with -22: crushtool: exec failed: (2) No such file or directory
' k4 S1 O4 l, N# I  q2 d2 `* T

! m# _* P7 D) W# a6 ]' e解决方法：将crushtool模块移动到/usr/bin/目录下

创建ceph文件系统
5 J7 m2 H9 H& `" x. [ceph fs new <fs_name> <metadata> <data>
7 X4 n3 Q% K- ?. ^3 y& o; q4 T

例如：
+ Y/ `: C' F1 f' Hceph fs new cephfs fsmetadata fsdata
& P! @+ \% v1 B& l2 N[root@ceph-3 ~]# ceph fs new cephfs cephfsmetadata cephfsdata
, |, I# P" k, S2 E% Hnew fs with metadata pool 3 and data pool 2

ok，到这里你就可以挂载文件系统了。。。

admin

[root@ceph-3 ~]# ceph osd pool ls detail
pool 2 'cephfsdata' replicated size 2 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 115 flags hashpspool stripe_width 0 application cephfs
2 ~7 w- ]5 b- W6 ^( c) W% Ipool 3 'cephfsmetadata' replicated size 2 min_size 1 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 115 flags hashpspool stripe_width 0 application cephfs

[root@ceph-3 ~]# ceph osd pool set cephfsdata size 3
set pool 2 size to 3
- n3 e2 A# J' S. G, ?[root@ceph-3 ~]# ceph osd pool set cephfsmetadata size 3
, }! a9 |2 J5 e8 V- y- V  Aset pool 3 size to 3
0 G2 X4 \( s+ ]% [% o2 J- e& R[root@ceph-3 ~]# ceph -s
  W( G" I( ^: j  e, H, t, c  cluster:
    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
* }* b- ~! l3 D    health: HEALTH_WARN
            too few PGs per OSD (13 < min 30)

  services:
; e. O: V' E, f2 V9 d/ L" M1 V    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
    osd: 6 osds: 6 up, 6 in
# n* {- S$ G6 L' ?$ y
  data:
    pools:   2 pools, 32 pgs
    objects: 21 objects, 2.19KiB
2 @0 F" Y! X% b2 W4 G. m    usage:   652MiB used, 584GiB / 585GiB avail
    pgs:     32 active+clean

[root@ceph-3 ~]#

- Y6 Y/ f6 A8 ]  [
$ C9 n, ^& p  l% f: U
% l$ T! F9 o; b1 b5 W[root@ceph-3 ~]# ceph osd pool set cephfsdata pg_num 32
set pool 2 pg_num to 32
7 e: d4 d+ K/ @: l[root@ceph-3 ~]# ceph osd pool set cephfsdata pgp_num 32
% d$ N5 l: s- Aset pool 2 pgp_num to 32
[root@ceph-3 ~]# ceph osd pool set cephfsmetadata pg_num 32
0 @  L1 T- B4 ?5 a1 h( u9 Xset pool 3 pg_num to 32
$ z* g( h2 V* V[root@ceph-3 ~]# ceph osd pool set cephfsmetadata pgp_num 32
set pool 3 pgp_num to 32
- H9 b+ z, R; v2 x7 `1 }& r[root@ceph-3 ~]# ceph -s
  cluster:
$ [% @( `5 F' Y7 g3 Q    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
& |, \; e: A( W1 y" y0 R6 s! _6 n    health: HEALTH_WARN
            Reduced data availability: 15 pgs inactive, 8 pgs peering
            too few PGs per OSD (29 < min 30)
2 T$ M9 s& v5 D2 m
  services:
    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
    osd: 6 osds: 6 up, 6 in
5 V3 C& N1 r4 S5 a, ~( y
  data:
3 @' M! S+ @" }" b- ^    pools:   2 pools, 64 pgs
    objects: 12 objects, 1.12KiB
    usage:   654MiB used, 584GiB / 585GiB avail
9 Z( I+ }! o& Z# q, i    pgs:     7.812% pgs unknown
             60.938% pgs not active
4 @6 Z* b& e& `% M! t+ M             27 activating
. v( m+ s; M' s+ ^             20 active+clean
4 P; U- l9 I6 L; \             12 peering
  K3 j1 k: J( N+ X, q; F$ ?2 _  `; n             5  unknown

* r" a- y" X/ T: `' B- w+ F; C3 ]  io:
    client:   127B/s wr, 0op/s rd, 1op/s wr
    recovery: 2B/s, 0objects/s

# M( f2 y6 @$ A1 i; R/ L
0 N1 s/ q+ K1 n4 H3 n' f$ ]% P加载/卸载cephfs过程。
( ?- W8 b1 |4 x) F3 b
' v- X9 k) i) U' f在这里我做的比较简单，就是在ceph集群的机器上做的cephfs加载操作。若在其它客户端进行加载的话，需要将ceph集群配置文件ceph.conf以及访问cephfs的用户keyring复制到对应的客户端。对于通过内核方式加载来说，需要内核模块支持cephfs，对于通过fuse方式加载来说，需要手动安装ceph-fuse这个包。
" @% v' o6 Y: V% d# e8 ]( u- n
1、通过内核模块的方式加载cephfs。
" O2 J- m' A; Z3 }1 ]$ ~  a
) l! R( Q( t3 g& T6 B#mkdir -p /mnt/mycephfs
* x; m, m: k  [6 x" p
#mount -t ceph 127.0.0.1:6789:/ /mnt/mycephfs
1 |& s) d' [- s& I) T" B
% C/ g1 |+ @$ p6 m5 C之后通过mount命令就可以看到cephfs已经成功的挂载到/mnt/mycephfs目录下。后面就可以和操作本地文件系统一样操作/mnt/mycephfs目录。
* G* O- u$ f/ E3 {3 P- q
2、通过内核模块的方式卸载cephfs。

#umount /mnt/mycephfs

9 b) p/ f, k: l0 K8 i% q& _# ^5 Y3、通过fuse方式加载cephfs。
% B8 p( p6 z+ a" l1 g1 q
#ceph-fuse -m 127.0.0.1:6789 /mnt/mycephfs
; \% e9 i, c+ L/ S1 Z/ \[root@ceph-3 ~]# ceph-fuse -m 192.168.120.31:6789 /mnt/mycephfs/
" I" M7 C  ]* s2022-07-26 17:47:13.582325 7fadc9ddc0c0 -1 init, newargv = 0x558a74c0e720 newargc=9
( J# k0 d0 B- ~7 Lceph-fuse[30570]: starting ceph client
ceph-fuse[30570]: starting fuse
. I6 \9 S5 R+ R1 g: R1 @) {: H! t% d; R. w[root@ceph-3 ~]# df -Th
  e4 i' s+ |8 j. YFilesystem            Type            Size  Used Avail Use% Mounted on
devtmpfs              devtmpfs        1.9G     0  1.9G   0% /dev
tmpfs                 tmpfs           1.9G     0  1.9G   0% /dev/shm
! o3 K5 T$ l9 K2 J+ [+ {tmpfs                 tmpfs           1.9G  159M  1.7G   9% /run
tmpfs                 tmpfs           1.9G     0  1.9G   0% /sys/fs/cgroup
/dev/mapper/rhel-root xfs              50G  7.6G   42G  16% /
/dev/vda1             xfs             497M  143M  355M  29% /boot
tmpfs                 tmpfs           379M     0  379M   0% /run/user/0
/ k. j: ~. U& S+ n/dev/vdb1             xfs              98G  109M   98G   1% /var/lib/ceph/osd/ceph-4
" X8 \( [; d  G2 F; K1 i7 X. d' Q/dev/vdc1             xfs              98G  109M   98G   1% /var/lib/ceph/osd/ceph-5
3 n! |  G7 S- }ceph-fuse             fuse.ceph-fuse  185G     0  185G   0% /mnt/mycephfs

. N* Y1 @) j. D# x' G& w! I
之后通过mount命令就可以看到cephfs已经成功的挂载到/mnt/mycephfs目录下。后面就可以和操作本地文件系统一样操作/mnt/mycephfs目录。
9 Z$ n" X4 X0 A5 E
4、通过fuse方式卸载cephfs。

#fusermount -u /mnt/mycephfs

admin

[root@ceph-3 ~]# ceph -s
  cluster:
    id:     57bf4711-2218-46af-99d6-9c68ae230ce1
    health: HEALTH_OK

4 {- @" ]" G% J  ]: m+ ^; o  services:
    mon: 3 daemons, quorum ceph-2,ceph-1,ceph-3
    mgr: ceph-1(active), standbys: ceph-2, ceph-3
    mds: cephfs-1/1/1 up  {0=ceph-2=up:active}, 2 up:standby
+ B0 M5 B: @- j    osd: 6 osds: 6 up, 6 in

. d8 W8 C- a* i9 i: B8 Q% H1 y  data:
    pools:   2 pools, 64 pgs
    objects: 21 objects, 2.19KiB
    usage:   653MiB used, 584GiB / 585GiB avail
5 Z: `0 c. X- h/ F* m* c8 A    pgs:     64 active+clean

  io:
    client:   0B/s wr, 0op/s rd, 0op/s wr
3 z: }7 {1 w* s3 U    recovery: 0B/s, 0objects/s