ceph分布式存储cephfs部署ceph-deploy方式

admin

为了高可用性，我们部署三个MDS。

; b- @, \; v% J/ V
$ cd ~/ceph-deploy/    # 必须在这个目录下执行
" i  a  k3 L: ^% R  Q


$ ceph-deploy mds create ceph-1 ceph-2 ceph-3
- A6 c3 C# z6 ~- G$ W

# 安装mds

5 A% q0 u' E, ^: w: `5 e

$ ceph -s         # 查询集群状态

# K9 E! k/ h! V1 O& ^8 w
cluster:

% s4 v  n" X! s
# E" Z4 `4 O& y$ x4 ]2 Y) L/ x0 ?. aid:     b5ae2882-7ec6-46cd-b28e-6d7527e5deb3
. @- m+ _& K& }: P- f/ g

health: HEALTH_OK

* Y& a0 w& Y# X' \. S9 ^1 j
3 H( H6 ]$ H- k5 c9 X
/ P  u7 X6 g% i" c
services:
+ y, u6 Y2 u" z: x+ _

& i* a) ~- b* x8 P$ Rmon: 3 daemons, quorum ceph-1,ceph-2,ceph-3(age 42m)
; y9 l# l" ^3 j

& L$ D  z* F5 g  P! xmgr: ceph-1(active, since 46m), standbys: ceph-2, ceph-3

! v# W. V, c  }0 s$ c! W
mds:  3 up:standby        # 因为当前还没有文件系统，所以三个都是standby状态
# X4 G3 g% W+ ]+ ^+ J  P$ K) b

. K5 i( Y9 D; x5 y6 c0 Sosd: 3 osds: 3 up (since 44m), 3 in (since 44m)


rgw: 1 daemon active (ceph-1 ）
" k; J/ o: F+ p' }7 E' X, K& B


4 `. Z2 K1 v: E  d' J9 `
7 @8 G9 s  {5 e% r0 ftask status:
1 J  |4 U: P3 m- V3 m3 r# z. r

& n5 o& W/ _: [+ p
$ @6 O2 r5 v5 R/ I9 P
" b% t% O3 r$ \2 b" J  rdata:
6 _4 U$ [3 ~- z7 H

& I8 d' t" D) V+ [9 j" g' opools:   6 pools, 2000 pgs

9 d8 t4 i+ |  m) z4 i
objects: 201 objects, 3.6 MiB

, J& V% U% z' w! p$ G' T* @: w" D
usage:   20.0 GiB used, 580 GiB / 600 GiB avail


" H0 q- t3 I; T: ~$ rpgs:     2000 active+clean
- U+ p3 b2 q5 o8 R3 [: c三、创建cephfs文件系统•一个Ceph文件系统至少需要两个RADOS池，一个用于数据，另一个用于元数据。注意元数据池中的任何数据丢失都可能导致整个文件系统无法访问。
•对元数据池使用较低延迟的存储（例如SSD），因为这将直接影响在客户端上观察到的文件系统操作的延迟。
3.1 创建pool
  l. q; \" d5 c. l
+ G+ S. u' q; F5 k: H0 w$ ceph osd pool create cephfs_metadata 32 32
% f, V) N: }9 a# Q+ t8 {
" @3 k/ k7 s, g% P8 b
& F2 Z0 s4 b' ?5 M$ ceph osd pool create cephfs_data 32 32

! u3 ]8 o. m% |1 D

$ ceph osd lspools


1 .rgw.root


2 default.rgw.control

5 t- @  b# i# c2 k
3 default.rgw.meta


  z5 X4 P1 W' l! D1 K4 default.rgw.log

- w# w5 e# m4 l1 e
! I/ P/ g- T* C$ O6 G7 a/ m5 default.rgw.buckets.index
* E- |- k+ v& ?- b2 T1 t' ^0 d  _8 ?9 c

6 default.rgw.buckets.data


7 cephfs_metadata
0 ?0 f+ D+ _+ d
* s$ f5 B: K3 m9 _  t! b
2 y/ D. y3 f) z" F) ^4 [# }; T' ?8 cephfs_data
0 v4 b& u2 A) Y& v# A8 C. g

# 确认pools已创建
3.2 创建文件系统
# u# _* I: _2 t. F$ e; O& Y
1 q% B2 p: r; L$ B/ u' s$ ceph fs new cephfs-demo cephfs_metadata cephfs_data


3 Z3 u; c8 @. X# 创建文件系统，格式为：ceph fs new <fs_name> <metadata> <data>

* A* T7 K( a' W: N

$ ceph fs ls   # 查看cephfs相关信息


name: cephfs-demo, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
3.3 确认mds进入active状态

$ ceph -s
7 g& H( L2 }' B2 Y

cluster:
2 ~7 Q( f6 N# y$ a
3 L# ~  n" g$ V' G2 N$ v
id:     b5ae2882-7ec6-46cd-b28e-6d7527e5deb3

9 Z+ y: ~! p* B! j8 \( a( |
health: HEALTH_OK

$ x9 W; l5 [% M1 o$ _


, L+ n  j% U% E+ `' V0 @services:

5 T% ~  h& ^" A# D, T
mon: 3 daemons, quorum ceph-1,ceph-2,ceph-3(age 60m)

3 `3 ~3 m( l$ a* d3 a; j, @
mgr: ceph-1(active, since 64m), standbys: ceph-2, ceph-3
  \3 o* c& \; i

) r# m0 n+ E" y9 ?: Y4 N2 Hmds: cephfs-demo:1 {0=ceph-1=up:active} 2 up:standby


) d4 R4 [$ S* Z8 M* Z5 u7 m# 当前活跃状态的是pod4-core-20-6，还有2个备用节点
+ \4 ?- T5 Z, c5 K

, X& y+ `/ F* Y% Nosd: 3 osds: 3 up (since 62m), 3 in (since 62m)


2 j/ T# d0 A) V( L8 ~rgw: 1 daemon active (ceph-1)
7 K# W0 f3 c! J: }8 g* n
& G, f8 k% z  h* i9 P% H$ w( \) \
' A0 F2 X) {4 G
8 w8 G+ |# |4 [3 y9 V; s
, o5 i9 t0 W- ]task status:

, j; ^. ]6 m9 H4 j; `
  l& Y- A3 b" i& \- N+ |& I1 _9 A, Qscrub status:
% c: v* m" i+ f) y
' |- c( E" s5 c$ M9 G. K
# |  i8 D3 w' {! emds.ceph-1: idle



8 ?3 _" D' \/ ]  T
3 ]/ @) D4 Z0 A, ~& y- ]+ pdata:

3 W4 o3 q- F4 e' r2 E: E+ U( @
7 j2 u9 y4 q2 |% x3 Ppools:   8 pools, 2000 pgs


objects: 223 objects, 3.6 MiB
  E6 D0 l! {7 W% B. x

2 C3 h8 ?3 Y/ J+ P! h% yusage:  20.0 GiB used, 580 GiB / 600 GiB avail


pgs:     2000 active+clean
' y% V& [' @. N  Y* I9 @$ m( W3.4 cephfs内核级别挂载
! \; `+ _  H) k) y, p$ w直接内核级别使用，性能最好。
参考：官方文档

3 Q' j5 b: q) ?$ A/ D
$ mkdir /ceph_fs
. O6 A  n  B) ~5 r. M) r9 Z
) N! m" [8 z: m; {

$ mount -t ceph 192.168.120.16:6789,192.168.120.31:6789,192.168.120.23:6789:/ /ceph_fs/ -o name=admin
9 p, e2 i: d6 `5 p9 t# J) @5 \+ S
8 o8 m" }2 o) n" t& A2 u* O4 l
# 挂载需要指定ceph集群中monitor地址及用户名，monitor地址可以指定一个或多个（如果其中一个宕机不影响使用）

3 P" c8 B# F) J5 G挂载后，即可自行写入数据进行测试。
+ u4 i% }! |* u% [6 i9 x3.5 用户空间挂载使用

  z" N9 m6 ]: U" m, f* D8 ~% d$ yum -y install ceph-fuse     # 安装客户端
2 R: Q7 J, e1 f7 {# {1 L/ A
. O  j% l- d# ?; L+ h
6 D! q* z: x' ?( q$ e+ D# h
* m( h* x0 Q/ ^1 e$ mkdir /ceph-fuse   # 创建挂载点并挂载使用
: |/ r2 Z! b5 h; K' I5 H% \

; F8 i1 u! r0 ?. F9 z- @. H
$ ceph-fuse -n client.admin -m 192.168.99.11:6789,192.168.99.12:6789,192.168.99.13:6789 /ceph-fuse
2 k1 H; F8 B) J2 R

0 t. ~1 o0 f% |5 j' d# monitor地址可以可以指定一个或多个（如果其中一个宕机不影响使用）


. t' ?4 P" O' g# b6 ]$ m
/ i$ q2 J: C& M* v$ N$ df -hT /ceph-fuse       # 查看确认
# t& X# _5 q5 x) b# d" g5 D

9 E' i0 F: G% C. {' I$ R文件系统       类型            容量  已用  可用 已用% 挂载点
6 a3 e5 e% F% {: E5 B& h* S
  L. T' ^+ X+ q4 _% b# H3 n
% i8 {/ K( Z9 w" rceph-fuse      fuse.ceph-fuse   94G     0   94G    0% /ceph-fuse
" v3 C- L9 P- ]0 D& _3.6 不同用户挂载不同目录3.6.1 添加新的pool到cephfs
( s) e" t4 f  v( C; ~( M$ x
# cephfs中增加新的pool
5 n* u5 J3 ]4 O7 Z: _# x% k* ~

$ ceph osd pool create cephfs_data1 64 64   # 创建pool

1 ~/ N. t! A5 P, W/ d# @& T& Y
7 B, B2 b8 @2 g' \  n3 c$ ceph fs add_data_pool cephfs-demo cephfs_data1    #加到cephfs中
: d+ ^5 |  X/ _( C4 n' ]2 ^% d3.6.2 创建bruce的用户，这个用户只能访问目录/bruce，数据存储在 pool cephfs_data1 中

8 [- p, K0 V; p; N. B0 z8 P$ ceph auth get-or-create client.bruce mon 'allow r' \
4 ^* |% s+ z8 D2 s+ ^" i

mds 'allow r, allow rw path=/bruce' osd 'allow rw pool=cephfs_data1'

9 h7 @: y# ?) L9 V1 C/ P
[client.bruce]


6 ^* U' v" u+ |0 Z, ~. jkey = AQCtFc9g/CmyERAAzi7ORpEWIxlMiiFC1GK7nA==
9 o. ?% v8 T7 @' R% T7 o3.6.3 客户端挂载
' a0 O8 c4 t$ H$ A/ A' z& Y
' n8 r' e+ }4 d. R. {% y6 u0 N$ mkdir /data1


$ \# C/ P" I0 z. P2 Y! R/ `: B. W$ mount -t ceph 192.168.120.16:6789,192.168.120.30:6789,192.168.120.23:6789:/ /data1/ \


-o name=bruce,secret=AQCtFc9g/CmyERAAzi7ORpEWIxlMiiFC1GK7nA==
四、cephfs权限与访问控制4.1 添加用户
- p* F" A$ P, f; }; d" b添加用户jerry，jerry只有对/jerry路径下的文件具有读写权限，对其他路径下的文件只有读的权限

0 @+ ]/ |, |; q9 e
$ ceph auth get-or-create client.jerry mon 'allow r' \
  h/ T( `% }' u

>   mds 'allow rw,allow rw path=/jerry' osd 'allow rw pool=cephfs_data2'
+ N, O. d( j" V& j
, ^3 j: @9 C2 O" y+ Z- b
( P) J& q- p# u5 [& r[client.jerry]
7 z. x1 p9 ?1 V' ^" X$ J
- o" G7 A) ?! K0 S& r
key = AQCdFs9gcepnKRAActZ4OcFf0bg3HsDpVMhlMA==


, p: P' J3 G5 x2 K2 P& Q( {2 M
$ mount -t ceph 192.168.120.16:6789:/  /data   -o name=jerry,secret=AQCdFs9gcepnKRAActZ4OcFf0bg3HsDpVMhlMA==


# 使用jerry用户挂载
+ D" C5 z6 S6 a4.2 获取权限列表

9 ?4 f/ T! L6 Z* G( d, W5 x3 @$ H$ ceph auth list
! E; g1 q4 }* |1 C( s3 N4.3 删除用户

& Y% t9 v6 J9 Q* f$ ceph auth del client.jerry
4.4 获取某个用户的key
( j. C9 x+ o% C" ]$ Y3 K
$ ceph auth get-key client.bruce
4.5 修改用户权限
& ?8 l8 e9 A+ z4 x! T) ~& C) [
$ ceph auth caps client.jerry mon 'allow r' mds 'allow r, allow rw path=/jerry, allow rw path=/test' osd 'allow rw'
: T+ I$ e  q, d: l2 ^  i4.6 注意事项
" m% _7 E$ i7 q3 D! k0 F•当用java api操作cephfs时，api无法指定新建文件or目录的所属用户or所属组，这两个属性取决于运行java程序时的当前用户(uid)及其所属的用户组(gid)
: E0 M' }- F1 z1 \: d) f•经过测试发现，cephfs文件or目录的权限是linux本身用户权限和cephfs用户权限的交集
•修改用户权限后，在本地需要重新挂载才可生效
•建目录，设置权限无需前后顺序
9 P9 X5 ]+ N- d* p
! Z8 ]+ p% \# g7 o- q" h& D$ c2 e