ceph分布式存储cephfs部署ceph-deploy方式

admin

为了高可用性，我们部署三个MDS。
6 P/ f8 x* u9 G  u4 C% s
/ g( b9 j0 F$ q; p7 W0 @
$ cd ~/ceph-deploy/    # 必须在这个目录下执行



$ ceph-deploy mds create ceph-1 ceph-2 ceph-3
4 U) ?  Y' U1 s8 ^- Q

* Z$ O" E# G4 @# 安装mds

, D: k# O. \( V3 O$ `
- f" Q% c8 _$ Z1 [
$ ceph -s         # 查询集群状态


cluster:


, y& e% R+ G7 _id:     b5ae2882-7ec6-46cd-b28e-6d7527e5deb3
. l9 \! H  x3 W4 V& n
* i7 |! c9 v/ ^& M" `
2 O' B5 g% N7 l+ Hhealth: HEALTH_OK
5 R6 }- R. ~* W( Z& o: Y8 ?
. G* b2 }. {. C$ k# L

! D' |0 n% z3 U5 X4 U0 r6 R5 b
) [$ I+ h' o5 Q  k. Q# ^services:
) M* O" F8 N8 T) C( U9 ^$ v0 r
& }8 Y, a' ~/ h' s' G7 Z3 D4 d
! R* h& d. P0 ~) Zmon: 3 daemons, quorum ceph-1,ceph-2,ceph-3(age 42m)

1 Z# r3 y, A5 H! \' \: i+ ]! \9 d$ G
/ a- x5 P! P$ R/ }+ s: y$ H( Dmgr: ceph-1(active, since 46m), standbys: ceph-2, ceph-3
! Z8 Q0 n# Q' @. r
5 w$ ]9 Q( D7 V  j7 p3 |3 w- S
! o! b; t9 U( z" t" Y4 ~9 Smds:  3 up:standby        # 因为当前还没有文件系统，所以三个都是standby状态

2 d6 a  m; T, p' f' x) n, ]
osd: 3 osds: 3 up (since 44m), 3 in (since 44m)


rgw: 1 daemon active (ceph-1 ）
" ~$ C  A# l8 G6 [

0 x+ L. u- d* Z5 z$ ^

* l! ^/ V, E- F! k% V2 f+ Q2 i1 B2 Atask status:
0 y' \- ^! Q+ c7 a


6 k2 c$ S# G- J: o
data:


pools:   6 pools, 2000 pgs
3 p* `3 ?/ i3 l: K

objects: 201 objects, 3.6 MiB


usage:   20.0 GiB used, 580 GiB / 600 GiB avail
+ O3 B% T# m9 c. h

$ f# b2 d: ~; N& h5 |# B, T6 kpgs:     2000 active+clean
) q  r2 s; r3 c! k9 c1 E3 R. s- s- x三、创建cephfs文件系统•一个Ceph文件系统至少需要两个RADOS池，一个用于数据，另一个用于元数据。注意元数据池中的任何数据丢失都可能导致整个文件系统无法访问。
/ a" \7 K7 K! U•对元数据池使用较低延迟的存储（例如SSD），因为这将直接影响在客户端上观察到的文件系统操作的延迟。
9 g3 ~( d4 u( X5 f3.1 创建pool

$ ceph osd pool create cephfs_metadata 32 32

' H/ `0 k; w6 a- T5 Q$ \$ ]/ D
$ ceph osd pool create cephfs_data 32 32

  {8 _, S; Z8 B: x  A' P
8 s( M5 P- b" k8 V
$ ceph osd lspools


1 .rgw.root
; b. b+ W  _' E; D3 [& Q

6 E3 `6 W7 B  w+ b$ d, B4 o. w- {2 default.rgw.control

  x/ t' {- G9 a9 v
3 default.rgw.meta
& c% p) u; g" b% ?" R

4 default.rgw.log


5 default.rgw.buckets.index
  b( T" L4 b6 p6 |

- S+ u8 P. b8 a. H2 Q5 Z6 default.rgw.buckets.data

, J2 d( d% e0 q& n& z
, w8 F: h  M; c# {) i; M7 cephfs_metadata
' W" Q( X* I- V: v! c, o2 H* f

6 t* [* v# f& o8 cephfs_data
& V% V8 F, X2 V! Z! E* U
4 o% u& P( f, H: u6 h+ X
# 确认pools已创建
1 ~$ r$ i9 E. _/ d; w- W: `9 [3.2 创建文件系统

$ ceph fs new cephfs-demo cephfs_metadata cephfs_data


3 B7 @/ L4 C4 A! M/ \# 创建文件系统，格式为：ceph fs new <fs_name> <metadata> <data>



% H, m% ~( Z  d/ r$ ceph fs ls   # 查看cephfs相关信息


name: cephfs-demo, metadata pool: cephfs_metadata, data pools: [cephfs_data ]
5 D! t( K. G' w& t* M' R  a3.3 确认mds进入active状态

$ ceph -s


cluster:
( W2 _+ b$ L8 W! ~" E

1 L6 S3 N3 C2 Zid:     b5ae2882-7ec6-46cd-b28e-6d7527e5deb3
( L6 e6 |  N& ?6 Q7 s; a; H  ]

health: HEALTH_OK

7 O% o/ B2 J+ @7 \- H- N  ^5 {! |

) t8 {& G& I2 s$ x" \
services:

8 j/ P8 Y5 G: ^
& N2 z6 x, K% s* |mon: 3 daemons, quorum ceph-1,ceph-2,ceph-3(age 60m)
* ?3 X: ?  [. q4 _* r, b
% [* _' T- a6 i
; i6 v% v% Z7 g& j7 r7 v7 {7 |mgr: ceph-1(active, since 64m), standbys: ceph-2, ceph-3

- S+ G. E7 Q! d! d& D, T
: s) k& Q9 [8 _/ A" o; W" z6 smds: cephfs-demo:1 {0=ceph-1=up:active} 2 up:standby

6 N. ~# O2 @' {. |
- |6 p$ _2 T# A# 当前活跃状态的是pod4-core-20-6，还有2个备用节点
! i7 n0 X. ]" a& F+ b  W1 [
) O7 V! Q" _$ [0 v4 v
" Z% W& t, k7 k  c7 j  j  c* zosd: 3 osds: 3 up (since 62m), 3 in (since 62m)
( I' s) j: V8 E# |
/ h+ r9 C. l' c
rgw: 1 daemon active (ceph-1)
6 T& V# e! [3 h9 P9 A3 w


- @! P  p' e1 Z! a
task status:
  w9 [! M. J1 C& J! P7 z1 y/ o
6 b9 n' J, T0 d; f, @, ~
1 m8 Z! I, t" [8 T# W) u& ^scrub status:

* p4 y7 b! Z. ~- I
mds.ceph-1: idle

7 X! i! U# }+ x3 N+ h# {% W- A
" u% p. j- G1 J' _' t. F, ]' T
9 n$ O5 i0 E* b6 @6 E( i: U, j
data:
8 T2 K# F9 Z* D" V' {% V3 p
% V0 M& y) s( I6 D: }
0 j8 H6 E3 ^0 e7 z4 npools:   8 pools, 2000 pgs

  D& `+ M  D! ]# Q; w
objects: 223 objects, 3.6 MiB
( P$ L. |+ p; L- r. x7 c8 N" C
" L+ r* b  [4 H
) [& _5 t2 y2 A& Nusage:  20.0 GiB used, 580 GiB / 600 GiB avail


pgs:     2000 active+clean
7 x" _2 |# q) k$ x: A+ i+ C3.4 cephfs内核级别挂载
  f5 f/ D! h9 [# y: m% M7 I直接内核级别使用，性能最好。
. a  ?# S" g4 H1 @; J" d1 K6 I参考：官方文档
5 e# R0 b& c& Y. a
* I; G" b1 _  X7 E- g2 v- K- M
: n9 }) I- U$ k! Q  A' Y( p$ mkdir /ceph_fs
& s" {4 Q6 g+ V: d4 `/ f

# Q4 }/ U; z/ Q# f
6 h- j& g: p3 v% A, G. j: J+ O$ J$ mount -t ceph 192.168.120.16:6789,192.168.120.31:6789,192.168.120.23:6789:/ /ceph_fs/ -o name=admin

6 ]! @( F1 F5 J9 X4 o
# 挂载需要指定ceph集群中monitor地址及用户名，monitor地址可以指定一个或多个（如果其中一个宕机不影响使用）

挂载后，即可自行写入数据进行测试。
3.5 用户空间挂载使用
2 j. p- K3 Q: o. b2 G# M% |6 b
0 q/ S5 P1 r. C2 e7 C/ H: t$ S$ yum -y install ceph-fuse     # 安装客户端
/ j% w2 L2 j4 w& i3 g* S
6 x: O; |7 a  D$ o" S; L5 |
1 A5 `0 A  Z/ n' K  j8 e
$ mkdir /ceph-fuse   # 创建挂载点并挂载使用
0 I: l' z7 ?( K! U! E
& K: O2 ?; G: i0 }7 w% y9 `

, a, {! h' Y& G$ ceph-fuse -n client.admin -m 192.168.99.11:6789,192.168.99.12:6789,192.168.99.13:6789 /ceph-fuse

' H* X( @8 X: p
# monitor地址可以可以指定一个或多个（如果其中一个宕机不影响使用）

, E. b7 c2 B# f

8 d7 \4 X) `3 @3 y3 d  U  h5 i/ G$ df -hT /ceph-fuse       # 查看确认

% Q! c* p% X5 n9 r: W2 g
5 C8 ^! g2 X! T3 i- t文件系统       类型            容量  已用  可用 已用% 挂载点


- e, H+ S. ]) `. ]& hceph-fuse      fuse.ceph-fuse   94G     0   94G    0% /ceph-fuse
" ]  _* `* J6 n: S; i9 U5 f9 \. i3.6 不同用户挂载不同目录3.6.1 添加新的pool到cephfs

2 N6 \( G7 e3 v- x# cephfs中增加新的pool


% x, f: N8 C& n( R$ @4 t$ ceph osd pool create cephfs_data1 64 64   # 创建pool
* @& a3 ~; F6 H+ }7 U& ^4 I$ T
* O5 m6 A1 P1 J: j* n2 j
$ ceph fs add_data_pool cephfs-demo cephfs_data1    #加到cephfs中
, Q1 [- T  [7 J& u- d3.6.2 创建bruce的用户，这个用户只能访问目录/bruce，数据存储在 pool cephfs_data1 中

$ ceph auth get-or-create client.bruce mon 'allow r' \

# I( a, }( M. `5 {
' ?* S: d7 M/ `9 L6 Omds 'allow r, allow rw path=/bruce' osd 'allow rw pool=cephfs_data1'
1 f- p6 G4 F  Y* w# F% h

[client.bruce]
8 w) N( }" ]4 j$ \# k' N0 B% J
% J7 i% Q$ [0 P+ H7 B
, h% L) r1 b) l- b6 C9 J' Z" Dkey = AQCtFc9g/CmyERAAzi7ORpEWIxlMiiFC1GK7nA==
3.6.3 客户端挂载

$ mkdir /data1


* @1 Q& ~% K( e' C$ mount -t ceph 192.168.120.16:6789,192.168.120.30:6789,192.168.120.23:6789:/ /data1/ \

! L3 |7 f9 J, X7 C4 I
! E9 ]; L9 ^: S, s  a  P0 i-o name=bruce,secret=AQCtFc9g/CmyERAAzi7ORpEWIxlMiiFC1GK7nA==
+ X) k9 {: j$ B, j5 R; ~8 J四、cephfs权限与访问控制4.1 添加用户
2 ^! t  a8 Z5 t2 ~$ b1 u) }: m) @6 C添加用户jerry，jerry只有对/jerry路径下的文件具有读写权限，对其他路径下的文件只有读的权限

) t3 j' l/ h' ?3 w3 i
$ ceph auth get-or-create client.jerry mon 'allow r' \

, T4 w* \; i2 @: j! }; ?5 V
>   mds 'allow rw,allow rw path=/jerry' osd 'allow rw pool=cephfs_data2'
1 L7 F2 ]$ ~1 i( Q1 a7 S
* c$ |. E& p  \; b6 `  i
$ g; D5 {( l  G# K3 v[client.jerry]

5 L7 U( |. z$ E0 [' O
0 A# A% e$ [: i! O! ?$ c( qkey = AQCdFs9gcepnKRAActZ4OcFf0bg3HsDpVMhlMA==
1 i9 J  P& W8 W/ ?- f  V) e+ Z, N


$ mount -t ceph 192.168.120.16:6789:/  /data   -o name=jerry,secret=AQCdFs9gcepnKRAActZ4OcFf0bg3HsDpVMhlMA==
, m! A6 c! t' V. P

# 使用jerry用户挂载
. z3 W2 v! g+ A; B, Q) ]; O+ d4.2 获取权限列表

$ ceph auth list
4.3 删除用户
! N; D' m& d4 ]* u. ]5 C( I3 J$ g- G' l# d
$ ceph auth del client.jerry
4.4 获取某个用户的key

! b" N/ }- v8 H5 N; C$ ceph auth get-key client.bruce
4.5 修改用户权限
; G- e$ K6 ~' ~: f0 _; w
. I* c8 x! P( I$ \$ ceph auth caps client.jerry mon 'allow r' mds 'allow r, allow rw path=/jerry, allow rw path=/test' osd 'allow rw'
4.6 注意事项
•当用java api操作cephfs时，api无法指定新建文件or目录的所属用户or所属组，这两个属性取决于运行java程序时的当前用户(uid)及其所属的用户组(gid)
# L. v: M; D* c; [! S& t$ z) u•经过测试发现，cephfs文件or目录的权限是linux本身用户权限和cephfs用户权限的交集
•修改用户权限后，在本地需要重新挂载才可生效
) R+ Y) M% n( a•建目录，设置权限无需前后顺序
3 X9 H2 J* m5 }. f4 E