手动部署ceph octopus集群

admin

基础配置
三台环境为centos7.9，以下配置需要在每台机器上执行
配置hosts解析
cat >> /etc/hosts <<EOF
192.168.122.16 node-1
192.168.122.19 node-2
192.168.122.18 node-3
EOF
复制
6 Z$ p9 @- `+ S# l4 u8 \! l% x关闭防火墙和selinux
systemctl stop firewalld && systemctl disable firewalld
1 z) M+ Z9 ?$ u% D/ ~' Csetenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
复制
; \6 z. P/ w7 |- Q' w* {# @; f分别在三个节点设置主机名
hostnamectl set-hostname node-1
hostnamectl set-hostname node-2
; u- J2 f$ {: J0 F: r0 B5 @( }, ehostnamectl set-hostname node-3
0 _( x- i/ e7 c. f9 a2 `) u复制
. a7 O- \- T$ f1 q. q配置主机时间同步
systemctl restart chronyd.service && systemctl enable chronyd.service
( j1 ~: |+ d3 h8 Y% V$ b复制
0 {6 C$ b. n* W: z5 a* o) ^使用yum安装
& Q9 ?8 \: X2 g! ~( ?安装yum-plugin-priorities
yum install yum-plugin-priorities
; v) a6 w7 |* L" n0 L% }7 f5 h复制
安装依赖包
1 i, A( ?( j5 p$ Iyum install snappy leveldb gdisk python-argparse gperftools-libs epel-release
复制
添加ceph仓库
# r, |; Y4 \. [建议使用阿里的源，国外的太慢了
# I0 r$ `: ^* N/ ?vim /etc/yum.repos.d/ceph.repo
[ceph]
name=ceph
; u. O; f# }+ W8 ]/ C# bbaseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/x86_64/
, i3 z) R+ E% {, ?' X( z; Sgpgcheck=0
0 @$ L, a- V6 F! m* f[ceph-noarch]
1 D( S" t' Y, ?4 A0 |8 Lname=cephnoarch
' a: S" i& I) k* f" Z! |# z0 Gbaseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.8/el7/noarch/
. Q1 J, y- d6 Q2 I4 Rgpgcheck=0
复制
' s/ t/ ]/ u, p; l1 f8 D安装ceph
yum install ceph -y
! N0 [1 A) A+ \% V* T8 P6 ]复制
& A6 g" r) z5 B+ ^  U6 C: G. R' U部署monitor节点
+ ]" e# n# }! c5 T) k# n' ?所有 Ceph 群集至少需要一个monitor，并且至少需要与存储在群集上的对象副本一样多的 OSD。引导初始mon是部署 Ceph 存储群集的第一步，这里我直接在node1、node2、node3创建三个mon。
在node1添加monitor
9 D$ _, f6 t4 Y) m2 V; {为集群生成唯一的fsid，fsid是群集的唯一标识符，代表 Ceph 存储群集主要用于 Ceph 文件系统的文件系统 ID
uuidgen
8 ~$ ?1 h$ Q% D# r复制
0 N2 b& ~, ]; R* G创建ceph配置文件，将生成的fsid添加到配置文件中
vim /etc/ceph/ceph.repo
# T% c9 g1 L: ~& r( L' K[global]
1 m" V1 D/ `' X' V3 ^fsid=9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
  [. {' }3 X; @复制
为群集创建keyring并生成monitor keyring。monitor通过密钥相互通信。必须生成具有monitor密钥的keyring，并在引导初始monitor时提供keyring。
ceph-authtool --create-keyring /tmp/ceph.mon.keyring --gen-key -n mon. --cap mon 'allow *'
复制
3 t! K9 @, b1 W生成管理员keyring，生成用户并将用户添加到client.admin keyring中。要使用 CLI 工具，必须有一个用户，并且还必须将用户添加到monitor keyring。
7 Q- B, U% X) v) Z8 Gceph-authtool --create-keyring /etc/ceph/ceph.client.admin.keyring --gen-key -n client.admin --cap mon 'allow *' --cap osd 'allow *' --cap mds 'allow *' --cap mgr 'allow *'
$ Q8 r0 m& J4 c8 R4 Q复制
- b& q2 {1 S& B0 y8 e生成引导 osd 密钥，生成用户并将用户添加到client.bootstrap-osd keyring中。
ceph-authtool --create-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring --gen-key -n client.bootstrap-osd --cap mon 'profile bootstrap-osd' --cap mgr 'allow r'
! G# ?, D& o( H7 _1 A7 t4 F8 e复制
" J7 C( l# B7 K* z; l( [0 g将生成的键添加到 ceph.mon.keyring
& H+ H. V" Z3 ~' }& T( i$ F- A  B, O& vceph-authtool /tmp/ceph.mon.keyring --import-keyring /etc/ceph/ceph.client.admin.keyring
% X6 z1 g. t2 [* W, n* zceph-authtool /tmp/ceph.mon.keyring --import-keyring /var/lib/ceph/bootstrap-osd/ceph.keyring
  _- I4 V, v! U; o6 S复制
+ K% l' j) f% Z/ X更改 ceph.mon.keyring的所有者。
chown ceph:ceph /tmp/ceph.mon.keyring
% B. _% w3 a' I$ I: y5 @复制
) ]% h% `: q' @- A使用主机名、主机 IP 地址和 FSID 生成monitor映射。将其保存为 ：/tmp/monmap
$ {7 e9 w. U/ J% c+ u+ T+ F  }monmaptool --create --add node1 192.168.122.16 --add node2 192.168.122.19 --add node3 192.168.122.18 --fsid 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4 /tmp/monmap
复制
# x  C8 `. ^" C: k/ D查看生成的monitor映射文件
1 q- t3 i; P0 K: ]' S' cmonmaptool --print /tmp/monmap
. x( _9 j: z- }% m' n- x7 w复制
在monitor主机上创建默认数据目录，目录名是{cluster-name}-{hostname}格式
mkdir /var/lib/ceph/mon/ceph-node1
chmod 755 -R /var/lib/ceph/mon/ceph-node3
复制
在node1节点对monitor进行初始化
7 J! p8 P' P2 q& Pceph-mon --mkfs -i node1 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
' q! }8 S9 C! E* P* I/ [复制
可以查看数据目录生成的文件
3 v3 a! G( F% U/ g. V3 l+ e( `
5 F  @! C- B/ [& p. |/ v编辑ceph配置文件
. T9 K/ ^  J* i[global]
# r5 k. Y7 \1 q" c5 B) }2 O2 @fsid = 9c079a1f-6fc2-4c59-bd4d-e8bc232d33a4
mon initial members = node-1,node-2,node-3
mon host = 192.168.122.16,192.168.122.19,192.168.122.18
5 E: h3 D0 M% @/ E- ~7 Lmon clock drift allowed = .5
# J$ Z3 Z% y" @) hauth cluster required = cephx
9 V) p0 \2 C8 ^' oauth service required = cephx
4 _2 R/ r7 k0 @7 a) Y4 b2 T9 ~# n$ aauth client required = cephx
osd pool default size = 3  //创建pool的时候默认pool是3副本
osd pool default min size = 2   //pool最少可写的副本数为2
0 l* ~( P) B0 o$ s# L5 K; Iosd pool default pg num = 8
osd pool default pgp num = 8
0 D" w% q! G& K8 N! u% }osd crush chooseleaf type = 0
5 [, D+ w% Z7 H1 Q& |0 ]( H3 _复制
将配置文件拷贝到其他节点
1 k2 ~" P  T6 q6 R+ m' iscp /etc/ceph/ceph.conf node-2:/etc/ceph/ceph.conf
scp /etc/ceph/ceph.conf node-3:/etc/ceph/ceph.conf
复制
7 r' J- A( F$ ^* ~将mon keyring,mon map及admin keyring拷贝到其他节点
1 t5 t7 g# d) Y; Q& @scp /tmp/ceph.mon.keyring node-2:/tmp/ceph.mon.keyring
2 W1 w2 ?; J3 B, Sscp /etc/ceph/ceph.client.admin.keyring node-2:/etc/ceph/ceph.client.admin.keyring
. B5 J& ~0 h4 Q! jscp /tmp/monmap node-2:/tmp/monmap
* u" y  S/ h- I) jscp /tmp/ceph.mon.keyring node-3:/tmp/ceph.mon.keyring
scp /etc/ceph/ceph.client.admin.keyring node-3:/etc/ceph/ceph.client.admin.keyring
scp /tmp/monmap node-3:/tmp/monmap
' q! W2 y" _& Y' A" R& @复制
0 c* `2 C! P5 f5 k/ s+ P在node2、node3上添加monitor
分别在这两个节点创建数据目录
mkdir /var/lib/ceph/mon/ceph-node-2
chmod 755 -R /var/lib/ceph/mon/ceph-node-2
mkdir /var/lib/ceph/mon/ceph-node-3
chmod 755 -R /var/lib/ceph/mon/ceph-node-3
复制
分别在这两个节点对monitor进行初始化
- d. L$ i% d3 y# L, a$ kceph-mon --mkfs -i node-2 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
ceph-mon --mkfs -i node-3 --monmap /tmp/monmap --keyring /tmp/ceph.mon.keyring
/ Q6 b( F# E6 @' }8 t. t复制
分别在三个节点启动ceph-mon服务
# K4 n) A" Q, o0 E$ y; W# usystemctl start ceph-mon@node-1 && systemctl enable ceph-mon@node-1
3 {1 a. ]. U; d- Osystemctl start ceph-mon@node-2 && systemctl enable ceph-mon@node-2
systemctl start ceph-mon@node-3 && systemctl enable ceph-mon@node-3
复制
image.png
可以看到提示3 monitors have not enabled msgr2"
# C0 D' z9 F7 [执行以下命令恢复正常
ceph mon enable-msgr2
7 b% c! R* _) V# u- d/ e0 {" c9 v复制
& }. ^/ n. G7 \$ }; ?# Q2 `image.png
- k7 g1 d2 @9 w( W7 r8 q创建MGR
. f" m, \# r8 X+ a- @1 r在运行ceph-mon守护程序的每个节点上，还应该设置一个ceph-mgr守护程序。
创建密钥目录
8 C3 G" A- e3 B4 i/ g5 H# |所有mgr节点都要执行
: J8 r; Z$ t3 s2 M, ^sudo -u ceph mkdir /var/lib/ceph/mgr/ceph-`hostname -s`
- c7 R" b% p0 T) ?& Y& Bcd /var/lib/ceph/mgr/ceph-`hostname -s`
复制
创建身份验证密钥
+ H% K$ a# M4 ?9 l% S) U6 |+ C5 Kceph auth get-or-create mgr.`hostname -s` mon 'allow profile mgr' osd 'allow *' mds 'allow *' > keyring
8 e5 i  |0 ~4 D复制
) @+ p6 n3 ^& `启动mgr守护进程
7 t7 g( s) h. U) Psystemctl enable ceph-mgr@`hostname -s` && systemctl start ceph-mgr@`hostname -s`
6 o! T! \6 z6 x复制
看样子状态有点异常，在所有节点执行下面的命令之后重启机器即可解决
% f: ]# K0 y% t9 q. }Module 'restful' has failed dependency: No module named 'pecan'
pip3 install pecan werkzeug
复制
6 X5 r- @( c1 ^; Aimage.png
部署osd
Ceph提供了该ceph-volume实用程序，该实用程序可以准备逻辑卷，磁盘或分区以供Ceph使用。该ceph-volume实用程序通过增加索引来创建OSD ID。
创建osd
在node1执行
( C  i/ V5 M' Pceph-volume lvm create --data /dev/sdb
复制
上面的创建过程可以分为两个阶段（准备和激活）：
ceph-volume lvm prepare --data /dev/sdb
查看osd fsid
ceph-volume lvm list
0 w( V3 G! Z$ u# r  aceph-volume lvm activate {ID} {FSID}
复制
; [# `7 r- D4 _0 J$ H! d# Y3 w当创建完osd之后，我们发现osd服务已经起来了
' |6 G8 @9 b0 B. q4 y! J
+ S9 v- w. a: @4 D/ C: O$ Y当我们在node-2、node-3节点执行此命令的时候报错了，发现缺少密钥文件
: P! y- Y# p% Y& z( @
拷贝密钥文件
scp /var/lib/ceph/bootstrap-osd/ceph.keyring node-2:/var/lib/ceph/bootstrap-osd/ceph.keyring
( U9 R, r5 S/ v+ Oscp /var/lib/ceph/bootstrap-osd/ceph.keyring node-3:/var/lib/ceph/bootstrap-osd/ceph.keyring
复制
8 V6 o7 m) ^: W, l$ K. k; K" J" T修改密钥属主属组
) A4 I' I' X2 v4 d+ r" gchown ceph.ceph /var/lib/ceph/bootstrap-osd/ceph.keyring
* N* u7 ~- F+ I$ n6 `复制
分别在node-2、node-3创建osd
& l0 n1 I: ?* G% \9 fceph-volume lvm create --data /dev/sdb
: w+ b" A. s  ~# s4 R# L+ H& p复制
  a% p" ?' _3 X3 I* G/ U' N* m( P6 [也可以分步执行
ceph-volume lvm prepare --data /dev/sdb
, I+ h/ |$ b2 X% r; c6 M0 y##获取osd id 和osd fsid
/ e; k$ e' V8 k3 ^ceph-volume lvm list
##激活osd
ceph-volume lvm activate {ID} {FSID}
复制
最后状态是这样的
) b3 r, T8 t- k4 y
8 D! a+ P  H9 `+ T( d添加MDS
+ V. ]- u4 X# J( {; ?6 O7 n创建mds数据目录
mkdir -p /var/lib/ceph/mds/ceph-`hostname -s`
chown -R ceph.ceph /var/lib/ceph/mds/ceph-`hostname -s`
4 o* i) b: j/ x3 f" q7 J0 S复制
创建keyring
8 [- V, ?! @) r1 f+ g; ?  fceph-authtool --create-keyring /var/lib/ceph/mds/ceph-`hostname -s`/keyring --gen-key -n mds.`hostname -s`
复制
导入keyring并设置权限
( I7 U6 Z; X) G/ o) }5 @ceph auth add mds.`hostname -s` osd "allow rwx" mds "allow" mon "allow profile mds" -i /var/lib/ceph/mds/ceph-`hostname -s`/keyring
chown ceph:ceph /var/lib/ceph/mds/ceph-`hostname -s`/keyring
复制
修改ceph.conf配置文件
cat >> /etc/ceph/ceph.conf <<EOF
[mds.node-1]
/ x$ `. Z! s+ M# bhost = node-1
% S) A4 ?: a/ w, E5 N5 J/ d[mds.node-2]
host = node-2
9 J$ C+ j  ?: q+ }# X/ p[mds.node-3]
* l, Y* k4 C- n! q1 Ahost = node-3
0 T+ Z1 ^; g/ oEOF
复制
- L7 `. z- o  j( t+ Y$ y启动mds服务
systemctl enable ceph-mds@`hostname -s` && systemctl start ceph-mds@`hostname -s`
0 P5 t2 F& ^* t3 o5 @4 _( \复制
# Z! ]. Z' P# Q3 T现在状态应该是这样的

对象存储RGW安装
) l3 A% ?; ]$ R8 uRGW是Ceph对象存储网关服务RADOS Gateway的简称，是一套基于LIBRADOS接口封装而实现的FastCGI服务，对外提供RESTful风格的对象存储数据访问和管理接口。RGW基于HTTP协议标准，因此非常适用于Web类的互联网应用场景，用户通过使用SDK或者其他客户端工具，能够很方便地接入RGW进行图片、视频以及各类文件的上传或下载，并设置相应的访问权限，共享给其他用户。
6 Z. V3 m( k1 F) i+ c/ T安装radosgw
1 {5 i3 m! ^4 e3 R/ l$ K( ~yum install ceph-radosgw -y
- M% G) m  |( J: x/ v复制
: r4 ?, Y/ A9 v5 E& X4 L创建rgw相关的资源池
  r# C8 w9 i" M3 K" ^1 }- O, Z" c) j资源池列表及部分资源池功能介绍如下。
1 K8 |- V2 k, K; k  g. y7 J.rgw:region和zone配置信息。
.rgw.root:region和zone配置信息。
8 O7 g$ m/ Q: O5 J1 m  \.rgw.control：存放notify信息。
.rgw.gc：用于资源回收。
.rgw.buckets：存放数据。
.rgw.buckets.index：存放元数据信息。
% f6 H$ }% H1 W% A.rgw.buckets.extra：存放元数据扩展信息。
.log：日志存放。
.intent-log：日志存放。
.usage：存放用户已用容量信息。
.users：存放用户信息。
, E4 m; C! n* `' k- `.users.email：存放用户E-mail信息。
.users.swift：存放swift类型的账号信息。
.users.uid：存放用户信息。
ceph osd pool create .rgw 8 8
3 I0 V& O+ K- t8 O" |+ Eceph osd pool create .rgw.root 8 8
- K* R, T4 b  M- z- Xceph osd pool create .rgw.control 8 8
ceph osd pool create .rgw.gc 8 8
0 k( ^( S& ?8 F* G3 gceph osd pool create .rgw.buckets 8 8
/ ~9 n1 ?/ ~- z$ Y& k* C; vceph osd pool create .rgw.buckets.index 8 8
ceph osd pool create .rgw.buckets.extra 8 8
ceph osd pool create .log 8 8
3 |+ b+ q0 I2 ^+ B+ m1 Z2 zceph osd pool create .intent-log 8 8
ceph osd pool create .usage 8 8
ceph osd pool create .users 8 8
# L# u, z+ J4 G  Q& ~  Z0 hceph osd pool create .users.email 8 8
ceph osd pool create .users.swift 8 8
( E, i* v* Y+ j. mceph osd pool create .users.uid 8 8
复制
, g5 R( D0 N& ~: ~3 y6 w/ W  b' p, u7 ~! A创建过程会遇到这个报错，原因是每个osd默认最多只支持250个pg，这里有两种解决办法，一种是删除之前创建的pool，并新建pool时把pg设置小一点，另一种则是修改osd默认最大pg数，这里我用了第二种，修改完配置文件后，重启mon
Error ERANGE:  pg_num 8 size 3 would mean 771 total pgs, which exceeds max 750 (mon_max_pg_per_osd 250 * num_in_osds 3)
编辑配置文件
vim /etc/ceph/ceph.conf
8 u" r4 L; _/ i[global]
. q3 Z9 J, H: G) X& vmon_max_pg_per_osd = 1000
0 }8 G, G2 X  l#重启mon
systemctl restart ceph-mon@`hostname -s`
5 B" @( I8 D% z" b, r- T复制
" Z, H& U1 y% K# h& {' W" J, o, a可以使用rados lspools查看是否创建成功
4 W$ L7 h- d  J
/ Z' J' l! o0 a6 K  M% L9 b新建RADOSGW用户和keyring
创建keyring
ceph-authtool --create-keyring /etc/ceph/ceph.client.radosgw.keyring
# a4 d" R4 e, T) Jchown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring
复制
; s$ T: z/ O' ]生成ceph-radosgw服务对应的用户和key
ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node-1 --gen-key
ceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node-2 --gen-key
( ?! u) Q* J$ L; w. k/ t  Q! h7 uceph-authtool /etc/ceph/ceph.client.radosgw.keyring -n client.rgw.node-3 --gen-key
% X% E. S. v4 x- F# ?7 W9 V! k$ D; [复制
添加用户访问权限
" M4 {" \' j# ], L& G) o# P* Vceph-authtool -n client.rgw.node-1 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
, L( ]+ G) I. m' t  lceph-authtool -n client.rgw.node-2 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
ceph-authtool -n client.rgw.node-3 --cap osd 'allow rwx' --cap mon 'allow rwx' /etc/ceph/ceph.client.radosgw.keyring
复制
; c+ e( ]; c. s/ s8 g将keyring导入集群中
ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node-1 -i /etc/ceph/ceph.client.radosgw.keyring
ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node-2 -i /etc/ceph/ceph.client.radosgw.keyring
' a* u- |) ?, z1 U- v3 a+ jceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.node-3 -i /etc/ceph/ceph.client.radosgw.keyring
复制
6 t3 |+ H- K2 }+ t  c编辑配置文件
cat >> /etc/ceph/ceph.conf << EOF
0 R) p2 H- t( g7 N[client.rgw.node-1]
% }5 b+ C' b: ^  I' Y/ g. \host=node-1
keyring=/etc/ceph/ceph.client.radosgw.keyring
# e; \/ T* H7 z# ^log file=/var/log/radosgw/client.radosgw.gateway.log
rgw_frontends = civetweb port=8080
[client.rgw.node-2]
host=node-2
keyring=/etc/ceph/ceph.client.radosgw.keyring
4 W4 i7 r6 a* U4 Dlog file=/var/log/radosgw/client.radosgw.gateway.log
rgw_frontends = civetweb port=8080
2 J$ C" R. c  P! f[client.rgw.node-3]
host=node-3
keyring=/etc/ceph/ceph.client.radosgw.keyring
log file=/var/log/radosgw/client.radosgw.gateway.log
& f1 J, `7 @+ R4 Grgw_frontends = civetweb port=8080
EOF
+ K$ l, T( K4 ?" i3 H. W1 L7 F5 [复制
) {! |. C% |6 h& G创建日志目录
mkdir /var/log/radosgw
/ ^0 Q5 g& _1 w8 J; Z& d" M( }; s  jchown ceph:ceph /var/log/radosgw
; Q7 g  C# H. S& X复制
1 L2 m0 s  J5 L# I$ o4 h拷贝keyring、ceph.confceph.conf到node-2、node-3
scp /etc/ceph/ceph.client.radosgw.keyring node-2:/etc/ceph/ceph.client.radosgw.keyring
; U2 ~1 k6 ^- L5 Zscp /etc/ceph/ceph.client.radosgw.keyring node-3:/etc/ceph/ceph.client.radosgw.keyring
scp /etc/ceph/ceph.conf node-2:/etc/ceph/ceph.conf
- R: g$ d6 s' l: I; ]% b7 g4 ^scp /etc/ceph/ceph.conf node-3:/etc/ceph/ceph.conf
" [5 _1 B) E# d: J, u8 u复制
在node-2、node-3部署RGW
/ n: V$ t) L" J' L修改keyring属主
" {" E0 z6 R2 V. ?1 ichown ceph:ceph /etc/ceph/ceph.client.radosgw.keyring
: u3 e0 X- a: `: K; N复制
创建日志目录并授权
mkdir /var/log/radosgw
, p8 X- u- A- i9 L" L+ s1 _6 Ichown ceph:ceph /var/log/radosgw
复制
启动rgw服务
systemctl start ceph-radosgw@rgw.`hostname -s` && systemctl enable ceph-radosgw@rgw.`hostname -s`
复制
2 u, @% K$ \* F% V# C查看ceph状态，发现有个小问题

0 J' |) `3 K  i: E- H: H使用ceph health detail查看详情，根据提示enable即可
6 K1 |6 m2 A0 T, K5 S; d% a/ B
使用curl访问服务
: \8 W/ k" J3 s% P
/ T( w& ~8 S' h4 F