CentOS7环境部署虚拟ceph集群

admin · 发表于 2020-12-13 08:54:05

二 ceph简介

分布式存储
ceph层次结构
最简部署方式：一个管理节点、一个mon节点、两个osd节点) C' n3 z- p) [2 h4 X, ~- i5 s* {3 v

三环境准备

部署KVM虚拟环境，参考基于KVM的虚拟机环境搭建
$ x: v& _& m4 N

镜像选择4 h2 p/ k& Y g" m8 D. l# ]

CentOS-7-x86_64-Minimal-1810.iso
- f- Z8 D5 R3 a

资源配置
) C8 t4 h0 K9 T/ l5 F' F! W

mem:1G$ h/ ]; Z2 c' K
disk:50G
! O! G6 ~5 n5 }' H- Fcpu:1core
; U) @" E. b2 Y: i' R

虚拟机名称
7 K8 K! I L/ u$ w# Y+ B; Q

ceph
/ b- `) ^( c! q6 z

虚拟网络选择
' F, [$ V o) }! s( B

NAT:default
`4 z" O' }, M0 d2 K4 v4 i

四 ceph节点工具安装本节操作在上一节创建的虚拟机中执行

安装常用网络工具
6 O! h! ? @/ e6 F9 T) [) m; S( r

yum install net-tools -y

网络修改，使用静态IP
f5 U0 Y" U5 q

ifconfignetstat -rn
结果如下图：

http://upload-images.jianshu.io/upload_images/6582575-6319afd9d040f3f3.png?imageMogr2/auto-orient/strip|imageView2/2/w/756/format/webp

CEPH_Node_01.png

将这些信息写到配置文件中固化：
修改DNS
echo "NETWORKING=yes" >> /etc/sysconfig/networkecho "DNS1=114.114.114.114" >> /etc/sysconfig/networkecho "DNS2=8.8.8.8" >> /etc/sysconfig/network
修改静态IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改如下配置，其他配置不变
#BOOTPROTO="dhcp" //这一行需要注释掉BOOTPROTO="static"NM_CONTROLLED=noIPADDR=192.168.122.122 //IP 和原先IP一样也可NETMASK=255.255.255.0GATEWAY=192.168.122.1
添加主机名
echo "192.168.122.122 node" >> /etc/hosts echo "192.168.122.123 node1" >> /etc/hosts echo "192.168.122.124 node2" >> /etc/hosts echo "192.168.122.125 node3" >> /etc/hosts
重启网络服务
service network restart

NOTE：如果你是ssh到这个虚拟机的，会失去连接，可以关闭终端重新连接, T) I# w8 h/ O$ }+ e

yum相关
0 [4 a; y& }! |

安装第三方源管理工具, i: b- o1 ~3 I: G: H2 N

yum install -y https://dl.fedoraproject.org/pub ... est-7.noarch.rpmyum install -y yum-plugin-prioritiesyum install -y yum-utils

源配置# P" p7 v$ u0 i6 J8 f
创建ceph源配置文件，并打开编辑
% [& h V; R1 o. h- p8 c& p

touch /etc/yum.repos.d/ceph.repovi /etc/yum.repos.d/ceph.repo
在文件中写入如下内容
[ceph-noarch]name=Ceph noarch packagesbaseurl=http://download.ceph.com/rpm-luminous/el7/noarchenabled=1gpgcheck=1type=rpm-mdgpgkey=https://download.ceph.com/keys/release.asc
更新yum源
yum update -y

时钟相关 R+ `. P k2 y3 f Z1 } y

yum install -y ntp ntpdate ntp-doc

关闭防火墙& B0 ^, k: G" B: l% s4 H; B" l

firewall-cmd --zone=public --add-service=ceph-mon --permanentfirewall-cmd --zone=public --add-service=ceph --permanentfirewall-cmd --reloadiptables -A INPUT -i eth0 -p tcp -s 192.168.122.0/24 -d 192.168.122.254 -j ACCEPTiptables-save sudo setenforce 0

ceph部署用户; B' ?4 c6 O j! k
创建用户' ]( ? x$ C. @4 w8 r2 a

useradd -g root -m cephD -d /home/cephDpasswd cephD
免密码权限
echo "cephD ALL=(ALL)NOPASSWD: ALL" | sudo tee /etc/sudoers.d/cephDchmod 0440 /etc/sudoers.d/cephD
五 ceph节点clone本节操作在宿主机执行

获得root权限
( c( t+ P1 [3 y" i( k4 J

sudo su

关闭虚拟机ceph
0 V* {1 e& T: f

virsh shutdown ceph

clone出ceph-1、ceph-2、ceph-3节点
+ E1 d$ s5 s8 \" [& B( i1 g

virt-clone -o ceph -n ceph-1 -f /home/data/ceph-1.qcow2virt-clone -o ceph -n ceph-2 -f /home/data/ceph-2.qcow2virt-clone -o ceph -n ceph-3 -f /home/data/ceph-3.qcow2

注：ceph为管理节点，ceph-1为mon节点，ceph-2、ceph-3为osd节点4 k, x$ S% G+ S+ \* s; h! a+ O# I

挂载硬盘
, U* {8 M% d4 ~

创建硬盘镜像
& y0 ~9 C3 I2 F# W

qemu-img create -f qcow2 /home/data/osd1.qcow2 50gqemu-img create -f qcow2 /home/data/osd2.qcow2 50gqemu-img create -f qcow2 /home/data/osd3.qcow2 50g

修改配置文件，将磁盘挂载到虚拟机（以ceph-2为例）# A' A+ Q$ h7 p' M/ a: s1 @3 c

virsh edit ceph-2
添加如下内容到domain.devices节点下
<disk type='file' device='disk'> <driver name='qemu' type='qcow2' cache='none'/> <source file='/home/data/osd2.qcow2'/> <target dev='vdb' bus='virtio'/> </disk>

启动虚拟机1 j, m: d6 s, ?$ y c

virsh start cephvirsh start ceph-1virsh start ceph-2virsh start ceph-3
查看虚拟机状态
virsh list --all

http://upload-images.jianshu.io/upload_images/6582575-ddef4a93268cde15.png?imageMogr2/auto-orient/strip|imageView2/2/w/475/format/webp

CEPH_Node_02.png

修改虚拟机IP
' C }! h% ~5 b; Z6 d/ S v6 XKVM进行clone操作之后，虚拟机IP也被clone了，在同一网段中，IP冲突，需要手动修改(以ceph-1为例)
" [% g# L6 s" s

virt-viewer -c qemu:///system ceph-1
进入控制台，root登陆，修改eth0的IP
vi /etc/sysconfig/network-scripts/ifcfg-eth0
修改IPADDR，不与其他虚拟机冲突
IPADDR=192.168.122.123
重启网络服务
service network restart
修改 ceph-2、ceph-3的IP为124、125
六 ceph-deploy 部署ceph集群本节操作在虚拟机ceph[ceph管理节点]上执行

安装ceph-deploy
! Z* i9 E! t$ F; T) B, Q

yum install -y ceph-deploy

部署用户的免密码登陆其他节点) q5 e; N$ {* b3 k

su - cephD
生成SSH秘钥，不输入密码，全部[enter]
ssh-keygen

http://upload-images.jianshu.io/upload_images/6582575-b0afce24da2d3c9c.png?imageMogr2/auto-orient/strip|imageView2/2/w/611/format/webp

CEPH_Node_03.png

添加信任，执行以下操作
ssh-copy-id cephD@node1ssh-copy-id cephD@node2ssh-copy-id cephD@node3
cd ~;touch ~/.ssh/config;vi ~/.ssh/config
输入如下内容
Host node1 Hostname node1 User cephDHost node2 Hostname node2 User cephDHost node3 Hostname node3 User cephD

创建集群
$ H; W% B3 d' Z* @

cd ~;mkdir my-cluster;cd my-cluster;ceph-deploy new node1
结果如下：

http://upload-images.jianshu.io/upload_images/6582575-1e2620e0391192b9.png?imageMogr2/auto-orient/strip|imageView2/2/w/839/format/webp

CEPH_Node_04.png

修改OSD默认数量为2
echo "osd pool default size = 2" >> ceph.confecho "public_network = 192.168.122.0/24" >> ceph.conf

集群安装ceph& Q$ T: W; y* W4 I3 t) P

ceph-deploy install --release luminous node node1 node2 node3

http://upload-images.jianshu.io/upload_images/6582575-0ae9958bb7a46686.png?imageMogr2/auto-orient/strip|imageView2/2/w/725/format/webp

CEPH_Node_05.png

初始化ceph-moni服务3 b# N, c# }6 C6 g" x

ceph-deploy mon create-initial

http://upload-images.jianshu.io/upload_images/6582575-1de180078709ccc6.png?imageMogr2/auto-orient/strip|imageView2/2/w/721/format/webp

CEPH_Node_06.png

拷贝管理员配置到各个节点' T6 i# L" s% h( \6 S

ceph-deploy admin node node1 node2 node3

安装管理例程9 _. i3 ^( J: s2 I, F* X7 j

ceph-deploy mgr create node1

NOTE：mgr和moni是什么关系
7 U( V. K! H/ v2 }# P

添加OSD节点
% o, C+ r4 v9 F+ p9 M# i

ceph-deploy osd create --data /dev/vdb node2ceph-deploy osd create --data /dev/vdb node3

http://upload-images.jianshu.io/upload_images/6582575-858fea0c1ddfdc61.png?imageMogr2/auto-orient/strip|imageView2/2/w/722/format/webp

CEPH_Node_07.png

查看ceph集群状态+ [4 A; O& g( _

ssh node1 sudo ceph healthssh node2 sudo ceph healthssh node3 sudo ceph health

http://upload-images.jianshu.io/upload_images/6582575-c64d213a876a4f0b.png?imageMogr2/auto-orient/strip|imageView2/2/w/472/format/webp

CEPH_Node_08.png

ssh node1 sudo ceph -s

http://upload-images.jianshu.io/upload_images/6582575-b86aedb7d28f262d.png?imageMogr2/auto-orient/strip|imageView2/2/w/660/format/webp

CEPH_Node_09.png

集群扩展1 i/ f* `7 j) L' ?) [+ B7 v+ G( t

新增元数据服务节点; b; d% \' d7 R- D' _- J

ceph-deploy mds create node1ceph-deploy mds create node2

新增ceph-moni
) |" l7 u" U- n! V1 @: P+ P

ceph-deploy mon add node2 ceph-deploy mon add node3

NOTE:现在集群三个节点都运行了ceph-moni ?
- A% l9 B! S2 v; c; K& t- L

新增管理例程节点9 o6 |9 [5 M( K

ceph-deploy mgr create node2 node3

新增rgw实例3 T/ u" x# |3 a, `& S9 l' v8 A1 D

ceph-deploy rgw create node1ceph-deploy rgw create node2

pool操作
1 H P5 u/ \! e8 @+ b, A* q C$ z

ceph osd pool create mytest 8 //创建ceph osd pool rm mytest //删除

对象操作4 O3 ]. o' Z6 b# }# f

[cephD@node my-cluster]$ rados put test-object-1 ceph.log --pool=mytest[cephD@node my-cluster]$ rados -p mytest lstest-object-1[cephD@node my-cluster]$ ceph osd map mytest test-object-1osdmap e26 pool 'mytest' (5) object 'test-object-1' -> pg 5.74dc35e2 (5.2) -> up ([1,0], p1) acting ([1,0], p1)[cephD@node my-cluster]$ rados rm test-object-1 --pool=mytest
七 ansible 部署ceph集群本节在ceph主机以cephD用户执行

准备工作
$ ~. `* |9 ^3 G# G

卸载ceph集群3 z4 i. ^1 ?& W" Z7 R

cd ~/my-cluster;ceph-deploy purge node node1 node2 node3ceph-deploy purgedata node node1 node2 node3ceph-deploy forgetkeysrm ceph.*

安装python-pip工具, ?6 Q( j% r+ E' ?. i

cd ~;sudo yum update -y;sudo yum install -y python-pip;

安装ceph-ansible) E" m% I" r' g( _/ v& |3 F' K

安装ansible-2.6.4% T; q: P7 L4 x' K, r8 n! V

sudo yum install -y PyYAMLsudo yum install -y python-jinja2sudo yum install -y python-paramikosudo yum install -y python-sixsudo yum install -y python2-cryptographysudo yum install -y sshpasswget https://releases.ansible.com/ans ... .ans.noarch.rpmsudo rpm -ivh ansible-2.6.4-1.el7.ans.noarch.rpmansible --version

http://upload-images.jianshu.io/upload_images/6582575-794b0da59192c239.png?imageMogr2/auto-orient/strip|imageView2/2/w/1031/format/webp

CEPH_ANSIBLE_02.png

下载ceph-ansible
7 b+ Z) V$ s7 k3 y; b0 M$ u8 h

cd ~;sudo yum install -y git;git clone https://github.com/ceph/ceph-ansible.gitcd ceph-ansible;git branch -a|grep stable
结果如下：

http://upload-images.jianshu.io/upload_images/6582575-91657a2dd15e6f50.png?imageMogr2/auto-orient/strip|imageView2/2/w/618/format/webp

CEPH_ANSIBLE_01.png

发行版说明
: b2 c1 }" r7 e* x

[td]

ceph-ansible分支	ceph版本	ansible版本
stable-3.0	jewel 和 luminous	2.4
stable-3.1	luminous 和 mimic	2.4
stable-3.2	luminous 和 mimic	2.6
master	luminous 和 mimic	2.7

选择stable-3.2，解决python依赖# l6 ] K3 a5 C; v7 R; `" Z

git checkout stable-3.2sudo pip install -r requirements.txtsudo pip install --upgrade pip

配置Inventory集群主机: }3 ]2 M7 K9 D9 @

sudo chmod 0660 /etc/ansible/hosts sudo echo "[mons]">>/etc/ansible/hostssudo echo "node1">>/etc/ansible/hostssudo echo "node2">>/etc/ansible/hostssudo echo "[osds]">>/etc/ansible/hostssudo echo "node2">>/etc/ansible/hostssudo echo "node3">>/etc/ansible/hostssudo echo "[mgrs]">>/etc/ansible/hostssudo echo "node1">>/etc/ansible/hostssudo echo "node2">>/etc/ansible/hostssudo echo "node3">>/etc/ansible/hosts

配置Playbook部署指令
: g* B8 |2 P8 B! D: ?

cp site.yml.sample site.yml

配置ceph部署0 r" C0 c- t# t6 A1 f, D

cp group_vars/all.yml.sample group_vars/all.ymlvi group_vars/all.yml------############ INSTALL ############ceph_origin:repositoryceph_repository: communityceph_stable_release: luminousceph_stable_repo: "{{ ceph_mirror }}/rpm-{{ ceph_stable_release }}/el7/x86_64"......monitor_interface: eth0......public_network: 192.168.122.0/24osd_objectstore: filestoredevices: - '/dev/vdb'osd_scenario: collocated------

安装执行6 }- ~, x$ w1 Z; w# p/ b3 V# s7 ?

ansible-playbook site.yml -vvceph -s

NOTE:-vv 提示更多错误信息
% O I& F+ r- n# [2 H, C' r4 J

PLAY RECAP ********************************************************************************************************************************************************************************************************node1 : ok=165 changed=26 unreachable=0 failed=0 node2 : ok=248 changed=35 unreachable=0 failed=0 node3 : ok=176 changed=26 unreachable=0 failed=0 INSTALLER STATUS **************************************************************************************************************************************************************************************************Install Ceph Monitor : Complete (0:07:34)Install Ceph Manager : Complete (0:07:58)Install Ceph OSD : Complete (0:01:09)Wednesday 27 March 2019 02:50:32 -0400 (0:00:00.065) 0:17:19.385 ******* =============================================================================== ceph-common : install redhat ceph packages --------------------------------------------------------------------------------------------------------------------------------------------------------------- 274.13s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/install_redhat_packages.yml:16 -------------------------------------------------------------------------------------------------------------------------ceph-common : install redhat ceph packages --------------------------------------------------------------------------------------------------------------------------------------------------------------- 230.22s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/install_redhat_packages.yml:16 -------------------------------------------------------------------------------------------------------------------------ceph-common : install centos dependencies ---------------------------------------------------------------------------------------------------------------------------------------------------------------- 104.34s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/install_redhat_packages.yml:9 --------------------------------------------------------------------------------------------------------------------------ceph-common : install centos dependencies ----------------------------------------------------------------------------------------------------------------------------------------------------------------- 93.92s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/install_redhat_packages.yml:9 --------------------------------------------------------------------------------------------------------------------------ceph-mgr : install ceph-mgr package on RedHat or SUSE ----------------------------------------------------------------------------------------------------------------------------------------------------- 78.47s/home/cephD/ceph-ansible/roles/ceph-mgr/tasks/requisite.yml:2 ------------------------------------------------------------------------------------------------------------------------------------------------ceph-mon : create ceph mgr keyring(s) when mon is not containerized --------------------------------------------------------------------------------------------------------------------------------------- 18.35s/home/cephD/ceph-ansible/roles/ceph-mon/tasks/ceph_keys.yml:61 ---------------------------------------------------------------------------------------------------------------------------------------------------ceph-osd : manually prepare ceph "filestore" non-containerized osd disk(s) with collocated osd data and journal ------------------------------------------------------------------------------------------- 12.11s/home/cephD/ceph-ansible/roles/ceph-osd/tasks/scenarios/collocated.yml:53 ----------------------------------------------------------------------------------------------------------------------------------------ceph-osd : activate osd(s) when device is a disk ----------------------------------------------------------------------------------------------------------------------------------------------------------- 9.93s/home/cephD/ceph-ansible/roles/ceph-osd/tasks/activate_osds.yml:5 ------------------------------------------------------------------------------------------------------------------------------------------------ceph-config : generate ceph configuration file: ceph.conf -------------------------------------------------------------------------------------------------------------------------------------------------- 7.68s/home/cephD/ceph-ansible/roles/ceph-config/tasks/main.yml:77 -----------------------------------------------------------------------------------------------------------------------------------------------------ceph-mon : collect admin and bootstrap keys ---------------------------------------------------------------------------------------------------------------------------------------------------------------- 6.42s/home/cephD/ceph-ansible/roles/ceph-mon/tasks/ceph_keys.yml:2 ----------------------------------------------------------------------------------------------------------------------------------------------------ceph-mon : create monitor initial keyring ------------------------------------------------------------------------------------------------------------------------------------------------------------------ 5.64s/home/cephD/ceph-ansible/roles/ceph-mon/tasks/deploy_monitors.yml:22 ---------------------------------------------------------------------------------------------------------------------------------------------ceph-mgr : disable ceph mgr enabled modules ---------------------------------------------------------------------------------------------------------------------------------------------------------------- 5.45s/home/cephD/ceph-ansible/roles/ceph-mgr/tasks/main.yml:32 --------------------------------------------------------------------------------------------------------------------------------------------------------ceph-config : generate ceph configuration file: ceph.conf -------------------------------------------------------------------------------------------------------------------------------------------------- 4.88s/home/cephD/ceph-ansible/roles/ceph-config/tasks/main.yml:77 -----------------------------------------------------------------------------------------------------------------------------------------------------ceph-common : configure red hat ceph community repository stable key --------------------------------------------------------------------------------------------------------------------------------------- 4.35s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/redhat_community_repository.yml:2 ----------------------------------------------------------------------------------------------------------------------ceph-common : configure red hat ceph community repository stable key --------------------------------------------------------------------------------------------------------------------------------------- 4.07s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/redhat_community_repository.yml:2 ----------------------------------------------------------------------------------------------------------------------ceph-config : create ceph initial directories -------------------------------------------------------------------------------------------------------------------------------------------------------------- 4.06s/home/cephD/ceph-ansible/roles/ceph-config/tasks/create_ceph_initial_dirs.yml:18 ---------------------------------------------------------------------------------------------------------------------------------ceph-common : purge yum cache ------------------------------------------------------------------------------------------------------------------------------------------------------------------------------ 3.59s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/configure_redhat_repository_installation.yml:23 --------------------------------------------------------------------------------------------------------ceph-common : configure red hat ceph community repository stable key --------------------------------------------------------------------------------------------------------------------------------------- 3.27s/home/cephD/ceph-ansible/roles/ceph-common/tasks/installs/redhat_community_repository.yml:2 ----------------------------------------------------------------------------------------------------------------------ceph-config : create ceph initial directories -------------------------------------------------------------------------------------------------------------------------------------------------------------- 3.27s/home/cephD/ceph-ansible/roles/ceph-config/tasks/create_ceph_initial_dirs.yml:18 ---------------------------------------------------------------------------------------------------------------------------------ceph-config : create ceph initial directories -------------------------------------------------------------------------------------------------------------------------------------------------------------- 3.12s/home/cephD/ceph-ansible/roles/ceph-config/tasks/create_ceph_initial_dirs.yml:18 ---------------------------------------------------------------------------------------------------------------------------------
检查集群状态
cephD@node ceph-ansible (stable-3.2) $ ssh node1 sudo ceph -s cluster: id: bb653ada-5753-4672-9d3b-b5e92846b897 health: HEALTH_OK services: mon: 2 daemons, quorum node1,node2 mgr: node2(active), standbys: node3, node1 osd: 2 osds: 2 up, 2 in data: pools: 0 pools, 0 pgs objects: 0 objects, 0B usage: 214MiB used, 89.7GiB / 90.0GiB avail pgs:
其他操作可以参考【七使用ceph-deploy安装】第7步之后的操作

NOTE:本节安装没有ceph-admin节点，所以node节点上是没有ceph的，所有ceph操作需要在node1上执行：$ {- L j8 X/ g! x K
ssh node1: M) Y4 w7 c# D& ^! c7 A5 g

八离线部署本章在cceph主机以ephD用户执行

搭建本地仓库
& }, L9 i. c( Z4 BCentOS7搭建本地仓库--CEPH
使用ceph-ansible部署; w) ]8 S" s) l) N
参考【七 ansible 部署ceph集群】
与第七章不一样的地方* G! b9 x: I2 M. I! o/ J

安装python-pip工具注意点/ }/ I$ r9 l/ Z

sudo pip install -r /home/cephD/ceph-ansible/requirements.txt --find-links=http://192.168.232.129/repo/python/deps/ --trusted-host 192.168.232.129

配置ceph部署注意点" [# w" [4 ]6 N. d

cp group_vars/all.yml.sample group_vars/all.ymlvi group_vars/all.yml------############ INSTALL ############ceph_origin:repositoryceph_repository: customceph_stable_release: luminousceph_stable_repo: "http://192.168.232.129/repo/ceph/luminous/"......monitor_interface: eth0......public_network: 192.168.122.0/24osd_objectstore: filestoredevices: - '/dev/sdb'osd_scenario: collocated------

提醒
3 s5 n+ T3 g' T/ m) a1 t, W9 x& }; \ceph-ansible 部署ceph集群的时候 cephD用户的一系列操作也是必要的
0 h- j% Y) y3 S/ I7 C2 |6 t

九操作集群

启动所有守护例程9 ^ a6 |7 ^: x7 b/ f3 u) j

sudo systemctl start ceph.target

停止所有守护例程$ x7 A/ s3 E+ n0 s

sudo systemctl stop ceph\*.service ceph\*.target
十问题&解决

[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'+ _# n8 g/ y9 ~. K8 G7 S$ h
Solution：等待20分钟，再次执行（有时候，由于网络原因，yum install -y ceph ceph-radosgw 时间会超过300s，造成超时）
[node1][WARNIN] Another app is currently holding the yum lock; waiting for it to exit...
) j* w) ]7 s7 BSolution：等待，或者通过[ps -ef|grep yum]找到锁住的指令进程，cancel掉之后，以此执行yum指令
安装特别慢
- b$ n. P7 @* y8 MSolution：可以不在一个命令中安装，经测试，支持并行安装,如下：$ L# D5 ?( [6 |$ H7 Y/ k0 d* s

ceph-deploy install --release luminous node &ceph-deploy install --release luminous node1 &ceph-deploy install --release luminous node2 &ceph-deploy install --release luminous node3 &

auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring ---- ceph quorum_status --format json-pretty
% A( Q; H0 ?( n7 R) r, G

sudo cp * /etc/ceph/sudo chown cephD:root /etc/ceph/*

[ceph_deploy.rgw][ERROR ] RuntimeError: config file /etc/ceph/ceph.conf exists with different content; ...
! ~6 q! l5 ]- H- q( `8 u& B o0 {

ceph-deploy --overwrite-conf rgw create node1

[ERROR ] admin_socket: exception getting command descriptions: [Errno 2] No such file or directory
. |- ~6 q+ G3 |1 Q; S( {; S) V, L

echo "public_network = 192.168.122.0/24" >> ceph.confceph-deploy --overwrite-conf config push node node1 node2 node3

mgr和moni有啥区别3 W+ i$ C3 n( u
在luminous版本之前，mgr进程包含在moni进程内部，L版开始拆分出来
' ~% g2 Z9 L; f& [

admin · 发表于 2020-12-13 11:49:33

继续上节ceph 安装继续配置配置 Mgr

　　#  ceph-deploy mgr create ceph1:mon_mgr ceph2:mon_mgr ceph3:mon_mgr

开启 dashboard (在任一 mon_server 节点上)

　　# ceph mgr module enable dashboard

到此处mgr 配置完成。

在浏览器访问：http://mgr-server-ip:7000/

　　

提醒：目前 mgr 功能模块可能还存在选举问题，如果多mgr 节点都开启，可能会出现web页面取不到数据，建议只开启一个mgr节点服务，然后关闭其他节点mgr服务。

设置dashboard 端口和IP

　　# ceph config-key set mgr/dashboard/server_port 7000 （指定集群dashboard的访问端口。可以不用配置，默认7000端口。）

　　# ceph config-key set mgr/dashboard/server_addr $IP    (指定集群 dashboard的访问IP)

服务重启：

　　# systemctl restart ceph-mgr@mon_mgr

更新：

mimic版  (nautilus版)  dashboard 安装

　　如果是  (nautilus版) 需要安装 ceph-mgr-dashboard

　　# yum install -y ceph-mgr-dashboard

1、添加mgr 功能

　　# ceph-deploy mgr create node1 node2 node3

2、开启dashboard 功能

　　# ceph mgr module enable dashboard

3、创建证书

　　# ceph dashboard create-self-signed-cert

4、创建 web 登录用户密码

　　# ceph dashboard set-login-credentials user-name password

5、查看服务访问方式

　　# ceph mgr services

admin · 发表于 2020-12-13 12:06:16

Step 1.admin node Enable epel (Extra Packages for Enterprise Linux) repository、ceph.repo配置文件
复制代码
# 认证，但我显示系统证书崩溃，请重新注册，就先跳过了
yum install subscription-manager
subscription-manager repos --enable=rhel-7-server-extras-rpms

yum install -y https://dl.fedoraproject.org/pub ... latest-7.noarch.rpm
安装参考：
http://www.mamicode.com/info-detail-1287279.html
复制代码

文件位于控制节点（即admin node）的 /etc/yum.repos.d/ceph.repo

复制代码
[ceph-noarch]
name=Ceph noarch packages
# baseurl=https://download.ceph.com/rpm/el7/noarch
baseurl=http://mirrors.163.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
# gpgkey=https://download.ceph.com/keys/release.asc
gpgkey=http://mirrors.163.com/ceph/keys/release.asc
复制代码
注意：
上面的注释部分，是Ceph官网的写法。但是对于我们国内的安装，这样几乎无法成功，因为下载Ceph太慢了，会导致失败。因此，需要改写repo文件以更新Ceph源。
常用的Ceph镜像是163镜像。但在使用163镜像之后，必须将rpm写成rpm-luminous，这样才会安装ceph-deploy-2.0.0；若只写成rpm，则实际安装的是ceph-deploy-1.5.

Step 2.admin node安装ceph-deploy
yum update
yum install -y ceph-deploy
管理节点必须具有对Ceph节点的无密码SSH访问。当ceph-deploy以用户身份登录到Ceph节点时，该特定用户必须具有无密码的sudo权限。

Step 3.每个ceph node 安装ntp和openssh-server
因为将来拥有monitor的Ceph node需要使用ntp来同步时间，因此需要安装ntp相关工具。而openssh-server也是必须的。

yum install -y ntp ntpdate ntp-doc
yum install -y openssh-server

Step 4.每个ceph node创建一个Ceph Deploy用户
ceph-deploy实用程序必须以具有无密码sudo权限的用户身份登录到Ceph节点，因为它需要安装软件和配置文件而不提示输入密码。

最新版本的ceph-deploy支持--username选项，因此您可以指定任何具有无密码sudo的用户（包括root用户，但不建议这样做）。要使用ceph-deploy --username {username}，您指定的用户必须具有对Ceph节点的无密码SSH访问权限，因为ceph-deploy不会提示您输入密码。

我们建议在群集中的所有Ceph节点上为ceph-deploy创建特定用户。请不要使用“ceph”作为用户名。群集中的统一用户名可以提高易用性（不是必需的），但是您应该避免使用明显的用户名，因为黑客通常会使用暴力破解（例如root，admin，{productname}）。以下过程用{username}替换您定义的用户名，描述了如何使用无密码sudo创建用户。

注意：从Infernalis版本开始，“ceph”用户名是为Ceph守护进程保留的。如果Ceph节点上已存在“ceph”用户，则必须在尝试升级之前删除该用户。

useradd -d /home/luxiaodai -m luxiaodai
passwd luxiaodai（123456）
# 给该用户sudo的权限
echo "luxiaodai ALL = (root) NOPASSWD:ALL" | tee /etc/sudoers.d/luxiaodai
chmod 0440 /etc/sudoers.d/luxiaodai

Step 5.admin node设置免密和填写 ~/.ssh/config 文件
设置免密

复制代码
# 生成秘钥
ssh-keygen

# 拷贝到其余节点
ssh-copy-id {username}@node1
ssh-copy-id {username}@node2
ssh-copy-id {username}@node3
复制代码
~/.ssh/config 这个文件是给ceph-deploy使用的。通过此文件，ceph-deploy可以知道用户名和Ceph node的信息；这样，就不用每次在执行ceph-deploy的时候都指定–username {username}了。用户（luxiaodai）和节点名称（node1等）后面会介绍怎么创建的

复制代码
Host node1
Hostname node1
User luxiaodai
Host node2
Hostname node2
User luxiaodai
Host node3
Hostname node3
User luxiaodai
复制代码
关闭防火墙：

linux修改主机名+免密认证+关闭防火墙

Step 6.TTY
在CentOS和RHEL上，您可能在尝试执行ceph-deploy命令时收到错误。如果在您的Ceph节点上默认设置了requiretty，请通过执行sudo visudo并找到Defaults requiretty设置来禁用它。将其更改为Defaults：ceph！requiretty或将其注释掉以确保ceph-deploy可以使用您创建的用户与创建Ceph部署用户进行连接。

Step 7.确保您的包管理器已安装并启用了priority/preferences package。在CentOS上，您可能需要安装EPEL
yum install yum-plugin-priorities

CEPH STORAGE CLUSTER安装
Step 1. 创建工作目录
本步骤在admin node上完成。

mkdir my_cluster
cd my_cluster
ceph-deploy工具将输出一些文件到这个my-cluster目录。要确保每次运行ceph-deploy命令都是在这个目录下。

注意：不要使用sudo来运行ceph-deploy命令，也不要在使用非root用户时以root用户身份运行ceph-deploy命令。因为ceph-deploy不会把sudo命令也发送到远端的ceph node上执行。

Step 2.环境清理
在任何时候当你陷入困境希望从头开始部署时，就执行以下的命令以清空Ceph的package以及擦除它的数据和配置：

ceph-deploy purge {ceph-node} [{ceph-node}]
ceph-deploy purgedata {ceph-node} [{ceph-node}]
ceph-deploy forgetkeys
rm ceph.*
这里执行

ceph-deploy purge node1 node2 node3
ceph-deploy purgedata node1 node2 node3
的时候提示

ImportError: No module named pkg_resources
解决方法：

yum install python-setuptools
如果执行purge，则必须重新安装Ceph。最后一个rm命令删除在先前安装期间由本地ceph-deploy写出的所有文件。

Step 3. 创建一个集群
先创建如下图所示的ceph集群，1 monitor + 1 manager + 3 osd daemon

1.创建
ceph-deploy new node1
这个命令结束后，会在my-cluster目录下看到：ceph.conf, ceph.mon.keyring, log文件

2. 添加public network的配置到ceph.conf
添加下面这句话到 ceph.conf 文件的 [global] 段

public network = 192.168.1.210/24
or
public network = 192.168.1.210/255.255.255.0

如果要在IPv6环境中部署，请将以下内容添加到本地目录中的ceph.conf：

echo ms bind ipv6 = true >> ceph.conf

3. 安装Ceph的packages
ceph-deploy install node1 node2 node3
安装过程中出现的问题

复制代码
# 如果安装一直有问题，清空/etc/yum.repo，然后将yum源换掉：http://mirrors.ustc.edu.cn/help/epel.html
问题：
[ceph_deploy][ERROR ] RuntimeError: NoSectionError: No section: 'ceph'
解决方法：
yum remove ceph-release
rm  /etc/yum.repos.d/ceph.repo.rpmsave
问题：
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: yum -y install ceph ceph-radosgw
解决方法：
yum -y install ceph ceph-radosgw
ceph安装缺少python-werkzeug包
安装包下载地址：http://rpmfind.net/linux/rpm2htm ... ery=python-werkzeug
rpm -ivh python-werkzeug-0.9.1-2.el7.noarch.rpm
问题：[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: ceph –version
解决：ceph1 安装速度过慢，已经超时了，直接手动安装 yum -y install ceph ceph-radosgw
复制代码
安装成功！！！

4. 部署第一个monitor并产生keyring
ceph-deploy mon create-initial
注意:
若出现类似于”Unable to find /etc/ceph/ceph.client.admin.keyring”这样的错误，则要确定在ceph.conf文件中的mon_host的IP应该是public IP，而不是其他IP.

当这一步结束时，my-cluster目录会出现如下的keyring：

5. 使用ceph-deploy拷贝配置文件和admin key到ceph nodes.
这样就可以使用ceph CLI来执行命令了，而不用每次都指定monitor的地址和ceph.client.admin.keyring.

ceph-deploy admin node1 node2 node3

6. 部署一个manager daemon. (Luminous开始要求的)
ceph-deploy mgr create node1

7. 添加osd
添加3个OSD。出于说明的目的，我们假设您在每个节点中都有一个名为/ dev / vdb的未使用磁盘。确保设备当前未使用且不包含任何重要数据。

复制代码
ceph-deploy osd create -data {device} {ceph-node}

ceph-deploy osd create --data /dev/sdb node1
ceph-deploy osd create --data /dev/sdb node2
ceph-deploy osd create --data /dev/sdb node3

注意：如果要在LVM卷上创建OSD，则--data的参数必须是 volume_group/lv_name，而不是卷的块设备的路径。
复制代码

8. 健康验证
ssh node1 sudo ceph health

您的群集应报告HEALTH_OK。您可以使用以下命令查看更完整的群集状态：

ssh node1 sudo ceph -s
查询结果如下：

Step 4. 扩展集群
启动并运行基本群集后，下一步是展开群集。将Ceph元数据服务器添加到node1。然后将Ceph Monitor和Ceph Manager添加到node2和node3，以提高可靠性和可用性。

对比第一阶段的工作，第二阶段要扩展的是：

添加1个metadata server
添加2个monitor
添加2个manager
添加1个RGW

1. 添加一个metadata server
如果要使用CephFS，就必须至少添加一个metadata server.

ceph-deploy mds create node1

2. 添加2个monitors，达到3个monitors
Ceph存储集群需要至少运行一个Ceph Monitor和Ceph Manager。为了实现高可用性，Ceph存储集群通常运行多个Ceph监视器，因此单个Ceph监视器的故障不会导致Ceph存储集群崩溃。 Ceph使用Paxos算法，该算法需要大多数监视器（即大于N / 2，其中N是监视器的数量）才能形成法定人数。虽然这不是必需的，但监视器的数量往往更好。

ceph-deploy mon add node2
ceph-deploy mon add node3
在添加新的monitor之后，ceph会开始同步这些monitor，并形成一个quorum. 要检查quorum的状态，可运行：

ceph quorum_status --format json-pretty
复制代码
[root@node1 my_cluster]# ceph quorum_status --format json-pretty
{
"election_epoch": 12,
"quorum": [
      0,
      1,
      2
],
"quorum_names": [
      "node1",
      "node2",
      "node3"
],
"quorum_leader_name": "node1",
"monmap": {
      "epoch": 3,
      "fsid": "f314d1c1-b6b9-4060-95b7-c25ec192f612",
      "modified": "2018-11-13 16:04:02.221558",
      "created": "2018-11-13 15:35:34.338001",
      "features": {
         "persistent": [
            "kraken",
            "luminous",
            "mimic",
            "osdmap-prune"
         ],
         "optional": []
      },
      "mons": [
         {
            "rank": 0,
            "name": "node1",
            "addr": "192.168.1.210:6789/0",
            "public_addr": "192.168.1.210:6789/0"
         },
         {
            "rank": 1,
            "name": "node2",
            "addr": "192.168.1.212:6789/0",
            "public_addr": "192.168.1.212:6789/0"
         },
         {
            "rank": 2,
            "name": "node3",
            "addr": "192.168.1.214:6789/0",
            "public_addr": "192.168.1.214:6789/0"
         }
      ]
}
}
复制代码
当给Ceph安装多个monitor之后，应该在每个monitor主机上都安装并配置NTP，以保证时间的同步。ntp的配置这里从略，只简单概述一下原理:将2台monitor所在机器配置成向第3台monitor机器做ntp的同步，而第3台monitor上通过crontab来定时调用ntpdate命令向Internet上的ntp时钟源做同步。

3. 添加2个managers，达到3个managers
Ceph Manager daemon工作在active/standby的模式。添加多manager，可以保证如果一个manager或host宕掉，另一个manager可以无缝接管过来。

ceph-deploy mgr create node2 node3
可以通过ceph -s命令看到active和standby的manager.

4. 添加一个RGW实例
要部署Ceph Object Gateway组件，就必须部署一个RGW实例。

ceph-deploy rgw create node1
GW instance监听在7480端口。若需改变端口号，可修改ceph.conf文件。

[client]
rgw frontends = civetweb port=80
若要使用IPv6地址，可以如下修改ceph.conf

[client]
rgw frontends = civetweb port=[::]:80

存储/检索object数据
要存储object数据，ceph client必须：
1. 设置一个object name
2. 指定一个pool

注意：
关于ceph client，将在下篇博客介绍。

Ceph client获取最新的cluster map; 而CRUSH算法计算怎样将一个object对应到一个placement group，然后再怎样将这个palcement group动态赋给一个OSD daemon.
要找到这个object的位置，可以执行如下命令：

ceph osd map {poolname} {object-name}
作为练习，让我们创建一个对象。在命令行上使用rados put命令指定对象名称，包含某些对象数据的测试文件的路径和池名称。例如：

rados put {object-name} {file-path} --pool=mytest
ceph osd pool create mypool 8 # 8是该pool的PG的数量
echo "Hello, World" > 1.txt
rados put my-obj-1 1.txt --pool=mypool

检查Ceph集群确实存储了这个object:

rados -p mypool ls
确定object的位置：

ceph osd map {pool-name} {object-name}
[root@node1 luxiaodai]# ceph osd map mypool my-obj-1
osdmap e26 pool 'mypool' (5) object 'my-obj-1' -> pg 5.ced445fe (5.6) -> up ([0,1,2], p0) acting ([0,1,2], p0)

若要删除这个object，可以这样：

rados rm my-obj-1 --pool=mypool
如果你要删除池，使用下面命令，出于安全原因，您需要根据提示提供其他参数; 删除池会破坏数据

ceph osd pool rm mypool
删除需要修改配置文件，加入红色部分，必须在mon节点上执行

复制代码
[root@node1 my_cluster]# ceph osd pool delete mypool
Error EPERM: WARNING: this will *PERMANENTLY DESTROY* all data stored in pool mypool.  If you are *ABSOLUTELY CERTAIN* that is what you want, pass the pool name *twice*, followed by --yes-i-really-really-mean-it.
[root@node1 my_cluster]# ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
Error EPERM: pool deletion is disabled; you must first set the mon_allow_pool_delete config option to true before you can destroy a pool
[root@node1 my_cluster]# vim /etc/ceph/ceph.conf
[root@node1 my_cluster]# cat /etc/ceph/ceph.conf
[global]
fsid = f314d1c1-b6b9-4060-95b7-c25ec192f612
mon_initial_members = node1
mon_host = 192.168.1.210
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx
public network = 192.168.1.210/24

[mon]
mon allow pool delete = true
[root@node1 my_cluster]# systemctl restart ceph-mon.target
[root@node1 my_cluster]# ceph osd pool delete mypool mypool --yes-i-really-really-mean-it
pool 'mypool' removed
复制代码
现在，集群部署好了，object也能成功创建了，但是却并不利于用户的使用。用户使用存储，一般不直接通过原始的object，而是主要有3种使用方式：
块设备
文件系统
对象存储（比上述原生的object多了一些封装，常见的有通过S3 API或Swift API进行对象的存取）

BLOCK DEVICE QUICK START
1. 安装Ceph
首先要确保是Linux kernel以及合适的版本。

在admin node上运行以下命令，将Ceph安装到ceph-client node上：

ceph-deploy install host
然后，运行以下命令将Ceph配置文件和ceph.client.admin.keyring拷贝到ceph-client上。

ceph-deploy admin host

2. 创建一个块设备的pool
在之前的文章中，已经创建了一个叫做mypool的pool，现在需要运行以下命令以使得该pool可以作为RBD使用：

rbd pool init mypool

3. 配置一个block device（块设备）
1.创建一个block device image
rbd create foo --size 4096 --image-feature layering [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring] [-p {pool-name}]
rbd create test --pool mypool --size 4096 --image-feature layering -m 192.168.1.210 -k /etc/ceph/ceph.client.admin.keyring
如要查看所创建的rbd，可以这样：

rbd info test -p mypool
结果如下：

2.map一个block device image
sudo rbd map foo --name client.admin [-m {mon-IP}] [-k /path/to/ceph.client.admin.keyring] [-p {pool-name}]

rbd map mypool/test --name client.admin -m 192.168.1.210 -k /etc/ceph/ceph.client.admin.keyring

3.创建一个文件系统并挂载

注意：这里的rbd map和mount命令只是当时起作用。若系统重启了，则需要重新手动做。若要开机自动做

		自动登录	找回密码
密码			注册

CentOS7环境部署虚拟ceph集群

浏览过的版块