centos 7.9安装cephoctopus版本记录

admin

软件版本：
0 ?& w! i5 Y0 g, P


7 x+ J/ G* B0 P4 {2 x( s5 f* ?# e
. [1 {4 t) ]( Q" e, v- a( S, g
/ `+ s: D" S+ K# W
% U2 }  q) ]6 l
" }+ G. D' ?  J. R) @) ^
- ?! ?$ F/ q4 s+ f2 b



8 t/ B6 Z" j6 |
. r; g4 G  d$ e$ b& ^$ M4 n9 @

3 g9 ]% J+ d/ @+ q
1 f5 ^; ?4 @5 e2 N9 ^% o
软件版本cephoctopus（15.2.16）centos7.9
1 ~% e; u+ Q3 ]8 Y' h9 p1 X+ Tceph官网版本：
docs.ceph.com/en/latest/r…
. h( I1 ]: }1 U机器列表：




8 R* p- }" k# T% d- a
, Q1 W& V( a* d/ w4 g0 X2 ]& K


: x, \2 a6 n* m9 O) G; ]
9 c- ]5 w7 L/ Z9 Z& \
6 g2 z+ ~2 n" [* r% C9 P- B- D, _
5 j3 }( L' ]2 \3 m4 x
" N; ?/ U3 ~5 h& R


% a) I" G& P9 V4 @6 k( N

* {5 y: e% _6 o, e


7 f/ ], ~2 v, A( g( j




机器名称ip块设备
, T: X8 ~, {' f- V- y% T, w' ?master0 12.70.10.161/dev/vdb 和
/dev/vdcmaster1 12.70.10.162/dev/vdb 和
/dev/vdcmaster2 12.70.10.163/dev/vdb 和 /dev/vdc
准备工作
开始使用ansible做些准备工作，实际开始搭建后，不用ansible，因为cephadm本身就是一个集群管理工具。
3 n) q6 l' N& ?: E如下ansible剧本均在集群外的任意一台机器上面执行，需要安装下ansible，不明白的可以参照ansible使用方法。
ansible的hosts配置如下（因为之前这些机器用来搭建k8s，所以名称没有改变）：
bash 体验AI代码助手 代码解读复制代码
master0 ansible_host=12.70.10.161 ansible_port=22 ansible_user=root ansible_password=*** host_name=master0
: V7 b5 w2 Q0 z- Rmaster1 ansible_host=12.70.10.162 ansible_port=22 ansible_user=root ansible_password=*** host_name=master1
master2 ansible_host=12.70.10.163 ansible_port=22 ansible_user=root ansible_password=*** host_name=master2
. F) x  h1 {) @7 N, {( v& Y7 ~5 `4 w
[all]
9 }3 b9 d% c  j0 i5 F/ cmaster0
master1
6 p* w/ ^8 T- G, a; j; R3 s8 g; Zmaster2

升级系统内核
升级系统内核到5.17
ansible脚本如下（1.kenel.yaml）：
yaml 体验AI代码助手 代码解读复制代码- name: update kernel
6 b) G9 z3 o2 e0 n. {  hosts: all
8 Q/ E7 }+ ]+ ~1 Q/ w0 [& `  gather_facts: True
* p' v$ K) R7 v0 I, {  vars:
  tasks:
  - name: create workspace
! a6 }3 N3 ?0 A6 d# L) {    file:
  X, i- C4 I8 ~$ G1 ^      path: /tmp/workspace/
      state: directory
    tags: workspace
  - name: yum install elrepo
    copy:
      src: templates/rpm.sh.j2
      dest: /tmp/workspace/rpm.sh
8 ^$ y$ Y# f; \      mode: 755
    tags:
      - copy-rmp
  - name: sh rpm.sh
" D* n! _/ U" U, p; G  u# K    shell: sh  /tmp/workspace/rpm.sh
, Z" x" p- P' k6 }' _% v    tags:
0 X! {! x, \4 Z2 [2 ]      - sh-rmp
) o- S; M% D( a9 \) ]  - name: 列出可用的内核相关包
    yum:
      list: available
; l- P9 e1 w. v+ y+ T& {7 X2 u      disablerepo: "*"
      enablerepo: "elrepo-kernel"
  - name: 安装内核
- u" N1 s- O( E+ V9 b    yum:
# s: [! l; j2 `" ^      name:
      - kernel-ml
      #- kernel-lt.x86_64
      #- kernel-lt-devel.x86_64
      enablerepo: elrepo-kernel
2 B+ I; P8 w1 q" z0 w) v$ O  - name: 查看内核版本默认启动顺序
    shell: awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
8 ]2 W; K, U* b+ a  - name: 修改grub中默认版本启动顺序
: S, |4 b( n6 i. X( _, y. N4 G2 `    lineinfile:
3 F* {  C1 f: u      path: /etc/default/grub
6 @+ }, n7 p. M6 k1 x/ ^: @      regexp: "^GRUB_DEFAULT"
- [& I/ c! T( E% ^; r1 U( c  L% Z      line: "GRUB_0=saved"
      backrefs: yes
      state: present
* J2 O: [4 _# M2 [% ]    tags:
, |. S. P: a7 `1 K3 q      - grub
  - name: 重新创建内核配置
% b; q7 i- W3 v    shell: grub2-mkconfig -o /boot/grub2/grub.cfg
  - name: Reboot the machine
8 ~' V6 I7 p0 f    reboot:
      reboot_timeout: 300
/ O2 ~: R* N5 k3 m  j% e  - name: uname -r
    shell: uname -r
    register: version
  - name: debug
. {+ \# }6 b$ Z0 E  N6 g# I    debug:
      msg: "{{ version }}"

. k! i" q  h  T/ _' M, @# u升级rpm脚本在ansible剧本同目录下的templates/rpm.sh.j2
9 [4 E' r) u8 B/ X内容是：
bash 体验AI代码助手 代码解读复制代码#!/bin/bash
$ y3 U3 U# G" ~/ h, `. ~rpm -import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
* q3 g3 p: N* |! J$ N/ B#rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
! a) r: B/ H. x; a1 \  qrpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
$ N' M2 P5 E8 v  [echo 0
: B- \* G2 A# f. u8 n
) i" w+ y4 |+ Y5 v, [  M5 y" k执行ansible-playbook -v 1.kenel.yaml完成集群中系统内核升级
3 W. a# d0 P6 h3 }安装必要工具和关闭相关配置
- n9 t* `" h& b5 h+ h; k
脚本2.config.yaml如下：
yaml 体验AI代码助手 代码解读复制代码- name: set config
  hosts: all
8 ^1 Z- L, \9 T$ g5 t( i  gather_facts: True
  vars:
  handlers:
  - name: update_yum
    shell: |
" t* j4 n4 L/ {      sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
2 K  e$ G$ d5 k, b# A. ~, E      yum clean all
8 |& e8 K# }( N1 |      yum makecache -y
. p; k" g3 a! P" c$ ?$ M  - name: noswap_service #禁用swap
    systemd:
      name: noswap
      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
* K( J  \# {. }, s& W      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
5 j! L) {: ?6 ]* j, \! }      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
/ ]0 p2 F0 G; E. [- |  tasks:
! n; e! T. R# h% E( V5 B* h- W  - name: back up repo
6 M9 c2 `# f; Y' F" ~/ R- o    shell: |
      mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
      mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup
; t2 e" ?  f( p( D      mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
  - name: delete /etc/systemd/system/noswap.service #禁用swap
: a8 U/ {, y' K" ~" v, x    file:
      path: /etc/systemd/system/noswap.service
      state: absent
  - name: download repo #下载yum源
    get_url:
  a1 |1 d6 b3 X( z, X      url: "{{ item.url }}"
      dest: "{{item.dest}}"
: B- Y' ~! \% A: \      force: yes
1 P$ b7 m; @: ^* @    with_items:
' C0 L. G3 [9 d& O( a" V3 a      - {url: "https://mirrors.aliyun.com/repo/Centos-7.repo", dest: "/etc/yum.repos.d/CentOS-Base.repo"}
      - {url: "http://mirrors.aliyun.com/repo/epel-7.repo", dest: "/etc/yum.repos.d/epel.repo"}
* w  X) M' W( O) [* f$ i      - {url: "http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo", dest: "/etc/yum.repos.d/docker-ce.repo"}
4 v, e$ m( c& E% M    notify: update_yum #更新yum（见上面的handlers）
2 Z& z4 c9 H) {  ?& ~% _) q& e  - name: install net-tools #安装必要的工具
' u7 E. t& u% H    yum:
- A6 Q: I$ G! Y) d      name:
      - net-tools
, W5 ?8 {0 Q+ t+ |! W$ j      - vim
! ]+ }5 V% B& Z4 Z3 `      - rsync
( r6 e7 \' \1 i: A+ D      - chrony
. u* F: J9 L0 H; y: \5 u3 d& t      state: present
      update_cache: true
    tags: tools
& l2 y6 W1 ]5 T! }5 E/ K  - name: chrony_service
    systemd:
      name: chronyd
/ @) m" X3 @3 M6 \  h      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
4 U  w' K6 V$ V1 u7 d9 G# x+ n  `      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
    tags: chronyd
  - name: config /etc/hosts #关键 生成hosts文件
    template:
! b. I# N3 P0 L: F! j8 Z      src: hosts.j2
: e* ?& H# N# O7 Y3 f9 E      dest: /etc/hosts
5 [+ s: b) \- d' t6 L+ T0 d      mode: 0644
7 I: l0 W/ w; M- ^, T& f) I) j      backup: false
    tags:
      - hosts
  - name: set hostname #设置主机名
    hostname:
$ T/ w; R5 ~# }, R6 u2 r      name={{host_name}}
  - name: set timezone to Asia-Shanghai #设置时区
5 w$ u. [3 _; B8 N( A( _% h* {    shell: |
% T, _( W: z8 B. B      /usr/bin/timedatectl set-timezone Asia/Shanghai
, t& ]0 i  \. D  x4 F5 C: `6 A& R9 f      chronyc -a makestep
    tags:
; m! a4 @9 L( R4 U$ r. }7 }      - set_timezone
  - name: stop firewalld service #关闭防火墙
. \& r+ n1 H# K. @; B    service :
3 D7 ~1 _; n$ H! K; x, {8 B      name: firewalld.service
      state: stopped
      enabled: no
    register: firewalld_service_result
) x/ `% j4 ^* S+ ~    failed_when: "firewalld_service_result is failed and 'Could not find the requested service' not in firewalld_service_result.msg"
    tags: stop-firewall
  - name: Write noswap systemd service config file
    template:
2 O3 a+ p% J1 A" s      src: noswap.service.j2
      dest: /etc/systemd/system/noswap.service
) b) P1 g, ~& ], [/ Y      owner: root
, v1 W4 S4 _+ p9 F, a4 O' X" \      group: root
- w! d/ B* x( O9 s      mode: 0644
) p0 ~  C, k; r" y    notify: noswap_service
  - name: Disabling SELinux state #关闭suse
    selinux:
      state: disabled
! t5 _2 [3 V+ R2 P  - name: Reboot the machine #重启机器
% p! i/ P* j; J& m    reboot:
      reboot_timeout: 300
5 }3 \0 V0 F5 W- Z7 p7 Z# d
templates/hosts.j2内容：
9 Z' `9 O& H$ B1 Q% d2 Y+ Obash 体验AI代码助手 代码解读复制代码

8 r! u1 D0 o! d8 [127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
+ C( {: m0 M( n' H1 S! N4 ?::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

6 x  t" m$ i3 G  |4 y+ F+ u. V( _/ U
* f6 r1 m9 |% U' k4 D{% for h in play_hosts %}
, L8 X& G; X1 w& Y  K7 n{{hostvars[h]['ansible_default_ipv4']['address']}} {{hostvars[h]['inventory_hostname']}}
7 N4 v! E' B- u1 c* ]{% endfor -%}
# Y7 [& t6 b: y# d+ ^
执行ansible-playbook -v 2.config.yaml完成相关配置工作
% X" I) `( {6 b" k) ~+ Q2 n安装docker
0 I3 V" \* M5 b! }" X2 K按照官网说法，可以使用docker或者podman，本文选用docker。
/ _3 `- M9 i$ w5 f剧本3.docker.yaml内容如下：
yaml 体验AI代码助手 代码解读复制代码- name: install docker
+ ~9 n3 e: k* J) i; z# z  hosts: all
1 A& v+ b$ K6 Q- A2 O8 }: l  gather_facts: True
  vars:
    DOCKERHUB_URL: registry.aliyuncs.com/google_containers
9 o) P# E, k$ r8 A5 d" w$ d  handlers:
* z. d1 I. l9 u  tasks:
9 m% }, W0 ]) ?5 L  - name: mkdir -p /etc/docker/
    file:
      path: /etc/docker/
1 V: G  C+ o3 m$ ]: b/ L      state: directory
& @6 r* m+ P$ ^. Q' ]  - name: install docker
    yum: name=docker-ce
6 s7 n: G; C( l0 V( {3 d$ j1 e1 {  - name: change config of docker
- m5 f: E6 o* y: S5 F    shell: |
       cat > /etc/docker/daemon.json <<EOF
" K8 d2 t- M' O7 j       {"exec-opts": ["native.cgroupdriver=systemd"],
4 ~  h6 O% y. F# D, G        "registry-mirrors": ["https://registry.aliyuncs.com","https://registry.cn-beijing.aliyuncs.com"]
       }
       EOF
" \- ]" ?7 I, J4 k6 ]$ s    tags:
) Y4 u# X/ f; N) e      - config
  - name: add systemctl
' {" Z. T5 \2 J( @" h4 z    systemd:
' @3 {" {5 }9 T3 z      name: docker.service
& C" G6 x2 U% h9 q      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
' n* ?) e, h/ w2 g. f; H4 l/ [      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
0 V4 W; X1 n3 W" B3 }% @8 B      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
    tags:
      - docker-daemon
* ]( a  ]7 e' L" l0 v& C& Y2 X6 G  - name: docker login #在阿里云镜像仓库开了个账号，用于同步墙外面的镜像（https://cr.console.aliyun.com/cn-beijing/instance/credentials）
    shell: docker login --username cyxinda@163.com --password *** registry.cn-beijing.aliyuncs.com
    tags: login

执行ansible-playbook -v 3.docker.yaml完成安装docker的工作
开始创建ceph集群
安装cephadm
继续使用ansible为集群中每台机器安装ceph
% D9 S% F& R9 O* d剧本cephadm.yaml内容如下：
( c9 l7 K+ K+ Qyaml 体验AI代码助手 代码解读复制代码- name: download ceph
  hosts: 127.0.0.1
; i6 b! U+ }& @! C- N/ M2 D. F" B  connection: local
  gather_facts: yes
. p& K% d# ?( e3 h8 H. f* A  tasks:
  - name: download cephadm
    get_url:
      url: https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
! N5 p+ b6 h2 X# u      dest: /tmp/ceph/cephadm
      force: yes
      mode: 755
$ e% |: N7 C2 s4 Q      timeout: 600
- name: download cephadm and install
  u. ?0 ~: x. ?1 \# G, o2 h  hosts: all
  gather_facts: True
, k' q7 l4 N$ [. ~- K$ J5 ^  tasks:
  - name: mkdir workdir
: |1 J6 M5 N( ?    file:
      path: /tmp/ceph
      state: directory
  - name: 分发cephadm安装文件
    copy:
      src: "{{ item.src }}"
+ ?( C4 K8 R! T  P1 _, A* b8 ]. E9 ?      dest: "{{ item.dest }}"
! u) L- o3 U1 D+ M, P$ p7 Z      owner: root
      group: root
: ?* }: p% v% x; ]: {, v* c+ Y4 Q' X% B      mode: "{{item.mode}}"
    with_items:
) f2 e( @* `9 X- ?    - {src: "/tmp/ceph/cephadm", dest: "/tmp/ceph/cephadm",mode: "755" }
& E5 W( `) q+ B6 N4 g: A/ O+ p    tags: cp-cephadm
  - name: install python3
( V3 y1 V$ K* _/ y# P* f    yum:
3 g" V" x1 P+ R1 x      name:
      - python3
+ n& |" R' X$ @1 \4 L' {7 n      - chrony
4 e6 e. n2 e% Z      state: present
  - name: add systemd
    systemd:
; E6 S9 H2 W1 x$ |% [3 z3 V# J      name: chronyd
      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
" M8 B  A* d/ q0 d      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
  - name: add ceph release
4 G3 M* B0 V: ^% I! _6 J    shell: /tmp/ceph/cephadm add-repo --release octopus
7 P# R2 H) A% e  - name: install cephadm
    shell: /tmp/ceph/cephadm install
  - name: which cephadm
; B5 V6 k. O6 U    shell: which cephadm
/ s) c0 r0 @+ y. _    register: which_cephadm
% w) ], y0 n( F+ r    tags: which-ceph
# Z3 c8 {4 |. L+ F* J' i  - name: show
) o0 a+ j% D2 q% Z    debug: var=which_cephadm verbosity=0    #check.stdout 显示出的信息会看的更清晰点
    tags: show-result

执行ansible-playbook -v cephadm.yaml完成ceph的安装
! C( r; [. K* _5 U" y
引导集群
; X; Z( \' g1 R1 K- k将master0作为引导主机，在其上面执行如下引导命令：
# E. T* T: G2 Z4 z# x. F- C% \" Abash 体验AI代码助手 代码解读复制代码

[root@master0 ~]# mkdir -p /etc/ceph
9 O$ C$ o6 W( M" ?[root@master0 ~]# cephadm bootstrap --mon-ip 12.70.10.161
Verifying podman|docker is present...
2 @8 x6 e8 g+ pVerifying lvm2 is present...
6 T$ R! _, ~: @/ x/ yVerifying time synchronization is in place...
Unit chronyd.service is enabled and running
: A& l5 G8 R5 K) B; i2 BRepeating the final host check...
podman|docker (/usr/bin/docker) is present
  j( I+ A; L- v2 `7 D2 E* ]systemctl is present
lvcreate is present
Unit chronyd.service is enabled and running
1 ^2 o/ n7 N% P$ V+ t3 \Host looks OK
Cluster fsid: e3386564-bb02-11ec-af56-525400299ff7
Verifying IP 172.70.10.161 port 3300 ...
! d+ j( H0 l  p7 M! [) r0 }Verifying IP 172.70.10.161 port 6789 ...
# `& E; _4 b$ Y9 m: t) U  GMon IP 172.70.10.161 is in CIDR network 172.70.10.0/24
Pulling container image quay.io/ceph/ceph:v15...
& d  i0 p1 Q  g  I7 tExtracting ceph user uid/gid from container image...
Creating initial keys...
" h+ ~2 }& a+ F/ RCreating initial monmap...
9 u& }: G8 J1 ^% O' t/ yCreating mon...
# \& z$ U+ O$ iWaiting for mon to start...
Waiting for mon...
7 O- B5 z9 E( w" Z: S/ hmon is available
( B- O$ @/ ?% @; UAssimilating anything we can from ceph.conf...
/ D& E% W! k! ^! LGenerating new minimal ceph.conf...
Restarting the monitor...
9 |/ v6 ~, R0 [. |6 g, oSetting mon public_network...
1 g7 M# @4 M( H4 q/ E& H5 X) T+ W" `Creating mgr...
' a# t! S0 S# H* V1 R0 p, XVerifying port 9283 ...
; K* J/ v$ I$ h( eWrote keyring to /etc/ceph/ceph.client.admin.keyring
8 n) l1 s6 A' W1 J. iWrote config to /etc/ceph/ceph.conf
Waiting for mgr to start...
Waiting for mgr...
mgr not available, waiting (1/10)...
4 a9 x& [, p% z  Hmgr not available, waiting (2/10)...
( x7 t. w. L3 I* D5 m$ gmgr not available, waiting (3/10)...
! a# [  x; ]% ~6 u- xmgr is available
Enabling cephadm module...
Waiting for the mgr to restart...
Waiting for Mgr epoch 5...
8 w  `7 E1 O+ c! PMgr epoch 5 is available
Setting orchestrator backend to cephadm...
Generating ssh key...
+ m) U+ |( ]  y# l1 UWrote public SSH key to to /etc/ceph/ceph.pub
Adding key to root@localhost's authorized_keys...
Adding host master0...
Deploying mon service with default placement...
Deploying mgr service with default placement...
Deploying crash service with default placement...
/ Y  T# R/ L  B  B$ v/ REnabling mgr prometheus module...
% O% i+ `' L# m* f9 @6 k% ^Deploying prometheus service with default placement...
Deploying grafana service with default placement...
Deploying node-exporter service with default placement...
Deploying alertmanager service with default placement...
" ^$ z( g& Z& s5 w6 T& j  L9 LEnabling the dashboard module...
Waiting for the mgr to restart...
! R8 l* a& |: L- U* c5 YWaiting for Mgr epoch 13...
Mgr epoch 13 is available
: \1 V0 ?7 H) ~& J. L! B; V" _Generating a dashboard self-signed certificate...
Creating initial admin user...
Fetching dashboard port number...
* Z3 }  F9 [; }0 [8 PCeph Dashboard is now available at:

' ^. M% ?  O+ c7 w& J7 [" ?- R7 r             URL: https://master0:8443/
            User: admin
/ v+ m" n8 A8 w. ^' ^! T        Password: vym1bdeajd

You can access the Ceph CLI with:

; w3 r4 ]/ y6 d/ h$ }        sudo /usr/sbin/cephadm shell --fsid e338664-bb02-11ec-af6-525400299ff7 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

Please consider enabling telemetry to help improve Ceph:

        ceph telemetry on

0 }, E. F' f: S5 j3 [For more information see:

: t" B; g$ R( a0 l  Y        https://docs.ceph.com/docs/master/mgr/telemetry/
9 O2 T, {1 T$ y9 T* r9 Z9 k
: J5 V2 A7 b6 ZBootstrap complete.

1 g$ }1 N5 L% i2 w8 H
在命令执行过程中，有如下提示：
bash 体验AI代码助手 代码解读复制代码Ceph Dashboard is now available at :
             URL: https://master0:8443/
            User: admin
  ^' e" {% W( }" j4 B: _( W        Password: vymdeajd
( n, T" l5 `: m7 @7 n5 a
& ?' n4 w+ O8 s3 J2 K: \按照提示，在浏览器上面可以访问:
. `6 h: n4 k$ e; _9 c
进入到管理页面后，如下：

参照安装文档，该命令将：
. W! c& v' T2 |) y. h. q3 L在本地主机上为新集群创建一个监视器和管理器守护程序。

为 Ceph 集群生成一个新的 SSH 密钥并将其添加到 root 用户的/root/.ssh/authorized_keys文件中。
将与新集群通信所需的最小配置文件写入/etc/ceph/ceph.conf.
: Y0 F" U, a. C* W
* P; R* ^  R5 u( iclient.admin将管理（特权！）密钥的副本写入/etc/ceph/ceph.client.admin.keyring.
将公钥的副本写入 /etc/ceph/ceph.pub.
; t" `9 m, O% p8 ?% F1 ]5 I启用 CEPH CLI（必须）
0 U0 I% _0 s* A# E5 ~" L3 r继续在引导机器上面执行如下命令，即可开启ceph shell client
注意：后面的ceph命令，均需在ceph shell环境下执行
7 H- w. ^) _3 Z0 K) T: Lbash 体验AI代码助手 代码解读复制代码

; ]. K0 g0 U6 v5 t1 v4 ][root@master0 ~]# cephadm shell
Inferring fsid e3386564-bb02-11ec-af56-525400299ff7
: N' |. z/ e5 C0 p: I' {! |4 l! UInferring config /var/lib/ceph/e3386564-bb02-11ec-af56-525400299ff7/mon.master0/config
Using recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f
4 e& ]% m4 v' }1 i) H! a
[ceph: root@master0 /]# ceph -v
ceph version 15.2.16 (d46a73d6d0a67a79558054a3a5a72cb561724974) octopus (stable)


+ r3 R/ S7 E/ a/ Q9 G+ h* B2 S5 _[ceph: root@master0 /]# ceph -s
( v7 t9 M+ \6 W( K9 s  cluster:
    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
1 m+ c. f0 E3 E! |! V
. P/ i( m7 F/ Y; d; E7 c4 C$ u  services:
    mon: 1 daemons, quorum master0 (age 48m)
: a3 }6 M$ ?) d4 Q, V, p' |' n# m    mgr: master0.ojikws(active, since 47m)
7 }* ?* Z$ h0 m; Q' v* Y    osd: 0 osds: 0 up, 0 in

* e+ ?/ O5 y8 A; V2 p9 Y. R  data:
8 p3 D2 y/ ~/ l    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

' f! q8 j" e3 m4 z将主机添加到集群
0 n& I, Y3 |: ?; u& Y& n
在新主机的 root 用户 authorized_keys文件中安装集群的公共 SSH 密钥

; k7 f6 w9 D$ s) S" D) M3 hbash 体验AI代码助手 代码解读复制代码
5 g, P% Y' A: H6 D
& }% t, ^! @+ K3 C* B& o, ?4 Q[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master1
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
$ M/ U& T8 L- Y' iThe authenticity of host 'master1 (12.70.10.162)' can't be established.
4 n+ `: x* T; i  `, vECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
: D/ Z8 o. |: v3 M, V% [3 JECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
1 n! E  ~- t  N7 W7 p/ m1 b# S6 BAre you sure you want to continue connecting (yes/no)? yes
' ?; k- Y0 ^6 m& g& n% Groot@master1's password:
& G; Y3 z' E8 T' C, _
Number of key(s) added: 1
  E3 \0 R. ]  k* B$ @9 A+ D
Now try logging into the machine, with:   "ssh 'root@master1'"
and check to make sure that only the key(s) you wanted were added.

. N& i5 z6 \! n1 h/ f[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master2
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
The authenticity of host 'master2 (12.70.10.163)' can't be established.
2 b, |" I; ?3 nECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
6 ]1 }1 f- Z9 H1 F7 bECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
Are you sure you want to continue connecting (yes/no)? yes
" `3 g( \2 r( Oroot@master2's password:

Number of key(s) added: 1
8 K' U8 q* A' O' C
Now try logging into the machine, with:   "ssh 'root@master2'"
, D- y) m% V6 g3 Pand check to make sure that only the key(s) you wanted were added.

& u. @, l2 p4 D. j* w0 l  u4 k) ?这部分本来也可以用ansible做的，但是懒得写脚本了，就两台机器，也就罢了
添加机器到集群：
bash 体验AI代码助手 代码解读复制代码

, ^% `8 a( |6 G[ceph: root@ceph1 /]# ceph orch host add ceph2 12.70.10.162
# Y$ J# R2 q5 C0 D+ O+ cAdded host 'ceph2'
[ceph: root@ceph1 /]# ceph orch host add ceph3 12.70.10.163
5 i. o" _8 e- n, ~- \! x) o( e) BAdded host 'ceph3'
[ceph: root@ceph1 /]# ceph orch host add ceph4 12.70.10.164
Added host 'ceph4'
[ceph: root@ceph1 /]# ceph orch host add ceph5 12.70.10.165
Added host 'ceph5'
7 k3 J- G' M/ }[ceph: root@ceph1 /]# ceph orch host add ceph6 12.70.10.166
" Y5 S: e- p  Y$ P9 Q5 xAdded host 'ceph6'


添加多个监控器
配置监视器子网：
- w4 F1 E& I4 F# ?: T& J8 W, C/ tbash 体验AI代码助手 代码解读复制代码
[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24
' `) q% M0 c  T1 F) U3 Z& _[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24

##要启动三台监视器，需要调整监视器数量：
1 \& B3 T$ o9 Z" k; L& m# a/ W6 V# U[ceph: root@master0 /]# ceph orch apply mon 3
Scheduled mon update...

; I1 o& L% \* U  y# M  H3 V$ a# K按照官网的说法：Cephadm 仅在已配置子网中配置了 IP 的主机上部署新的监控守护程序
在一组特定的主机上部署监视器，请务必在此列表中包含第一个（引导）主机。
bash 体验AI代码助手 代码解读复制代码

# N3 f2 J7 h6 v. q5 U[ceph: root@master0 /]# ceph orch apply mon master0,master1,master2
Scheduled mon update...
##加标签
[ceph: root@master0 /]# ceph orch host label add master0 mon
Added label mon to host master0
[ceph: root@master0 /]# ceph orch host label add master1 mon
Added label mon to host master1
[ceph: root@master0 /]# ceph orch host label add master2 mon
Added label mon to host master2

; Q! u& H! M9 m' g[ceph: root@master0 /]# ceph orch host ls
# ]+ i, O. I5 A7 [2 t. q. FHOST     ADDR     LABELS  STATUS
master0  master0  mon
& k/ s8 [5 x7 @# B, Y2 X% Jmaster1  master1  mon
master2  master2  mon

[ceph: root@master0 /]# ceph -s
/ T* E: g/ n' }/ w. d8 o  cluster:
8 a5 m  {0 x) i    id:     e3386564-bb02-11ec-af56-525400299ff7
) n4 x9 N/ t. |    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
( C6 p$ `# T4 a; X  v% w' E
  services:
    mon: 3 daemons, quorum master0,master1,master2 (age 88s)
  P% x9 b, b1 [. A( r  \    mgr: master0.ojikws(active, since 73m), standbys: master1.uxevld
  [6 z! `0 ~8 h  Q7 H9 N    osd: 0 osds: 0 up, 0 in
& M6 v' v/ m; C1 A
  data:
# r: R# W5 n3 g: t4 Z' Q4 i    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

加入ODS
+ w( ]  N% c8 v  W# ?% Q7 p0 Q可以看到集群三台机器上面，一共挂载了6块磁盘：
1 R' o" y: \' l0 _bash 体验AI代码助手 代码解读复制代码

* \5 A& [, C8 \& j. ~) g[ceph: root@master0 /]# ceph orch device ls
Hostname  Path      Type  Serial  Size   Health   Ident  Fault  Available
( k& j, c& g4 y) m2 ^master0   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
master0   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
& ^8 {/ R0 L9 U( T) Qmaster1   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
5 }/ Z! ]$ c! ?$ xmaster1   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
0 S' I) E, k0 lmaster2   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
0 q$ w' X  B; l9 pmaster2   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes

# B5 i! ~1 O0 c" d; Q! i$ t当然在每台机器上面可以列出块设备（/dev/vdb 和 /dev/vdc）：
bash 体验AI代码助手 代码解读复制代码
: o5 b4 ]) z5 C) F7 ~+ p
) Z" R9 f& N; I5 G+ s1 I8 y[ceph: root@master0 /]# lsblk
! z3 e7 X  _0 I- b3 T, B/ w$ FNAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
. \! A! h3 c9 R; Z) Asr0              11:0    1  1024M  0 rom
vda             252:0    0   500G  0 disk
|-vda1          252:1    0     1G  0 part /rootfs/boot
`-vda2          252:2    0   499G  0 part
0 S* E8 S3 d; Q2 S$ z2 d  |-centos-root 253:0    0    50G  0 lvm  /rootfs
  |-centos-swap 253:1    0   7.9G  0 lvm
  `-centos-home 253:2    0 441.1G  0 lvm  /rootfs/home
vdb             252:16   0   500G  0 disk
vdc             252:32   0   500G  0 disk
  C. X3 u% I, j. _
- r& s: T- i5 z; o& F按照官网说法：设备满足
  M7 B  X0 C2 h+ H% u6 b2 g如果满足以下所有条件，则认为存储设备可用：

' K  n' m+ I9 q3 I6 P. K2 G! p3 Q设备不能有分区。
& S6 I; P' {7 e8 e设备不得具有任何 LVM 状态。
7 @$ w4 r7 o7 d6 y7 Z不得安装该设备。
设备不得包含文件系统。
设备不得包含 Ceph BlueStore OSD。
设备必须大于 5 GB。
0 }$ ^( N3 u- D0 `# E! x
$ ?8 {! W- _3 `( m0 t' h7 c1 ]Ceph将 拒绝在不可用的设备上配置 OSD
6 {. E, A& Z8 f) [/ k) X可以使用如下命令，将所有可用的磁盘添加到ceph集群中：
% o5 y* g6 v% c: Pbash 体验AI代码助手 代码解读复制代码
3 Y' d2 c1 |2 i$ p0 [# i* R( X
( \# O& x/ K+ K" I4 e[ceph: root@master0 /]# ceph orch apply osd --all-available-devices
- S( A6 ^/ L; d9 Y( F4 s; zScheduled osd.all-available-devices update...
[ceph: root@master0 /]# ceph -s
, i4 {5 y% C/ q8 q8 J  cluster:
" n' g7 _' c4 S  {" y    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_OK

% E0 q" Z1 g+ k  services:
; t! K$ \  P5 O1 p/ O0 a( B2 p' o    mon: 3 daemons, quorum master0,master1,master2 (age 12m)
    mgr: master0.ojikws(active, since 84m), standbys: master1.uxevld
    osd: 6 osds: 6 up (since 22s), 6 in (since 22s)
; v$ E0 X0 ]+ h6 U( z0 }% v6 k$ E
  data:
. Q' Z5 @! b4 T! C    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
  H- h/ n/ Y; f# M& u. y/ Y: s  `    usage:   6.0 GiB used, 2.9 TiB / 2.9 TiB avail
    pgs:     1 active+clean

' t0 A8 I+ x" s& ?. q# ~+ O5 s, Q也可以单独加入：
bash 体验AI代码助手 代码解读复制代码
' h  W1 l$ e; A$ o3 R& }8 a$ a
[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdb
[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdc
[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdb
+ F0 V+ f1 `3 e- y# a[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdc
[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdb
7 F1 p7 F5 @  z" N4 b[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdc
1 |& ]7 ?, Y0 r; t/ S7 v% b  p
, l& Z# h+ Z1 W. b- V在前端看到：
2 V# X3 D2 |2 o: `: z5 i
0 Q0 q0 M% U9 n- h, i
挂载块设备
9 c% `* }3 W. W6 _% C3 ibash 体验AI代码助手 代码解读复制代码
8 q7 ]; [. T% n% b: x; t% G. |* n  Z
[root@ceph101 tmp]# ceph osd pool create test_rbd 32
. y1 l5 v9 x% R7 j$ S( Dpool 'test_rbd' created
2 N5 |5 G8 U0 K& B: v& e/ N[root@ceph101 tmp]# ceph df
--- RAW STORAGE ---
, f3 V( Z7 I! @+ ]: u0 LCLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22
6 X% S- S, `1 tTOTAL  5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22

--- POOLS ---
. a, ?/ R$ f5 Z8 m/ y. o% NPOOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
device_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
! [3 D$ Y+ v7 W/ A.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
% M) o# q3 ?9 D6 zzone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
7 a) m3 b/ M, V+ Y! f9 @zone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
2 T- _( ^: b0 Q3 Y# W/ |) \* yzone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
zone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
1 h- G$ z* ~* l% A- ?# Hzone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
, J1 M. C/ A. `  v+ p2 I# }" @1 mzone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
cp_pool                    42   32  1.4 MiB        2  4.4 MiB      0    1.9 TiB
test_rbd                   43   32      0 B        0      0 B      0    1.9 TiB
' \5 s, r  T; h) S##创建镜像

[root@ceph101 tmp]# rbd create test_rbd_image_1 --size 10240 -p test_rbd
1 _4 i, T" n4 N( _; v( k
[root@ceph101 tmp]# rbd -p test_rbd ls
test_rbd_image_1
) _1 p; K, o7 s5 k& N
3 Z  U* y7 V* w- b4 i##检看一个RBD镜像的详细信息
[root@ceph101 tmp]# rbd --image test_rbd_image_1 info -p test_rbd
rbd image 'test_rbd_image_1':
        size 10 GiB in 2560 objects
. y. V1 E6 a/ y! l7 o        order 22 (4 MiB objects)
        snapshot_count: 0
        id: 2836b2f53ea86
        block_name_prefix: rbd_data.2836b2f53ea86
        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling
        op_features:
$ J9 L& ]" p) G2 t        flags:
" b6 Q: y) x% D! j4 m        create_timestamp: Tue May 10 10:38:16 2022
$ u0 P/ I4 u" j" p1 y2 G) ]        access_timestamp: Tue May 10 10:38:16 2022
7 b5 h, ^! X% {3 B1 k. i% Y        modify_timestamp: Tue May 10 10:38:16 2022
# W& U  m: E8 @* d6 o4 R        journal: 2836b2f53ea86
) _0 R$ t( e/ ?1 m  u- r        mirroring state: disabled

2 ^# q* ~0 c$ |( v: _# q9 ^. `
" U; D/ l7 i( U$ f" T[root@ceph101 tmp]# rbd pool stats -p test_rbd
7 x2 {) d+ C2 ]( A1 zTotal Images: 1
- q0 \7 m9 Q8 t- ]! OTotal Snapshots: 0
6 p$ @, R: J* @2 t/ i" uProvisioned Size: 10 GiB
[root@ceph101 tmp]# rbd showmapped
id  pool     namespace  image   snap  device
0   cp_pool             image2  -     /dev/rbd0

[root@ceph101 test_rbd]# umount -f /dev/rbd0
#或者

[root@ceph101 test_rbd]# rbd unmap -f /dev/rbd0
##然后将pool关联应用
. r3 `* g1 @' }  x: M
[root@ceph101 ~]# ceph osd pool application enable  test_rbd rbd
enabled application 'rbd' on pool 'test_rbd'
) q7 J9 N2 H5 r. y" h[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
: n/ T9 {1 i- L; L& m5 F3 q% Orbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable test_rbd/test_rbd_image_1 journaling".
1 l' [" j; P$ E1 B# j3 o; P8 iIn some cases useful info is found in syslog - try "dmesg | tail".
/ P4 F$ b5 `& D/ U9 G2 e$ e# Srbd: map failed: (6) No such device or address

[root@ceph101 ~]# uname -r
5.17.6-1.el7.elrepo.x86_64
8 b: H1 K' ?- e2 n: C! z[root@ceph101 ~]# dmesg | tail
[    9.843030] random: crng init done
5 T! ?6 r4 y$ u& _4 i& G[    9.843034] random: 7 urandom warning(s) missed due to ratelimiting
+ L. |3 c  h% [8 Y7 Z  [' O; i( c[   10.669178] Bridge firewalling registered
[   22.239147] process '/bin/ip' started with executable stack
' F: E- p/ ]( F4 Q[ 8185.140070] Key type ceph registered
[ 8185.140395] libceph: loaded (mon/osd proto 15/24)
0 L4 x5 d+ H; X* Q8 u( |3 s[ 8185.141923] rbd: loaded (major 251)
[ 8185.158536] libceph: mon3 (1)12.70.10.184:6789 session established
- E& s( J1 Y  n' e[ 8185.160696] libceph: client175843 fsid 7a367006-c449-11ec-9566-525400ce981f
, y/ h$ B& U0 p. R. v5 N7 m[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40        
##根据提示`[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40`，可以确定内核不支持的features是十六进制0x40,转成十进制是4*16+0*1=64，即2的6次方=64，journaling
; j& `( Z7 I* ^% T( y9 u#layering: 支持分层**（0次方）**
3 W1 I% V2 U, A6 y; {. f#striping: 支持条带化 v2 **（1次方）**
' [) `) D2 ?# R: W/ _9 M: q#exclusive-lock: 支持独占锁 **（2次方）**
#object-map: 支持对象映射（依赖 exclusive-lock ）**（3次方）**
#fast-diff: 快速计算差异（依赖 object-map ）**（4次方）**
#deep-flatten: 支持快照扁平化操作**（5次方）**
8 c' Y$ P$ M  U* o% R#journaling: 支持记录 IO 操作（依赖独占锁）**（6次方）**
' a, R; D( \8 r) r$ r  D[root@ceph101 ~]# rbd feature disable test_rbd/test_rbd_image_1 journaling
[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
/dev/rbd0
#lsblk 查看磁盘
7 j+ c0 n& v& T  J& T
[root@ceph101 test_rbd]# rbd showmapped
id  pool      namespace  image             snap  device
' ]! K1 ^  j3 f0   test_rbd             test_rbd_image_1  -     /dev/rbd0
[root@ceph101 ~]# lsblk
0 w0 b9 W! ?8 LNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
1 `' ^+ Q3 o+ Vrbd0                                                                                                  251:0    0    10G  0 disk
vdb                                                                                                   252:16   0   500G  0 disk
└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
sr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
& _; @$ Z  t' R└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
6 @" N! z7 ]3 k& J) a. Y; m0 O% R+ t└─vda1                                                                                                252:1    0     1G  0 part /boot

1 ]7 L9 w6 Q% ~' p  k
# 格式化磁盘
1 q0 U6 ]' ]. w+ {" S% |, F
[root@ceph101 ~]# mkfs.ext4  /dev/rbd0
mke2fs 1.42.9 (28-Dec-2013)
: y; d; K. R1 H! t$ k. P& XDiscarding device blocks: 完成
) j' n4 m" S. `% O6 }文件系统标签=
2 [+ C) Z) A" x- ]. e2 W/ y5 U2 yOS type: Linux
6 N8 u6 o: l9 `; t- Y: b块大小=4096 (log=2)
分块大小=4096 (log=2)
Stride=16 blocks, Stripe width=16 blocks
5 _: D  q- l6 p8 o1 y0 y4 h655360 inodes, 2621440 blocks
+ N; Q1 e$ U0 q# ^2 o. t131072 blocks (5.00%) reserved for the super user
第一个数据块=0
Maximum filesystem blocks=2151677952
80 block groups
; `, X  t; F+ x3 ?* ~. r32768 blocks per group, 32768 fragments per group
( G' f+ N1 K% T6 r8192 inodes per group
" C. h, F3 R5 F* {* PSuperblock backups stored on blocks:
. g0 k; Q0 r' l        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632

$ A) x( w; a' r2 x! UAllocating group tables: 完成
% T, m4 _+ M1 K* b: j正在写入inode表: 完成
* Y0 y; u3 C, |9 j( R! W& ?9 n$ vCreating journal (32768 blocks): 完成
. F7 }* Y" ^" R( }+ E3 S" xWriting superblocks and filesystem accounting information:
完成

' m& l- _3 F  {/ u$ t  `6 T##创建挂载目录
[root@ceph101 ~]# mkdir test_rbd/
#挂载
3 ^, v" ~& l4 e; y* e  t[root@ceph101 ~]#  mount /dev/rbd0 /root/test_rbd
[root@ceph101 ~]# lsblk
# b  M0 ~& M  U5 _3 T/ v8 }+ sNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
rbd0                                                                                                  251:0    0    10G  0 disk /root/test_rbd
( V, Z- p0 \$ W/ rvdb                                                                                                   252:16   0   500G  0 disk
. j* `" N" w1 e* }└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
sr0                                                                                                    11:0    1  1024M  0 rom
8 [  K1 |3 q' U5 Q: lvdc                                                                                                   252:32   0   500G  0 disk
) M6 d: m- v" c3 d! w! N└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
" C! i/ v: D& {9 {│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
6 {. N# {: b% o" ?└─vda1                                                                                                252:1    0     1G  0 part /boot

4 b% c# u: L8 ]# j& `# k7 b#写入小说文档到挂载的目录
[root@ceph101 ~]# mv bcsj.txt test_rbd/
[root@ceph101 ~]# md5sum test_rbd/bcsj.txt
0d615ccd0e1c55f62002134f5cac81cc  test_rbd/bcsj.txt
[root@ceph101 ~]# df -lh
文件系统                 容量  已用  可用 已用% 挂载点
9 b6 p- ~  V) R, z/dev/rbd0                9.7G   15M  9.2G    1% /root/test_rbd

5 f* J0 o; ?/ S" h" q! n. P* x0 h[root@ceph101 ~]# ceph df
/ [7 k' ]$ [) X" i--- RAW STORAGE ---
& q  W; q1 k# |' D9 vCLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23
6 L+ K5 x" V. n2 c3 }: I5 [TOTAL  5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23
2 H+ O2 a4 o* z& O5 b
--- POOLS ---
POOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
device_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
zone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
zone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
zone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
zone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
zone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
, M4 w6 ~# K3 zzone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
* M6 r8 Y7 y* zcp_pool                    42   32  2.2 MiB        2  7.0 MiB      0    1.9 TiB
# `+ a. O1 o" Z; Stest_rbd                   43   32  148 MiB       57  446 MiB      0    1.9 TiB

" l6 X, o' R( R6 x/ q
对象网关
5 I  H# g* g  I" m7 u0 l' x5 F  qbash 体验AI代码助手 代码解读复制代码
6 A8 d$ }. O' o% b1 E+ ]4 }% j
. ?' F/ B: I8 ?  t2 _yum install ceph-radosgw -y

: ]- w# W! H# Y' J[ceph: root@ceph1 ceph]# radosgw-admin user create --uid='s3_admin' --display-name='s3_rgw_admin' --access-key='s3_rgw_admin_access_key' --secret-key='s3_rgw_admin_secret_key'
{
    "user_id": "s3_admin",
# q* g7 |) y( W+ ~$ l    "display_name": "s3_rgw_admin",
    "email": "",
5 x3 A3 l( O+ G    "suspended": 0,
" i) y7 p, Z, N& c1 }4 n7 \    "max_buckets": 1000,
    "subusers": [],
& p2 @' a7 }  g% e. r* z    "keys": [
        {
0 E) G+ |8 b1 H0 S- k' E            "user": "s3_admin",
. s& {' m5 D! x; _            "access_key": "s3_rgw_admin_access_key",
* O6 I8 T  I. u1 [3 V# j2 Q            "secret_key": "s3_rgw_admin_secret_key"
        }
, l  {' O9 n5 z    ],
    "swift_keys": [],
    "caps": [],
- k/ p- ~& R4 |4 [" j    "op_mask": "read, write, delete",
    "default_placement": "",
* y6 k( G5 R) j3 q; ~+ E! s$ y    "default_storage_class": "",
1 V  m3 R8 C5 g) s' G; ?  h% w  u    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
" y! R& O& _% p2 [        "max_objects": -1
. ], Z" g& @( V& s$ I! o! g    },
* Y3 a/ f5 g2 s$ v    "user_quota": {
        "enabled": false,
5 V4 M  c- e$ z, C$ |8 |        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
    "temp_url_keys": [],
% {* Q  _6 z3 w4 D    "type": "rgw",
" E  a6 O: v) Z5 m* k2 N    "mfa_ids": []
2 R+ l9 Y0 s" T}

0 `, i5 {, u; U4 ?( {9 F[ceph: root@ceph1 ceph]#
[ceph: root@ceph1 ceph]# radosgw-admin user info --uid='s3_admin'
: ~8 p% o3 y) n  k{
    "user_id": "s3_admin",
    "display_name": "s3_rgw_admin",
    "email": "",
    "suspended": 0,
3 i+ P6 T7 m4 ]1 f5 m4 p( H2 P    "max_buckets": 1000,
    "subusers": [],
    "keys": [
        {
            "user": "s3_admin",
( g# N8 G1 ]; m1 ~- l/ j            "access_key": "s3_rgw_admin_access_key",
7 K+ ]9 C+ i  N) v& V; e# z            "secret_key": "s3_rgw_admin_secret_key"
, N3 d# k- ^, G% r  u        }
    ],
* |4 f1 _. h6 X    "swift_keys": [],
2 d9 F* L9 h! i% h    "caps": [],
2 I1 f; o- i/ K" Y    "op_mask": "read, write, delete",
4 @* t% r* W  F8 e: x! o    "default_placement": "",
    "default_storage_class": "",
' s, g- D5 v1 [& V9 b9 o* ^    "placement_tags": [],
    "bucket_quota": {
+ r: i: T" J1 L  R7 f6 p        "enabled": false,
& I" Q; q/ V5 T$ Q* P  C2 t5 e        "check_on_raw": false,
) p: D9 ]2 A7 G" j        "max_size": -1,
: e6 ]$ H4 l+ k  }$ [% S        "max_size_kb": 0,
/ s# R' p; X; {4 r& y! m8 ^$ @        "max_objects": -1
) A; W( Q& Z  s6 c    },
    "user_quota": {
4 O, w" m2 C- \( a3 ?" q* M, T        "enabled": false,
" G2 a: W! T5 A) s5 v7 \        "check_on_raw": false,
        "max_size": -1,
9 U- U, p& a  K; m+ E! T2 h) e0 ]; U        "max_size_kb": 0,
; X8 n2 B5 d* R9 q) [, ], [        "max_objects": -1
- O- B  ~9 h  V. a    },
  k6 c5 n* B0 c    "temp_url_keys": [],
$ q1 X3 h1 M" ~7 W. I    "type": "rgw",
    "mfa_ids": []
' ?, E. T( U) P: @0 Q, a}

+ _1 t- ^* {- B, z$ gceph tell mon.* injectargs --mon_max_pg_per_osd=100

* p. u$ a- U, X) F2 t+ w9 {#----------------------------------------------------------------------------
- J# Z* ]  x0 Z9 w# Vradosgw-admin user create --uid=rgw_admin --display-name=rgw_admin --system
/ P4 \& H/ a  _" Q8 K8 ~radosgw-admin user info --uid rgw_admin --system
. W) x5 \/ ]7 b/ T

( p1 b9 N# i$ q0 y6 Lradosgw-admin realm create --rgw-realm=realm_1 --default
radosgw-admin zonegroup create \
--rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
6 U# |1 w/ _! F7 v% u --endpoints http://ceph101:80 \
--master --default
& y& O/ H1 t; f, g7 w3 P
5 p% ^  R0 r. h$ U! \, D+ P4 j
radosgw-admin zone modify \
--rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
--rgw-zone=zone_01 \
% P$ G! ?# z7 z% \3 Q* v/ A$ \ --endpoints http://ceph101:80 \
# w9 L' P9 x# s1 e: F5 Y3 C --access-key=IAWL6PLNFMNM0SLQNWQ0 \
4 T; M" T. f( \6 Y6 |% o4 R. R --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
- j. _% h2 \- l4 Z3 [/ ]. R --master --default
" r1 F$ o/ {2 {
radosgw-admin period update --commit
% f" u; X# ]1 J2 O: O; F radosgw-admin period update --rgw-realm=realm_1
ceph orch apply rgw  realm_1  zone_01 --placement="1 ceph101"
; i- D% w8 o3 \8 m% b
5 F7 u% U1 c2 M上述命令，一定要在集群健康的情况下运行，否则会出现rgw 的docker进程启动不了的情况，正常情况下，可以看到如下进程：
/ B' ]/ q7 N* H/ Y6 Lbash 体验AI代码助手 代码解读复制代码
# k+ Q/ ?; y) ^[root@ceph101 ~]# ceph orch ls
NAME                 RUNNING  REFRESHED  AGE  PLACEMENT                                IMAGE NAME                                IMAGE ID
alertmanager             1/1  4m ago     2d   count:1                                  quay.io/prometheus/alertmanager:v0.20.0   0881eb8f169f
crash                    6/6  4m ago     2d   *                                        quay.io/ceph/ceph:v15                     3edede73a7c4
grafana                  1/1  4m ago     2d   count:1                                  quay.io/ceph/ceph-grafana:6.7.4           557c83e11646
5 h; I+ w5 w  n# ~mgr                      2/2  4m ago     2d   count:2                                  quay.io/ceph/ceph:v15                     3edede73a7c4
mon                      5/5  4m ago     2d   ceph101;ceph102;ceph103;ceph104;ceph105  quay.io/ceph/ceph:v15                     3edede73a7c4
node-exporter            6/6  4m ago     2d   *                                        quay.io/prometheus/node-exporter:v0.18.1  e5a616e4b9cf
2 E  v6 Q; f  i. H" K* W) M' i8 sosd.None                12/0  4m ago     -    <unmanaged>                              quay.io/ceph/ceph:v15                     3edede73a7c4
prometheus               1/1  4m ago     2d   count:1                                  quay.io/prometheus/prometheus:v2.18.1     de242295e225
- ]  X" P1 i9 \# f, N) }* Prgw.realm_1.zone_01      1/1  4m ago     75m  ceph101;count:1                          quay.io/ceph/ceph:v15                     3edede73a7c4
, T& e+ g: }& ?

如果rgw进程无法启动的情况，可能是集群不健康，查看log：
3 o5 E  v0 I0 ~+ fceph log last cephadm
/var/log/ceph/cephadm.log
bash 体验AI代码助手 代码解读复制代码[root@ceph101 system]# ceph log last cephadm
9 }1 V( B$ D' }/ b. s9 V2022-04-27T07:57:57.347323+0000 mgr.ceph101.qhgzmi (mgr.14164) 95889 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
8 R2 h& ~8 |1 M+ ?5 `  E( v$ ?Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
6 i# ?( I$ r* l, }1 o$ f1 @' u  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
: _" J6 a6 \0 T3 T    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T07:57:57.353366+0000 mgr.ceph101.qhgzmi (mgr.14164) 95890 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
; D9 b3 s4 I0 H' G8 Y. F8 i  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
8 O6 `( a8 l, B9 V: a: ~    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
/ |, D: A; v# n- I  a4 Q& ]  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
& K$ n2 y* _' F1 E* W+ z" Uorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:22.102133+0000 mgr.ceph101.qhgzmi (mgr.14164) 96175 : cephadm [INF] refreshing ceph104 facts
2022-04-27T08:07:22.103197+0000 mgr.ceph101.qhgzmi (mgr.14164) 96176 : cephadm [INF] refreshing ceph103 facts
2022-04-27T08:07:22.105047+0000 mgr.ceph101.qhgzmi (mgr.14164) 96177 : cephadm [INF] refreshing ceph106 facts
& Q/ ?7 V" T4 q& h! R. J2022-04-27T08:07:22.105643+0000 mgr.ceph101.qhgzmi (mgr.14164) 96178 : cephadm [INF] refreshing ceph105 facts
% j% u7 z- U! L. F+ F$ Z& p/ ?2022-04-27T08:07:22.106985+0000 mgr.ceph101.qhgzmi (mgr.14164) 96179 : cephadm [INF] refreshing ceph102 facts
2022-04-27T08:07:22.910395+0000 mgr.ceph101.qhgzmi (mgr.14164) 96181 : cephadm [INF] refreshing ceph101 facts
2022-04-27T08:07:23.599992+0000 mgr.ceph101.qhgzmi (mgr.14164) 96182 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
! f$ f# ~- y% x- I+ N3 Y# b+ D- I$ ZTraceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
* Q& P1 G' P1 n( D    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.615964+0000 mgr.ceph101.qhgzmi (mgr.14164) 96183 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
$ _# d2 J8 S% A( s# C6 B9 k  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
. ?9 z7 Z' F) w. V4 `, X% q  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
; e- H4 f6 B/ G* i% I, k  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
" Z3 f+ G2 @3 X0 s6 Qorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.784884+0000 mgr.ceph101.qhgzmi (mgr.14164) 96184 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
8 E" F0 y# S! F+ ^/ W8 iTraceback (most recent call last):
& y1 K5 A. x) I* W  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
' t; k0 F) H' o/ V- Z) [. t    if self._apply_service(spec):
. i6 \7 T9 A) T! f+ S/ u0 x  w0 y  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
1 S; s0 h5 f  F9 T    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
# I- O  F4 y/ o  e, D6 O  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
5 j% n1 Y% I! B0 ~8 [6 `  worchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
$ W9 k4 d) a( _1 |! N" D5 R! T2022-04-27T08:07:23.788497+0000 mgr.ceph101.qhgzmi (mgr.14164) 96185 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
- k3 E* ^; a8 G" F; n2 Z: k  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
) _; P4 {9 L/ a1 G& _+ ]6 _  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
( m$ V3 f' s" |/ x$ }# \" m0 e    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  \  X  L2 x: j1 T% l' N6 M$ \  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
3 O) O! P# @+ e+ I* C    self.create_realm_zonegroup_zone(spec, rgw_id)
& S, r2 _8 u( F& p7 H  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
+ ^' }7 J- c, J0 [1 z! J    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:16:33.025623+0000 mgr.ceph101.qhgzmi (mgr.14164) 96463 : cephadm [INF] Saving service rgw.realm_1.zone_01 spec
8 e) R, y1 v4 ^2022-04-27T08:16:33.240231+0000 mgr.ceph101.qhgzmi (mgr.14164) 96464 : cephadm [INF] refreshing ceph101 facts
. S7 j/ ~! ?6 r! c! h2 ?2 `7 d2022-04-27T08:16:33.248641+0000 mgr.ceph101.qhgzmi (mgr.14164) 96465 : cephadm [INF] refreshing ceph102 facts
2022-04-27T08:16:33.250945+0000 mgr.ceph101.qhgzmi (mgr.14164) 96466 : cephadm [INF] refreshing ceph103 facts
2022-04-27T08:16:33.252787+0000 mgr.ceph101.qhgzmi (mgr.14164) 96467 : cephadm [INF] refreshing ceph104 facts
# k$ M9 G( ?9 _# {# c: b4 @2022-04-27T08:16:33.254250+0000 mgr.ceph101.qhgzmi (mgr.14164) 96468 : cephadm [INF] refreshing ceph105 facts
) N$ o9 M% X  y* R$ ?$ R, l2022-04-27T08:16:33.256573+0000 mgr.ceph101.qhgzmi (mgr.14164) 96469 : cephadm [INF] refreshing ceph106 facts
2022-04-27T08:16:34.288319+0000 mgr.ceph101.qhgzmi (mgr.14164) 96470 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
Traceback (most recent call last):
% H; z6 c" O5 n" z5 t; R- y0 B4 O  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
$ h# s/ l4 D& D6 w( f4 T    if self._apply_service(spec):
& O, w- v( Y2 p  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
' I% A; J; ^" C2 u& n6 p  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
! B- T9 |$ t% @" R    raise OrchestratorError('Health not ok, will try again when health ok')
6 B* y& R& v) k9 q0 Uorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
1 P" U1 A0 c1 V- ?' W3 F- @, I/ Q0 J2022-04-27T08:16:34.292193+0000 mgr.ceph101.qhgzmi (mgr.14164) 96471 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name='')]), 'service_type': 'rgw', 'service_id': 'realm_1.zone_01', 'unmanaged': Falsene_01', 'subcluster': None, 'rgw_frontend_port': None, 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 's
! H; l9 ?  z4 g' {Traceback (most recent call last):
. q+ @9 s: }- r" W  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  f+ g" M  L; e; H; _$ `  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
3 j& }$ ?& l, l: k1 d. k    raise OrchestratorError('Health not ok, will try again when health ok')
8 F/ p7 C# S4 a- U8 |% borchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2 k5 X! c5 O' X# Z" v" F

2 c: |2 l2 X$ a' S/ I# w
进入到docker中
bash 体验AI代码助手 代码解读复制代码docker exec -it 736e1816f245 /bin/sh
, H4 [4 M! ?% N! L- A# L4 z8 W( Lsh-4.4# cd /usr/share/ceph/mgr/cephadm/services/
sh-4.4# ls
+ o- G# Z; P! y" T) w# f__init__.py  cephadmservice.py  container.py  iscsi.py  monitoring.py  nfs.py  osd.py
0 L0 |7 ~2 }. r3 J) d6 T0 }  p8 Ush-4.4# vim cephadmservice.py
sh: vim: command not found
/ ^+ D8 h1 Q& Esh-4.4# vi cephadmservice.py
9 S! u6 E; W$ M. J7 @  c##可以看到是因为python代码查看集群的状态为 Health not ok，所以不能向下进行了。
#进一步，将集群调整为健康状态，再次尝试，可以正常
0 x. P) k4 ?) E
访问s3对象服务，windows下安装S3 Browser
, [" l6 _  U; v( _2 T& e
创建用户后，不知道为什么用户被自动删除掉了，重新建立了一下用户，再次绑定zone之后，就可以使用s3 Broswer正常访问了。
/ S, u5 f* i' h* h% S5 {其他常用命令：
bash 体验AI代码助手 代码解读复制代码 radosgw-admin realm delete --rgw-realm=realm_1
radosgw-admin zonegroup delete --rgw-zonegroup=zone_group_1
radosgw-admin zone delete --rgw-zone=zone_1

( z6 H' @/ F% T2 V7 A$ Q0 ^9 [radosgw-admin realm list
9 u  Y9 R/ }2 d1 mradosgw-admin zonegroup list
radosgw-admin zone list
radosgw-admin zone list --rgw-zonegroup default
radosgw-admin user info --uid rgw_admin --system
; e1 c6 {, H2 t2 H' E1 y+ u
s3cmd mb s3://sec --region=zone_group_1

! w8 @" E) z) Y2 W! I
配置dashboard：
' n2 v; C, b0 E* |+ {/ [( }5 Ebash 体验AI代码助手 代码解读复制代码 1752  2022-05-09 11:21:28 radosgw-admin user list
5 I. ~; f( S" Y0 T4 q8 c( f 1755  2022-05-09 11:22:06 radosgw-admin user info --uid rgw_admin
& Z, b: v# W. W) w! d! f+ s0 a 1757  2022-05-09 11:34:44 vim access.key
; B/ X/ a& k" \" j7 z( m" X( E 1758  2022-05-09 11:35:00 vim secret.key
1759  2022-05-09 11:35:21 ceph dashboard set-rgw-api-access-key -i  access.key
1760  2022-05-09 11:35:34  ceph dashboard set-rgw-api-secret-key -i  secret.key
1761  2022-05-09 11:36:49 history

在前端可以看到

搭建主-主备份
bash 体验AI代码助手 代码解读复制代码
6 s* _) r6 e  x" j' L( a
radosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo
1 F+ b* U8 o2 p& Q6 s4 W, _  \
5 p/ S0 A3 \& V$ U. xradosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
                            --rgw-zone=zone_02 --url=http://ceph101:80 \
& S1 \" ~- Q4 X" @% [/ P) F                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
                            --endpoints=http://ceph1:80
( H2 Y) e0 H8 r& P0 i4 S8 {2 xradosgw-admin period update --commit
ceph orch apply rgw  realm_1  zone_02 --placement="1 ceph1"

查看应用的配置
  k" m, T+ s* Z7 Rbash 体验AI代码助手 代码解读复制代码[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config dump

1 E" ?; F0 p5 L  E
/ ~. r4 `' d6 ?& u. X5 X( [$ w/ R9 W[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7
. W' u4 }5 W7 s- k, b[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ll
总用量 0
drwx------ 4 ceph  ceph   92 4月  27 18:52 crash
drwx------ 2 ceph  ceph  133 4月  25 16:07 crash.ceph5
1 {0 w6 o: S7 U* }# V- cdrwx------ 3 ceph  ceph  190 4月  27 17:04 mon.ceph5
8 W# x6 L; f9 s& l/ h+ [drwx------ 2 65534 65534 104 4月  25 16:07 node-exporter.ceph5
drwx------ 2 ceph  ceph  241 4月  28 19:42 osd.4
$ U. ^6 Y# I2 H" D5 `2 Cdrwx------ 4 root  root   88 4月  28 10:59 removed
9 {6 y* f! {2 X( p- L) vdrwx------ 2 ceph  ceph  133 4月  28 19:57 rgw.realm_1.zone_03.ceph5.tapydb
* D$ M5 e( ~  t
$ e2 u* l- v8 o
[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config show rgw.realm_1.zone_03.ceph5.tapydb
NAME                   VALUE                                                                                                                                                                                                                                                      SOURCE    OVERRIDES  IGNORES
admin_socket           $run_dir/$cluster-$name.$pid.$cctid.asok                                                                                                                                                                                                                   default
$ |# T8 l' A, _5 w' h) t9 `( ocontainer_image        quay.io/ceph/ceph:v15                                                                                                                                                                                                                                      mon
daemonize              false                                                                                                                                                                                                                                                      override
debug_rgw              1/5                                                                                                                                                                                                                                                        default
keyring                $rgw_data/keyring                                                                                                                                                                                                                                          default
  _2 \. K8 s7 Plog_stderr_prefix      debug                                                                                                                                                                                                                                                      default
5 X; i8 w3 g) _2 H; v: b% @log_to_file            false                                                                                                                                                                                                                                                      default
$ X! J/ J: }0 T( s- Q! [log_to_stderr          true                                                                                                                                                                                                                                                       default
5 B+ l* b$ o$ t4 m5 zmon_host               [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]  file
+ M5 \6 i, B; f' Gno_config_file         false                                                                                                                                                                                                                                                      override
- ]4 L3 @" t  \5 _" i; T0 L6 \( lobjecter_inflight_ops  24576                                                                                                                                                                                                                                                      default
rbd_default_features   61                                                                                                                                                                                                                                                         default
rgw_frontends          beast port=80                                                                                                                                                                                                                                              mon
rgw_realm              realm_1                                                                                                                                                                                                                                                    mon
) Z; `' k' ?' r1 Z8 B. rrgw_zone               zone_03                                                                                                                                                                                                                                                    mon
setgroup               ceph                                                                                                                                                                                                                                                       cmdline
setuser                ceph                                                                                                                                                                                                                                                       cmdline
  E2 j- W; Q2 U$ A- Y. k( m
$ [+ \& F5 H+ o对于想修改rgw启动端口的，可以修改配置文件
' t; I7 r% x+ a  D" v8 f+ gbash 体验AI代码助手 代码解读复制代码##在一个域realm和一个zonegroup下面，可以创建多个zone，每个zone上面可以创建一个rgw，所以再次创建一个rgw网关
radosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo

radosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
                            --rgw-zone=zone_03 --url=http://ceph101:80 \
" V+ f4 A4 N* k, `; u                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
                            --endpoints=http://ceph5:8088
radosgw-admin period update --commit
ceph orch apply rgw  realm_1  zone_03 --placement="1 ceph1"

/ X: `0 y* P" F% {$ S' D+ p
! M5 T* _7 L8 ?. f+ r[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/rgw.realm_1.zone_03.ceph5.crocaj
. {' W# P: R; ], h[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# vim

`# minimal ceph.conf for f88b0b1a-c467-11ec-a2b8-525400299ff7
0 A. ~+ s# v" u[global]
# X4 |7 L. A3 U5 _9 k" E1 e8 s' o        fsid = f88b0b1a-c467-11ec-a2b8-525400299ff7
+ {# r/ ]$ ~9 |! A) B. t        mon_host = [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]
[client]
rgw_frontends = "beast port=8088"
`
#然后重启rgw服务
" v; k% u4 v( B% r#还可以通过执行ceph config set client.rgw.realm_1.zone_03 rgw_frontends  "beast port=18888"
! l4 [5 J  z" l7 y, d) g) ]#去掉config中的配置项，重启服务，也可以生效
! ~$ u: U$ A" o8 p6 H- g; X  l# W#至于精确的配置如：
1 _( d$ N: F: @, W+ @5 B' a`
" J1 t7 q6 }6 c# ?+ j7 J[client.rgw.realm_1.zone_03]
/ y/ V" t* ^; d" k3 G6 h9 {' Urgw_frontends = "beast port=8888"
& {* X2 ^  }$ N/ `6 }$ t`
#试了很多次，都不好用，官网说的不明白

参见：
1 i* |& I3 i5 X. F. {" i
5 @& ]' Z  ^) L8 L( o7 T- |& o2 D1 b2 D指定rgw的数据池
' i: h. H$ e+ h0 i* n- c. G& G! s, y
移除osd
bash 体验AI代码助手 代码解读复制代码如果是用命令行，操作如下：
将节点状态标记为out （节点已经不再提供服务）
4 c. t- w5 h. |5 U# F[root@ceph1 ~]# ceph osd out osd.5
从crush中移除节点（不删除会影响到当前主机的host crush weight）
[root@ceph1 ~]# ceph osd crush remove osd.5
删除节点
[root@ceph1 ~]# ceph osd rm osd.5
% _: p( E0 q+ j5 v# d! \删除节点认证（不删除编号会占住）
7 R9 }* \( e% Z[root@ceph1 ~]# ceph auth ls
/ F/ c/ ^! a( @/ p  O2 W/ x[root@ceph1 ~]# ceph auth del osd.5
) a' z: ^5 u  @1 L% I[root@ceph1 ~]# ceph orch daemon stop osd.5
Scheduled to stop osd.5 on host 'ceph6'
2 T  D) [) `8 ?" y' ?[root@ceph1 ~]# ceph health detail
HEALTH_WARN 1 failed cephadm daemon(s)
[WRN] CEPHADM_FAILED_DAEMON: 1 failed cephadm daemon(s)
    daemon osd.5 on ceph6 is in error state
[root@ceph1 ~]# ceph orch daemon rm osd.5 --force
Removed osd.5 from host 'ceph6'

恢复磁盘：
找到某个未加载的盘，有两种方式：
8 Y4 x7 {$ g8 L, Ubash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ceph osd metadata
3 t' H  l1 W' ]$ s
和
- K& e- }( s6 I9 obash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/removed/osd.5_2022-05-11T02:14:55.313464Z
[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ll
总用量 52
lrwxrwxrwx 1 ceph ceph   93 5月  10 12:47 block -> /dev/ceph-2e1cc736-34d6-4dac-8d7c-f78db028a9eb/osd-block-c831faa6-7cc6-4c04-9709-c33fb29a45f3
+ w2 V' s+ P8 U# g. ~; \8 \-rw------- 1 ceph ceph   37 5月  10 12:47 ceph_fsid
" I( w8 k# w, x+ W- h( ~-rw------- 1 ceph ceph  377 4月  28 19:43 config
4 R1 E6 [8 o! y; Z4 C-rw------- 1 ceph ceph   37 5月  10 12:47 fsid
3 w" `/ G) h  M6 e-rw------- 1 ceph ceph   55 5月  10 12:47 keyring
-rw------- 1 ceph ceph    6 5月  10 12:47 ready
& p, n8 O8 H4 i# H* K& O. N-rw------- 1 ceph ceph    3 4月  25 17:04 require_osd_release
-rw------- 1 ceph ceph   10 5月  10 12:47 type
7 {" W& ^* d, _( ?9 W; ]-rw------- 1 ceph ceph   38 4月  28 19:43 unit.configured
-rw------- 1 ceph ceph   48 4月  25 17:04 unit.created
+ h4 h, Q4 _# N3 c( q3 B-rw------- 1 ceph ceph   22 4月  28 19:43 unit.image
-rw------- 1 ceph ceph  931 4月  28 19:43 unit.poststop
-rw------- 1 ceph ceph 2035 4月  28 19:43 unit.run
-rw------- 1 ceph ceph    2 5月  10 12:47 whoami


8 V0 L$ F3 k1 n[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# lsblk
- ]! T% d# V* kNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
vdb                                                                                                   252:16   0   500G  0 disk
└─ceph--2e1cc736--34d6--4dac--8d7c--f78db028a9eb-osd--block--c831faa6--7cc6--4c04--9709--c33fb29a45f3 253:4    0   500G  0 lvm
sr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
, E6 ]( ~3 `/ k$ }7 A% r* n) q. }└─ceph--beabac1e--6d55--481b--99e4--db03786e8f78-osd--block--7f9316bd--d011--426f--be86--52b8bfad4c0b 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
5 v' R1 ^3 f$ ?' w  j" _5 c├─vda2                                                                                                252:2    0   499G  0 part
' F8 Z. s- z# o" O; l│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
1 X+ c8 |0 o6 j. K) y& t. r│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
' x: p& b' d) ]" }1 q% D- j└─vda1                                                                                                252:1    0     1G  0 part /boot

8 A, A: \8 J+ k# L可用确定是ceph6上面的/dev/vdb块设备
0 Z7 {/ q1 T0 X7 kbash 体验AI代码助手 代码解读复制代码#zap该磁盘，使其可重新被使用

[root@ceph1 ~]#  ceph orch device zap ceph6 /dev/vdb --force
/bin/docker: stderr --> Zapping: /dev/vdb
/bin/docker: stderr Running command: /usr/bin/dd if=/dev/zero of=/dev/vdb bs=1M count=10 conv=fsync
/bin/docker: stderr  stderr: 10+0 records in
- r! h: {. \* ^. C% U" j* H5 G: w3 ^# f/bin/docker: stderr 10+0 records out
/bin/docker: stderr  stderr: 10485760 bytes (10 MB, 10 MiB) copied, 1.1166 s, 9.4 MB/s
/bin/docker: stderr --> Zapping successful for: <Raw Device: /dev/vdb>
[root@ceph1 ~]#  ceph orch daemon add osd ceph106:/dev/vdc
ceph orch daemon rm osd.5 --force
# ?) O' C! i! j& L3 Wceph osd out osd.5
ceph osd rm osd.5
! s$ B* ^4 R5 I! {3 Bceph osd crush rm osd.5
! ]' J0 I/ a) \3 b4 o6 \" `  Z( x+ g
pg故障处理
5 O4 Q1 P0 {& u: b  f6 y7 I; G( sbash 体验AI代码助手 代码解读复制代码

5 A8 M/ T# U; O& c[root@k8snode001 ~]# ceph health detail
& h% |7 a( T1 ~1 fHEALTH_ERR
1/973013 objects unfound (0.000%);
* o3 P* I- b/ ^8 D, w8 T8 d/ h17 scrub errors; Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair; Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
OBJECT_UNFOUND 1/973013 objects unfound (0.000%)
& C. g) \' ~1 G/ K    pg 2.2b has 1 unfound objects
: L% b+ S9 f% {, WOSD_SCRUB_ERRORS 17 scrub errors
PG_DAMAGED Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair
) ]& u5 _; G! r# B/ r) h/ G4 H    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound
3 Q- o$ Y. W0 y- y% |    pg 2.44 is active+clean+inconsistent, acting [14,8,21]
    pg 2.73 is active+clean+inconsistent, acting [25,14,8]
    pg 2.80 is active+clean+scrubbing+deep+inconsistent+repair, acting [4,8,14]
    pg 2.83 is active+clean+inconsistent, acting [14,13,6]
    pg 2.ae is active+clean+inconsistent, acting [14,3,2]
( ~  q: Z; _  P  l. `    pg 2.c4 is active+clean+inconsistent, acting [8,21,14]
    pg 2.da is active+clean+inconsistent, acting [23,14,15]
9 v6 F% V: I4 K7 @8 u    pg 2.fa is active+clean+inconsistent, acting [14,23,25]
& Q* F3 z7 u  I! Q2 n4 x, i* ]PG_DEGRADED Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound
- T+ J6 c9 `; {6 L
; t5 o7 O1 i- {: z" V& Z6 `2.查看pg map
* ^+ r# |; w; K9 x8 Z& ?[root@k8snode001 ~]# ceph pg map 2.2b
  B! ^1 i5 W/ y$ c/ {# `/ [9 e$ `osdmap e10373 pg 2.2b (2.2b) -> up [14,22,4] acting [14,22,4]
从pg map可以看出，pg 2.2b分布到osd [14,22,4]上

3.查看存储池状态
[root@k8snode001 ~]# ceph osd pool stats k8s-1
7 B/ d0 `$ @3 m. p; x) _pool k8s-1 id 2
  1/1955664 objects degraded (0.000%)
9 ^1 f; ^* o9 f- S$ J  1/651888 objects unfound (0.000%)
; a; U; D8 Q2 m, F* o  client io 271 KiB/s wr, 0 op/s rd, 52 op/s wr
; `$ z. K5 c) X+ I( c( u
+ m2 z! a. r6 N* z' _) K[root@k8snode001 ~]# ceph osd pool ls detail|grep k8s-1
) [5 L# e" c" o9 ?% E) o$ p: K* Lpool 2 'k8s-1' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 256 pgp_num 256 last_change 88 flags hashpspool,selfmanaged_snaps stripe_width 0 application rbd
. P& z4 w% {' \( D2 h- Q& M( ?4.尝试恢复pg 2.2b丢失的块
[root@k8snode001 ~]# ceph pg repair 2.2b
0 B% G* Y5 B# W# `1 c0 `  u8 o如果一直修复不成功，可以查看卡住PG的具体信息，主要关注recovery_state，命令如下
: G, g; g; A* v* T9 k6 u  V+ u[root@k8snode001 ~]# ceph pg 2.2b  query
: H" Q! [. d/ u9 q如果repair修复不了；
, Z+ B8 O6 O3 Z* Q9 W% |$ G' C% i两种解决方案，回退旧版或者直接删除
回退旧版
[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost revert
直接删除
' v/ ]; c& D2 x9 Y) c1 E[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost delete
* _' U4 ?- p/ }2 b( y$ @& n! A5 h
& M4 [6 T* b# G& }; l& s参考：记一次ceph pg unfound处理过程
卸载
卸载过程：
bash 体验AI代码助手 代码解读复制代码重命名命令alias ceph='cephadm shell -- ceph'
#找到fsid
: n& L% ?  X  m* m[root@master1 ~]# ceph -s
& o. d$ m2 r9 n# ?8 i' ^9 hInferring fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6
Inferring config /var/lib/ceph/008a0d2e-b163-11ec-ba7a-5254004c51c6/mon.master1/config
8 J! h: L+ a6 |: kUsing recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f
' L# v, n9 A7 Z9 ]1 ], D& o' |9 H2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 AuthRegistry(0x7f279c05ec00) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
6 A5 I% ?5 w/ Y( d) y# o, o2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 AuthRegistry(0x7f27a2b69f90) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
2022-04-01T03:20:37.243+0000 7f27a0907700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [1]
& g, c  v* I/ p+ Z$ U2022-04-01T03:20:37.243+0000 7f27a2b6b700 -1 monclient: authenticate NOTE: no keyring found; disabled cephx authentication
- ~5 |6 n% d0 Y( r1 J* }2 j5 [[errno 13] RADOS permission denied (error connecting to the cluster)

; a  r7 O: y. A9 Z1 R9 z8 q#使用fsid删除集群
[root@master1 ~]# cephadm rm-cluster --fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6 --force
7 S" ?8 v2 ?2 V# s! r# l! O
1 ^' g' F* ?; z$ J
分发ceph.pub
8 E6 }5 N# n8 C$ j2 }1 Jplaybook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" --extra-vars "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
& @0 I: b' x; w5 h) v6 p或
bash 体验AI代码助手 代码解读复制代码playbook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" -e "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
, g3 {) N, z; ~5 m- g6 R! z+ C1 m( Q
, ^8 z: h: D$ f* ?使用 ansible master0 -m setup 可以看所有的变量
参考：ansible.com.cn/docs/playbo…
) p+ q3 W. z' |3 N' @" @- \jinja2参考：
stackoverflow.com/questions/3…
bash 体验AI代码助手 代码解读复制代码 playbook -v  2.mon1.yaml
playbook -v 3.push.pub.key.yaml -e "pub_key=/tmp/ceph/master1/etc/ceph/ceph.pub"
7 Q) h1 n. i5 k! T: M playbook -v 4.add.host.yaml -t "weave-script" -e "mon1=master1"

本篇介绍Ceph Monitor的子命令，通过子命令的配合实现对MON的管理和配置。

; |5 I. C* e6 Y- J  q- H) A添加（add） 在某个地址上新增一个名字为的MON服务。
1 O4 ~  E3 P3 A7 ~) ?+ M" M示例：
ceph mon add  <IPaddr[:port]>
导出（dump） 显示特定版本的MON map的格式化的信息，该命令可以指定MON map的版本信息，具体示例如下，参数为epoch：
ceph mon dump {<int[0-]>}
6 Z; s9 ]+ C% V( N8 d' iceph mon dump 1
获取映射（getmap） 获取特定版本的MON map信息，该命令获取的是二进制的信息，可以保持在某个文件中，具体格式如下：
; n4 }2 {( P9 i5 u( X! f6 F! vceph mon getmap {<int[0-]>}
示例：
0 ^& ^5 }2 h, ^, e1 r- A" Rceph mon getmap 2 –o filename
移除（remove） 移除特定名称的MON服务节点。具体格式如下：
ceph mon remove
/ Q( I' I4 W0 H+ g" b. i示例：
ceph mon remove osd3
获取状态（ stat） 显示MON的摘要状态信息，具体格式如下：
ceph mon stat
报告状态（mon_status） 报告MON的状态，相对详细，具体格式如下：
8 n4 P0 ]. o( Q) B- }6 w+ Oceph mon_status
Ceph命令之ceph mon（Monitor管理）
' |( R: m+ ?% S' `- o9 z% u+ Z; |2 N  T