centos 7.9安装cephoctopus版本记录

admin

软件版本：
; S4 ]3 J! B& H4 Q; K

9 [5 f0 V) ^0 d6 Z; `. X: R9 S, j
! P% M2 u4 H( p- x& U! G! _8 i! l
  B5 N( t/ P9 h9 b

# O# }6 ?4 a7 m7 ?# _
# f, t7 _7 \) Y) H



& @: h& D1 {' t. |4 i2 k7 T


1 p2 L$ f& c8 `' f# f/ a
% g, y" i8 \& M/ J% f" R' d0 d
! C5 S% x: v. ]: V
软件版本cephoctopus（15.2.16）centos7.9
* D- v6 B4 K* iceph官网版本：
docs.ceph.com/en/latest/r…
! W9 e& {  k  b1 I机器列表：



. Q% K2 O" {% g* M* q6 e4 T7 n  t! p







2 A, @6 O" S" V3 n5 K







% T7 H$ o  h5 e- j- v( w' c; X
# E+ W# B4 U8 N1 T4 W
* x4 |. y6 c1 X
: Z4 C  X' \" `& [2 r
0 z) P4 {8 e" M$ J, F2 G% C% V& r

1 e; t: J4 s$ q, \. l& ~机器名称ip块设备
master0 12.70.10.161/dev/vdb 和
1 N2 j& v8 S9 L  T) N! e0 V+ T3 V: ^/dev/vdcmaster1 12.70.10.162/dev/vdb 和
/dev/vdcmaster2 12.70.10.163/dev/vdb 和 /dev/vdc
准备工作
开始使用ansible做些准备工作，实际开始搭建后，不用ansible，因为cephadm本身就是一个集群管理工具。
; t' n- F9 K$ y. \$ I) E/ ?6 z如下ansible剧本均在集群外的任意一台机器上面执行，需要安装下ansible，不明白的可以参照ansible使用方法。
ansible的hosts配置如下（因为之前这些机器用来搭建k8s，所以名称没有改变）：
bash 体验AI代码助手 代码解读复制代码
master0 ansible_host=12.70.10.161 ansible_port=22 ansible_user=root ansible_password=*** host_name=master0
master1 ansible_host=12.70.10.162 ansible_port=22 ansible_user=root ansible_password=*** host_name=master1
$ q) X6 ]  ]. n4 m6 @" pmaster2 ansible_host=12.70.10.163 ansible_port=22 ansible_user=root ansible_password=*** host_name=master2

[all]
7 ?$ g6 f1 G( u  l4 Y; o9 qmaster0
7 q% s  G# n" |: Emaster1
# Z0 y* Z! B7 g$ e' @9 Ymaster2

升级系统内核
升级系统内核到5.17
ansible脚本如下（1.kenel.yaml）：
yaml 体验AI代码助手 代码解读复制代码- name: update kernel
6 {$ V: E: A$ Q4 F: v# p" }3 Y  v  hosts: all
4 P- [. ]" ^% ^' s0 N7 V0 J  gather_facts: True
$ {/ \8 q0 h  O/ _  k0 P: R6 L% x  vars:
  tasks:
  - name: create workspace
    file:
      path: /tmp/workspace/
      state: directory
    tags: workspace
6 w) _1 Y7 z3 f" K" E9 O( {" C  - name: yum install elrepo
    copy:
      src: templates/rpm.sh.j2
      dest: /tmp/workspace/rpm.sh
  B# i9 x2 p5 [) Y      mode: 755
7 J3 e; ?5 }* K    tags:
      - copy-rmp
+ ^. q8 Q$ f4 h  - name: sh rpm.sh
$ q# Q& b9 p8 F1 S    shell: sh  /tmp/workspace/rpm.sh
    tags:
      - sh-rmp
  - name: 列出可用的内核相关包
5 x% M) L2 u. A' {: ?/ Q    yum:
1 K6 o8 P" ~0 B$ H& q$ \" g3 z) C      list: available
      disablerepo: "*"
      enablerepo: "elrepo-kernel"
  - name: 安装内核
8 e- a3 E$ R$ L# y( D' d    yum:
+ O; N. r5 a; ~! p& w3 [& s      name:
' [/ P5 U8 I0 |0 S. g# H      - kernel-ml
      #- kernel-lt.x86_64
) n+ d! Q- }( o      #- kernel-lt-devel.x86_64
      enablerepo: elrepo-kernel
) H  o4 M0 H" ^/ z9 A  - name: 查看内核版本默认启动顺序
    shell: awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
1 m8 N, E: ]/ q) A1 Q9 ~7 P  - name: 修改grub中默认版本启动顺序
& t4 d6 c6 ~4 t    lineinfile:
5 R, R) F0 A) s! ~; |      path: /etc/default/grub
      regexp: "^GRUB_DEFAULT"
      line: "GRUB_0=saved"
      backrefs: yes
% ^" M5 V  u  l+ Z8 P      state: present
, l" L6 t3 p5 x    tags:
      - grub
  - name: 重新创建内核配置
    shell: grub2-mkconfig -o /boot/grub2/grub.cfg
1 ^7 R7 }) J# q: m+ U  - name: Reboot the machine
1 x) ^  e1 R- Z    reboot:
      reboot_timeout: 300
  - name: uname -r
    shell: uname -r
    register: version
2 P8 D6 c5 t: e4 ~2 C9 |/ Q$ U$ m3 I  - name: debug
    debug:
      msg: "{{ version }}"

升级rpm脚本在ansible剧本同目录下的templates/rpm.sh.j2
内容是：
bash 体验AI代码助手 代码解读复制代码#!/bin/bash
rpm -import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
#rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
rpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
8 @3 X& [5 \7 V2 @echo 0

/ t5 h+ s) N# q1 ]$ _执行ansible-playbook -v 1.kenel.yaml完成集群中系统内核升级
安装必要工具和关闭相关配置
) D( k, I$ A4 z
脚本2.config.yaml如下：
: l# [) m: a, g. \- a' G& o* ]yaml 体验AI代码助手 代码解读复制代码- name: set config
  hosts: all
! e- r: S9 B' c7 q/ l% R. @  gather_facts: True
/ e/ j& \2 o+ g  ^& i" s6 x6 R' o  vars:
  handlers:
: e5 i9 T! \1 D8 i8 k8 X  - name: update_yum
    shell: |
& W- E! t1 Q! m. ^$ w      sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
. v+ j& c" K7 R1 o" p; ^% y$ J0 _      yum clean all
      yum makecache -y
  - name: noswap_service #禁用swap
# e- c! d. Q3 ?: {    systemd:
      name: noswap
      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
, I, o- S* s- V* d  `& P/ G      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
  tasks:
  - name: back up repo
    shell: |
) O2 d$ t5 J: D" e2 g5 G( }) `      mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
7 _6 ~( c. D" ~) `      mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup
      mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
5 S4 H6 t6 ]2 E* N2 w+ m2 |  - name: delete /etc/systemd/system/noswap.service #禁用swap
    file:
      path: /etc/systemd/system/noswap.service
      state: absent
  - name: download repo #下载yum源
% ]% z: H2 @6 j. R$ w% B2 d: g    get_url:
8 I1 {' Q8 H, Y; V# B3 p# ~% r      url: "{{ item.url }}"
      dest: "{{item.dest}}"
3 v/ D" X2 e( i# {  q      force: yes
5 L9 R1 O: S" [; B$ ]; H+ B    with_items:
8 b. j. L" k' R) x- o- X      - {url: "https://mirrors.aliyun.com/repo/Centos-7.repo", dest: "/etc/yum.repos.d/CentOS-Base.repo"}
      - {url: "http://mirrors.aliyun.com/repo/epel-7.repo", dest: "/etc/yum.repos.d/epel.repo"}
  @+ o; M  _% h6 Y) R( y      - {url: "http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo", dest: "/etc/yum.repos.d/docker-ce.repo"}
8 d5 w4 T. f% d) l9 s7 _    notify: update_yum #更新yum（见上面的handlers）
  - name: install net-tools #安装必要的工具
    yum:
$ u4 M) S" d, ?- Y, g, ~      name:
8 S0 \( Q; B  h4 G      - net-tools
! y) ^! m6 C* ]. ^4 i( K' f( {2 Y, p      - vim
5 ]9 [1 Z( q  {      - rsync
8 I% {4 S5 x! C) h! ^      - chrony
      state: present
      update_cache: true
    tags: tools
  - name: chrony_service
    systemd:
      name: chronyd
      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
1 T5 c# s; X+ w9 O+ A; u      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
! t7 _: Q) t; [3 |2 ^2 O    tags: chronyd
  - name: config /etc/hosts #关键 生成hosts文件
    template:
3 @1 I9 a! \/ j4 u/ i      src: hosts.j2
# E% J* R" k1 B3 }4 n& R% p      dest: /etc/hosts
      mode: 0644
      backup: false
    tags:
      - hosts
8 w# X' ]) }( n# t( I9 \  - name: set hostname #设置主机名
    hostname:
      name={{host_name}}
  - name: set timezone to Asia-Shanghai #设置时区
    shell: |
( I+ I% Z$ w3 o# r# p, A9 N      /usr/bin/timedatectl set-timezone Asia/Shanghai
      chronyc -a makestep
    tags:
' N/ R5 |+ N$ v; t  A+ w* b      - set_timezone
" q# {5 b/ w/ ?# U' t- z  - name: stop firewalld service #关闭防火墙
    service :
      name: firewalld.service
  e2 G2 a3 J' \2 e8 X6 L  a      state: stopped
+ ]8 A1 n* b9 H$ b5 s- a      enabled: no
$ t4 g' h4 a3 U$ G! U    register: firewalld_service_result
( s' A' a' q8 Y" L    failed_when: "firewalld_service_result is failed and 'Could not find the requested service' not in firewalld_service_result.msg"
    tags: stop-firewall
: K" `5 V" d4 |: C% \& u* y  - name: Write noswap systemd service config file
. A9 I0 b. S1 @% k, W% N' {    template:
      src: noswap.service.j2
' \7 S" \* s% N( t# a      dest: /etc/systemd/system/noswap.service
9 r$ ?4 g8 C% `; n6 z3 E      owner: root
      group: root
7 ~: |6 `' E6 w  L      mode: 0644
8 Z2 h9 W& |7 u# o$ h: D9 k    notify: noswap_service
  - name: Disabling SELinux state #关闭suse
6 v/ H( Y5 Y# U- Z( m; Q    selinux:
      state: disabled
8 W6 A- X' r# _2 v9 J  - name: Reboot the machine #重启机器
    reboot:
- d: m, x1 A& Q2 J0 D      reboot_timeout: 300

templates/hosts.j2内容：
' s& u6 r4 ]* J1 _+ ybash 体验AI代码助手 代码解读复制代码

; w: Y4 [" @3 @' V1 l127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
. Y, z0 Y% Z4 R: }
% u" p) a  k+ m5 T6 I
{% for h in play_hosts %}
{{hostvars[h]['ansible_default_ipv4']['address']}} {{hostvars[h]['inventory_hostname']}}
5 t% o" M' C/ U1 `, g# j/ o{% endfor -%}
/ V7 M! H& u" Y7 z' `+ e& ^' [
4 D6 u. G% Z! c% ]/ Q9 ^执行ansible-playbook -v 2.config.yaml完成相关配置工作
安装docker
按照官网说法，可以使用docker或者podman，本文选用docker。
剧本3.docker.yaml内容如下：
' |. O# ?- ^5 Q, X" z; Byaml 体验AI代码助手 代码解读复制代码- name: install docker
  hosts: all
8 l. U/ [' r: j5 r! |  gather_facts: True
  vars:
# T9 G# X% k( O5 T) f+ z    DOCKERHUB_URL: registry.aliyuncs.com/google_containers
* `+ ~0 t7 Z) B' \8 J7 P$ v  handlers:
  tasks:
  - name: mkdir -p /etc/docker/
    file:
0 T: a5 i3 u1 b  Q6 n      path: /etc/docker/
      state: directory
  - name: install docker
    yum: name=docker-ce
* W( Z4 f$ |7 c* P& s5 K, D  - name: change config of docker
# [, k, y: @) w; L7 }    shell: |
       cat > /etc/docker/daemon.json <<EOF
2 d* j* H6 [/ ]# d5 H& C/ h       {"exec-opts": ["native.cgroupdriver=systemd"],
0 \9 h6 O; ~; d( H& o        "registry-mirrors": ["https://registry.aliyuncs.com","https://registry.cn-beijing.aliyuncs.com"]
1 R% s0 A) G  {5 B) V  `- o* _       }
       EOF
" N9 Q' H8 O9 R: U    tags:
0 a5 J! O' s- c% |      - config
4 E7 Y0 u0 D& Y1 S7 t  - name: add systemctl
; @7 m5 E$ b) o. F    systemd:
4 N$ l- a% g2 Z      name: docker.service
      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
8 R, C+ g) }: U1 l/ y      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
    tags:
; i8 Q1 J* E; r; W4 G: x      - docker-daemon
4 X3 |4 l7 }" s. _7 s' y  - name: docker login #在阿里云镜像仓库开了个账号，用于同步墙外面的镜像（https://cr.console.aliyun.com/cn-beijing/instance/credentials）
    shell: docker login --username cyxinda@163.com --password *** registry.cn-beijing.aliyuncs.com
- d! @# N; L& F5 v* S. [    tags: login

8 W$ e5 S* n& O- E) ~: u执行ansible-playbook -v 3.docker.yaml完成安装docker的工作
8 y$ P2 y7 h5 ^+ h开始创建ceph集群
安装cephadm
( @  z0 Q: J  f, N9 ~0 J- s# v0 B继续使用ansible为集群中每台机器安装ceph
剧本cephadm.yaml内容如下：
yaml 体验AI代码助手 代码解读复制代码- name: download ceph
# m7 E, g7 w% ~2 O' v  hosts: 127.0.0.1
% C$ y$ q, a, J. p% _" T  connection: local
2 d- ~. O6 P& G0 v; o' ^/ P  gather_facts: yes
5 h4 C% B7 H/ C, d7 D; V- m5 Q  tasks:
6 I$ r% ]/ }( {  - name: download cephadm
    get_url:
1 V$ r3 S7 U! ?, }6 N, N) [      url: https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
+ S, \* g) w; g7 ?      dest: /tmp/ceph/cephadm
      force: yes
$ K3 G( O3 m3 Z3 {' j% r) Q* V      mode: 755
      timeout: 600
6 \, S$ z; \- g) L$ K- name: download cephadm and install
2 ]& e, l0 e  Z$ m  hosts: all
# Z: c' `4 Z5 b# X/ B  gather_facts: True
  tasks:
  - name: mkdir workdir
5 x: {$ y2 ?6 A: o6 L" c) L    file:
      path: /tmp/ceph
      state: directory
  - name: 分发cephadm安装文件
7 ^- G- F1 ]8 L& n- S6 G' t    copy:
3 D$ ?3 G' c- A, {      src: "{{ item.src }}"
      dest: "{{ item.dest }}"
: Z$ o. a' }7 {) }      owner: root
      group: root
      mode: "{{item.mode}}"
) }/ R% H+ _5 m4 O  w1 z0 ?    with_items:
    - {src: "/tmp/ceph/cephadm", dest: "/tmp/ceph/cephadm",mode: "755" }
    tags: cp-cephadm
  - name: install python3
! Y* f, M- V/ |    yum:
7 {1 O/ }. S1 P; s: ?0 _, o$ U  d      name:
6 \( i* k5 F  z3 n, t      - python3
' [7 j; W* @. S9 F5 U      - chrony
      state: present
  - name: add systemd
    systemd:
: Q# t8 G- P) _, W      name: chronyd
+ K$ S$ V4 h3 Q) x) T# K0 i      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
' N6 i# i% G. l- e& f' t      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
" H, e* e: H, W8 Y6 y% O- b2 F& v( P7 G      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
1 m+ L1 O9 ^$ a, D  - name: add ceph release
4 u" P# E" m" }1 n! T    shell: /tmp/ceph/cephadm add-repo --release octopus
3 I0 L' ^& y9 J8 h/ r4 G  - name: install cephadm
3 |: I0 ^8 {5 H. ]    shell: /tmp/ceph/cephadm install
# Y. q0 M% ]  n9 }5 b, T$ J* g  - name: which cephadm
    shell: which cephadm
    register: which_cephadm
    tags: which-ceph
  - name: show
0 M: c. N1 W6 A/ Z$ D+ }8 O    debug: var=which_cephadm verbosity=0    #check.stdout 显示出的信息会看的更清晰点
% D0 b0 Y- T% A' h+ ]    tags: show-result

执行ansible-playbook -v cephadm.yaml完成ceph的安装

# n4 K$ k8 z( q1 Y1 m9 P引导集群
将master0作为引导主机，在其上面执行如下引导命令：
bash 体验AI代码助手 代码解读复制代码

2 b5 C3 y! }9 L$ G* F$ N3 L[root@master0 ~]# mkdir -p /etc/ceph
[root@master0 ~]# cephadm bootstrap --mon-ip 12.70.10.161
, f! W5 r6 x, g4 oVerifying podman|docker is present...
2 v. E# y( q) Q4 n; rVerifying lvm2 is present...
Verifying time synchronization is in place...
* n6 i, ^+ z( n  E6 ^6 j0 QUnit chronyd.service is enabled and running
Repeating the final host check...
podman|docker (/usr/bin/docker) is present
systemctl is present
lvcreate is present
. B: G0 g  W: g4 ?2 E+ r: K5 Z1 K2 FUnit chronyd.service is enabled and running
Host looks OK
2 r3 y" w6 H! @: ~# a: [, P. eCluster fsid: e3386564-bb02-11ec-af56-525400299ff7
  I' d7 C, \; L- eVerifying IP 172.70.10.161 port 3300 ...
Verifying IP 172.70.10.161 port 6789 ...
Mon IP 172.70.10.161 is in CIDR network 172.70.10.0/24
- o& D' ~' d& j  aPulling container image quay.io/ceph/ceph:v15...
Extracting ceph user uid/gid from container image...
Creating initial keys...
. e2 D5 d+ F& Z" bCreating initial monmap...
Creating mon...
* o: D6 E, l, S# xWaiting for mon to start...
" Q! S8 e0 f  n) c3 fWaiting for mon...
mon is available
Assimilating anything we can from ceph.conf...
Generating new minimal ceph.conf...
Restarting the monitor...
Setting mon public_network...
Creating mgr...
, @$ |% e% B8 {5 R; PVerifying port 9283 ...
) O, W4 l* P  _% IWrote keyring to /etc/ceph/ceph.client.admin.keyring
Wrote config to /etc/ceph/ceph.conf
: Y+ l6 g2 E& Z8 t$ b( W6 [9 jWaiting for mgr to start...
Waiting for mgr...
mgr not available, waiting (1/10)...
mgr not available, waiting (2/10)...
' P5 ?, T1 ]# w+ ~# G' Amgr not available, waiting (3/10)...
. X" {" D% z; a/ x  w* H- pmgr is available
Enabling cephadm module...
! f+ }6 p  D* rWaiting for the mgr to restart...
# l( Y2 U  L: U; yWaiting for Mgr epoch 5...
. ?  i: L9 M; H$ v" S) M5 HMgr epoch 5 is available
Setting orchestrator backend to cephadm...
% X5 S% d4 ?4 C# X/ m5 gGenerating ssh key...
( [3 }1 ~; r, [; K1 UWrote public SSH key to to /etc/ceph/ceph.pub
Adding key to root@localhost's authorized_keys...
Adding host master0...
Deploying mon service with default placement...
6 S, ?: o1 ?4 n8 NDeploying mgr service with default placement...
Deploying crash service with default placement...
8 `: `- x/ [; g/ m$ P  I2 Y: j: ZEnabling mgr prometheus module...
3 x& M0 I$ n4 w' k* S% wDeploying prometheus service with default placement...
Deploying grafana service with default placement...
& ~) a2 l; `: l6 C' j  \Deploying node-exporter service with default placement...
) d7 |3 `; O9 J6 LDeploying alertmanager service with default placement...
& B$ W9 U+ V) ZEnabling the dashboard module...
Waiting for the mgr to restart...
/ Z* g( ~6 o: O5 x" ?6 G: c2 n) qWaiting for Mgr epoch 13...
Mgr epoch 13 is available
: ^: c9 l5 U1 U/ \8 }+ @% }Generating a dashboard self-signed certificate...
" E7 r2 k7 X  a7 lCreating initial admin user...
Fetching dashboard port number...
Ceph Dashboard is now available at:
! A; Q# J4 ?- S" D  ?' u
             URL: https://master0:8443/
3 O! X2 Z( m. y. R5 r# l            User: admin
        Password: vym1bdeajd

) K9 V3 T5 a+ T  FYou can access the Ceph CLI with:
; c* n+ @6 V  f  m; R- z# K& Q
        sudo /usr/sbin/cephadm shell --fsid e338664-bb02-11ec-af6-525400299ff7 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

Please consider enabling telemetry to help improve Ceph:

, N* v0 T/ w4 [' \% }4 R  L+ i        ceph telemetry on
$ G! ~. Y1 g0 g- D; _  U' _5 R: V
% W7 S2 U; w& l, x+ \% RFor more information see:

# C  k2 [: H3 U! q        https://docs.ceph.com/docs/master/mgr/telemetry/

Bootstrap complete.
! t& R% j& A& l3 @
' q8 N+ _: o3 b6 n
在命令执行过程中，有如下提示：
4 R7 u9 r% R! t; J8 _0 lbash 体验AI代码助手 代码解读复制代码Ceph Dashboard is now available at :
             URL: https://master0:8443/
  P) p. o' O4 F. P7 c9 t; ^2 ~2 e            User: admin
        Password: vymdeajd
* U1 n: D# _, \% E7 k
3 H- w; ]" s# b7 Y( w& i按照提示，在浏览器上面可以访问:
0 ?; w6 g/ T5 d, T/ y
进入到管理页面后，如下：

参照安装文档，该命令将：
: r$ N( P1 g8 g- L/ z  k在本地主机上为新集群创建一个监视器和管理器守护程序。

为 Ceph 集群生成一个新的 SSH 密钥并将其添加到 root 用户的/root/.ssh/authorized_keys文件中。
, R  K% H, V% C: G* p$ J# Q; a% ]将与新集群通信所需的最小配置文件写入/etc/ceph/ceph.conf.
$ B& `' [; c- C3 H) g
client.admin将管理（特权！）密钥的副本写入/etc/ceph/ceph.client.admin.keyring.
7 b  q8 ]$ b# J' @1 [: a: o/ ~0 P将公钥的副本写入 /etc/ceph/ceph.pub.
9 l# ~1 G' t1 S! g  A$ y/ W' ], ~/ K启用 CEPH CLI（必须）
6 X: b4 k# u! ?继续在引导机器上面执行如下命令，即可开启ceph shell client
注意：后面的ceph命令，均需在ceph shell环境下执行
( y  O1 N" u! L% g* Pbash 体验AI代码助手 代码解读复制代码

[root@master0 ~]# cephadm shell
6 M" S: S% _! x1 ]1 mInferring fsid e3386564-bb02-11ec-af56-525400299ff7
& l, x. X9 k# t1 G3 B/ W3 xInferring config /var/lib/ceph/e3386564-bb02-11ec-af56-525400299ff7/mon.master0/config
" U0 s# l9 }% E( [3 Z0 ~+ G/ ZUsing recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f

$ x3 ^/ Q$ O, t- V" K' G# V[ceph: root@master0 /]# ceph -v
' }0 `" b2 |4 K1 ?4 i" Rceph version 15.2.16 (d46a73d6d0a67a79558054a3a5a72cb561724974) octopus (stable)

. P2 j/ N6 N( T* H
# z0 G; ?) O# K6 L[ceph: root@master0 /]# ceph -s
  cluster:
    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_WARN
5 n3 O+ S4 C, q! x5 e. j( F. ?            OSD count 0 < osd_pool_default_size 3

  services:
' g& C4 A. `; T  i0 A$ c4 u    mon: 1 daemons, quorum master0 (age 48m)
    mgr: master0.ojikws(active, since 47m)
7 r; Z% s4 ~  C# _; u    osd: 0 osds: 0 up, 0 in
- P; |1 y6 W- A+ _5 v$ ]+ N0 y
2 h2 s: O2 Q) ^; Y  data:
0 I) s& n- F/ [& A    pools:   0 pools, 0 pgs
* B7 q" ]( h/ J$ S    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:
/ L6 H+ k0 ~) F% B2 F. ]6 k4 ^
将主机添加到集群
% k+ K6 Y0 N: t3 W' p0 }
在新主机的 root 用户 authorized_keys文件中安装集群的公共 SSH 密钥
3 M3 W" J* o- K3 Z; F$ c  u7 N
bash 体验AI代码助手 代码解读复制代码

[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master1
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
7 q- g, m+ B, ?. uThe authenticity of host 'master1 (12.70.10.162)' can't be established.
" m6 l5 \+ {& g& J: |: AECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
1 v" s: q+ n9 v6 R. yECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
Are you sure you want to continue connecting (yes/no)? yes
5 |% P6 w4 ^. o# u1 |root@master1's password:
* {* Y5 o+ p" X  s7 K4 e
2 U& Z% q- p( Q4 [& N  U, [, Z; vNumber of key(s) added: 1
& j0 H' U, R3 x% F+ {% y
Now try logging into the machine, with:   "ssh 'root@master1'"
9 _8 n" H+ ]9 ?0 Z$ z5 k( Y. b: Cand check to make sure that only the key(s) you wanted were added.

; I' d; x3 C  b7 \9 d; ^! m[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master2
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
The authenticity of host 'master2 (12.70.10.163)' can't be established.
ECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
, N+ m% i! M) Y; V0 t5 o7 E8 p. j) UECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
Are you sure you want to continue connecting (yes/no)? yes
4 V$ g3 j# \: ]- H- V5 D. |( droot@master2's password:
3 ^- J* G. ]4 ]" ^" p3 S& o
7 E/ r" J2 i) B9 q3 C9 R( }; eNumber of key(s) added: 1
- L  i0 f& \4 S+ \! l8 F6 H
; c" x5 C) v4 Q* Y& S! |Now try logging into the machine, with:   "ssh 'root@master2'"
, L3 b/ P$ c2 Q' o" [9 i) p; H* y- band check to make sure that only the key(s) you wanted were added.

  Y+ B" i# |- C$ x& o0 G5 P" Z这部分本来也可以用ansible做的，但是懒得写脚本了，就两台机器，也就罢了
添加机器到集群：
: }! S  ]. |- L- X, W, lbash 体验AI代码助手 代码解读复制代码
( J% G' n3 j* P/ T! r$ {9 }1 P
[ceph: root@ceph1 /]# ceph orch host add ceph2 12.70.10.162
Added host 'ceph2'
4 X( L; t+ m3 `[ceph: root@ceph1 /]# ceph orch host add ceph3 12.70.10.163
( ]  I+ h4 Z! X. xAdded host 'ceph3'
; g$ W) {% Z7 D  v- P[ceph: root@ceph1 /]# ceph orch host add ceph4 12.70.10.164
Added host 'ceph4'
5 e8 X% ^3 H: \% g) v3 E[ceph: root@ceph1 /]# ceph orch host add ceph5 12.70.10.165
Added host 'ceph5'
$ K# q  K# J! I" P- J5 d$ g[ceph: root@ceph1 /]# ceph orch host add ceph6 12.70.10.166
( |, N, S7 r+ g+ e- A% BAdded host 'ceph6'
, i  ^) V" [% `% O& s

& n: _  `; [" L9 E添加多个监控器
配置监视器子网：
  u5 s4 m% k$ E$ ubash 体验AI代码助手 代码解读复制代码
[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24
* B; G3 B4 @' U# l[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24

##要启动三台监视器，需要调整监视器数量：
* t0 v4 v  }+ ]% i5 G[ceph: root@master0 /]# ceph orch apply mon 3
Scheduled mon update...
, R0 ^; z# q" l$ m1 ]
按照官网的说法：Cephadm 仅在已配置子网中配置了 IP 的主机上部署新的监控守护程序
5 P+ M- r- |, q4 t- V' B, _" c3 `在一组特定的主机上部署监视器，请务必在此列表中包含第一个（引导）主机。
bash 体验AI代码助手 代码解读复制代码
' {( y" ~! J- y( U  a  X7 b
[ceph: root@master0 /]# ceph orch apply mon master0,master1,master2
Scheduled mon update...
6 I" K# s! y* ~, v: v##加标签
[ceph: root@master0 /]# ceph orch host label add master0 mon
4 y: {5 I8 a2 Q% @1 DAdded label mon to host master0
[ceph: root@master0 /]# ceph orch host label add master1 mon
$ Q9 A; F# t1 zAdded label mon to host master1
+ f$ W- ~- W& n% ]' {[ceph: root@master0 /]# ceph orch host label add master2 mon
- @7 g9 C0 [* Z. |# ^( F6 d. EAdded label mon to host master2
* c/ F; \' [3 j9 \1 L
7 d! j$ b: @1 W% B# n# Z[ceph: root@master0 /]# ceph orch host ls
HOST     ADDR     LABELS  STATUS
master0  master0  mon
master1  master1  mon
master2  master2  mon
7 V  O& V  Z! q. [" b5 t) U) ], Y
0 C0 y  r! r) g& z: T- w[ceph: root@master0 /]# ceph -s
) R6 V9 a$ s- q- n6 z# l. i4 o  cluster:
    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_WARN
) R0 x- v* o9 r" u# o4 S5 c. B            OSD count 0 < osd_pool_default_size 3
! q( q$ {' y- f7 Q+ S
  services:
) t1 j8 p# P- h$ V& j- |    mon: 3 daemons, quorum master0,master1,master2 (age 88s)
  v6 R( ~( ?* i) ?7 _, ?4 N    mgr: master0.ojikws(active, since 73m), standbys: master1.uxevld
/ J! @( E4 U; C) b    osd: 0 osds: 0 up, 0 in
) F% ~. f+ n; ~3 F
  data:
    pools:   0 pools, 0 pgs
9 ~7 T1 W) x' N" @! |9 E8 g5 x5 H    objects: 0 objects, 0 B
2 ^7 J9 r* \, g$ ]    usage:   0 B used, 0 B / 0 B avail
    pgs:

' O; C/ G* J6 V/ |; U& _4 s加入ODS
, q! {% i, \' O7 O3 {可以看到集群三台机器上面，一共挂载了6块磁盘：
bash 体验AI代码助手 代码解读复制代码

! W3 H7 G6 J/ A% |; m' Y9 {& v[ceph: root@master0 /]# ceph orch device ls
Hostname  Path      Type  Serial  Size   Health   Ident  Fault  Available
3 g7 @; F; K, ?9 a3 e, M2 }+ Y7 qmaster0   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
# ?/ s& {( k. Z& u# Umaster0   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
  p# A9 E# S; t( g' W$ kmaster1   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
7 o% f0 \0 c; d8 w4 ]master1   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
master2   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
, A1 r% s, H. `; qmaster2   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes

5 z; v+ O/ Q! I9 i4 y当然在每台机器上面可以列出块设备（/dev/vdb 和 /dev/vdc）：
bash 体验AI代码助手 代码解读复制代码
# ^9 e. ]) W  D: K
[ceph: root@master0 /]# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sr0              11:0    1  1024M  0 rom
vda             252:0    0   500G  0 disk
4 i$ ]8 R" d( d8 ?  p$ N|-vda1          252:1    0     1G  0 part /rootfs/boot
`-vda2          252:2    0   499G  0 part
) x: L' d3 g- D# M  |-centos-root 253:0    0    50G  0 lvm  /rootfs
( }- T$ ]  p9 d3 @8 N- Z* s+ V  |-centos-swap 253:1    0   7.9G  0 lvm
  `-centos-home 253:2    0 441.1G  0 lvm  /rootfs/home
vdb             252:16   0   500G  0 disk
vdc             252:32   0   500G  0 disk
  j9 A5 B$ H3 {8 L( C8 M
7 r3 D+ ^- e" P" o- J( d3 M% i按照官网说法：设备满足
1 `+ Q" x4 e( l# s  j如果满足以下所有条件，则认为存储设备可用：

设备不能有分区。
5 c" x3 k6 K* D* J7 Z设备不得具有任何 LVM 状态。
不得安装该设备。
设备不得包含文件系统。
设备不得包含 Ceph BlueStore OSD。
8 X2 S' |: Y5 Y: G0 D+ t设备必须大于 5 GB。

) Y: V; d5 a7 P2 N. oCeph将 拒绝在不可用的设备上配置 OSD
& m# _2 `  o% s可以使用如下命令，将所有可用的磁盘添加到ceph集群中：
" R' X  L0 ^6 y, \# W1 \- `% ?) w- K6 j4 Qbash 体验AI代码助手 代码解读复制代码

4 o; r+ T& f5 b; F6 `1 N[ceph: root@master0 /]# ceph orch apply osd --all-available-devices
* o' }4 Z% ~+ H8 K0 c) nScheduled osd.all-available-devices update...
1 r. G* `, {2 J[ceph: root@master0 /]# ceph -s
  cluster:
6 f7 z9 e4 [2 s8 k( t; y% O    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_OK
- d: d; w$ X; i
  services:
+ X( _+ K* A( r  f7 V) c7 q1 u. H    mon: 3 daemons, quorum master0,master1,master2 (age 12m)
$ z' e) l" I0 s4 a, @) ~5 }    mgr: master0.ojikws(active, since 84m), standbys: master1.uxevld
    osd: 6 osds: 6 up (since 22s), 6 in (since 22s)
9 W) @* ]( d* l+ E
2 h: F7 n. K3 M& l! Q" B1 K: @! h  data:
    pools:   1 pools, 1 pgs
' v1 S6 n; u4 Q8 H    objects: 0 objects, 0 B
    usage:   6.0 GiB used, 2.9 TiB / 2.9 TiB avail
    pgs:     1 active+clean
6 S2 u; c" Q8 }- u8 L$ @" l* ^
( a, U* r: s. Y' e; o) q也可以单独加入：
8 ^! R5 d/ p  ]- qbash 体验AI代码助手 代码解读复制代码

[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdb
, `( k$ X1 K$ d) T7 X[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdc
[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdb
: o6 L2 L, R" v. ?6 b3 }( q7 g" c4 j3 a: O[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdc
* S' W3 x4 B2 n# \& h% B$ b- z[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdb
[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdc

在前端看到：

  D9 b0 F; E. }( b' G9 `* E1 ?
4 b1 X0 b- V* W7 \/ G挂载块设备
4 c7 D7 b5 K' ?; R4 C' J7 ^2 Nbash 体验AI代码助手 代码解读复制代码

[root@ceph101 tmp]# ceph osd pool create test_rbd 32
pool 'test_rbd' created
5 m$ F" H+ `- ^; A0 |[root@ceph101 tmp]# ceph df
--- RAW STORAGE ---
CLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22
: z/ c! Q# W, ^4 N. v# w# S% [) `& ~TOTAL  5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22

--- POOLS ---
POOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
" t! c! Q8 u3 q9 D3 r8 a5 ddevice_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
zone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
# B8 d2 _: X" U  Y6 {zone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
' [# G7 Q, W7 R: _9 V, \zone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
zone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
* U& `- ~7 M% k3 A% Xzone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
zone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
0 }/ }. B2 y5 G% _! q1 Gcp_pool                    42   32  1.4 MiB        2  4.4 MiB      0    1.9 TiB
test_rbd                   43   32      0 B        0      0 B      0    1.9 TiB
' l+ M" F0 Q2 Q) a( h##创建镜像
- x, |9 u4 k! H
6 X$ a6 X5 q8 F[root@ceph101 tmp]# rbd create test_rbd_image_1 --size 10240 -p test_rbd

[root@ceph101 tmp]# rbd -p test_rbd ls
( i( o, `" F$ R* ^* ?test_rbd_image_1

##检看一个RBD镜像的详细信息
; V/ ^& u- u* P& A3 B[root@ceph101 tmp]# rbd --image test_rbd_image_1 info -p test_rbd
rbd image 'test_rbd_image_1':
        size 10 GiB in 2560 objects
! N9 e4 j# Y, R/ C# h8 X# y$ k        order 22 (4 MiB objects)
# O# x! Q  E& d* {' S$ V1 g* n        snapshot_count: 0
        id: 2836b2f53ea86
        block_name_prefix: rbd_data.2836b2f53ea86
0 F% b  Z. e/ J3 i: Y        format: 2
        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling
        op_features:
        flags:
3 E3 }1 r$ N* ]5 P( K1 V3 |        create_timestamp: Tue May 10 10:38:16 2022
+ z/ Z+ y4 T: p9 k" z' m        access_timestamp: Tue May 10 10:38:16 2022
  B# @/ p; F7 H9 M" t$ k        modify_timestamp: Tue May 10 10:38:16 2022
' W, N6 T8 _& x  h* _% P        journal: 2836b2f53ea86
- x% {$ M' h, h# S/ D2 Z        mirroring state: disabled


; T: J2 l2 j) |. U9 N3 R7 Z, Q! [; y[root@ceph101 tmp]# rbd pool stats -p test_rbd
+ @: f: K0 f- X  y6 `; S. \/ I1 vTotal Images: 1
Total Snapshots: 0
Provisioned Size: 10 GiB
[root@ceph101 tmp]# rbd showmapped
! \+ D% \7 x6 c+ g; j8 H" O- ^id  pool     namespace  image   snap  device
0   cp_pool             image2  -     /dev/rbd0

[root@ceph101 test_rbd]# umount -f /dev/rbd0
#或者

[root@ceph101 test_rbd]# rbd unmap -f /dev/rbd0
##然后将pool关联应用

- [' G( Z6 L# q2 m( l% U* S[root@ceph101 ~]# ceph osd pool application enable  test_rbd rbd
0 P% G" n; [" P" H- Kenabled application 'rbd' on pool 'test_rbd'
[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
rbd: sysfs write failed
# ?& z% [5 z$ d$ Y% p: SRBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable test_rbd/test_rbd_image_1 journaling".
In some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
& g0 C" B7 A7 D, V3 N0 i/ b
[root@ceph101 ~]# uname -r
5.17.6-1.el7.elrepo.x86_64
1 I% v7 I2 ?% @7 O" J" `[root@ceph101 ~]# dmesg | tail
; k, n% Q! d6 t[    9.843030] random: crng init done
- {7 Y3 W9 \, S* K- I  d6 Y[    9.843034] random: 7 urandom warning(s) missed due to ratelimiting
% D+ x! e; w6 G* t4 a[   10.669178] Bridge firewalling registered
7 y0 r, Y  B) e; t2 n" V[   22.239147] process '/bin/ip' started with executable stack
[ 8185.140070] Key type ceph registered
; L' }0 K1 n8 E9 h) y[ 8185.140395] libceph: loaded (mon/osd proto 15/24)
[ 8185.141923] rbd: loaded (major 251)
[ 8185.158536] libceph: mon3 (1)12.70.10.184:6789 session established
! g8 ^1 i% h( N7 `% L  Y[ 8185.160696] libceph: client175843 fsid 7a367006-c449-11ec-9566-525400ce981f
9 u% M; G8 N* X4 V; B  M6 t7 a[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40        
$ s5 m. U, \2 w##根据提示`[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40`，可以确定内核不支持的features是十六进制0x40,转成十进制是4*16+0*1=64，即2的6次方=64，journaling
#layering: 支持分层**（0次方）**
; N1 U- I6 C# r8 M6 m) b#striping: 支持条带化 v2 **（1次方）**
( @' R( }, o9 b3 |#exclusive-lock: 支持独占锁 **（2次方）**
  D- |+ p; F) |( x#object-map: 支持对象映射（依赖 exclusive-lock ）**（3次方）**
- p% r* M- v- c* H#fast-diff: 快速计算差异（依赖 object-map ）**（4次方）**
& d9 A# ?) W2 k#deep-flatten: 支持快照扁平化操作**（5次方）**
#journaling: 支持记录 IO 操作（依赖独占锁）**（6次方）**
[root@ceph101 ~]# rbd feature disable test_rbd/test_rbd_image_1 journaling
. p9 n8 M4 Y4 b+ Q$ ?[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
/dev/rbd0
4 }4 g& A5 N5 l: A7 W' Y6 B  H#lsblk 查看磁盘
3 l5 r2 o- K7 e$ }2 F- E3 j
. ]" a$ O. _- q3 M$ t[root@ceph101 test_rbd]# rbd showmapped
id  pool      namespace  image             snap  device
0   test_rbd             test_rbd_image_1  -     /dev/rbd0
4 l$ P/ u. B2 Z[root@ceph101 ~]# lsblk
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
5 k* d# p# w% R/ g2 U) v/ e. L4 Urbd0                                                                                                  251:0    0    10G  0 disk
vdb                                                                                                   252:16   0   500G  0 disk
/ O8 y& E& H# H└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
& D  f# A2 Y+ z9 T( C% fsr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
' l- i9 i& S7 I; w└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
* n5 o4 j$ h7 q) Hvda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
; b; C& R$ R" ?4 Q( M└─vda1                                                                                                252:1    0     1G  0 part /boot
" f  X! o+ K% `3 i
8 p; V3 Q- a5 u6 B1 J# d
3 n2 ~+ `* G3 C" z* @$ L# 格式化磁盘
" Q* c0 W' T, T# H+ k/ @) ?7 A
[root@ceph101 ~]# mkfs.ext4  /dev/rbd0
- [3 a% p) U/ X1 j: s" J# kmke2fs 1.42.9 (28-Dec-2013)
4 R. s- ]7 L) t" ^0 d7 b/ N' ZDiscarding device blocks: 完成
文件系统标签=
! t# ?& r: O7 [5 LOS type: Linux
块大小=4096 (log=2)
分块大小=4096 (log=2)
  C7 `% O3 y; @: n; q, m- I- ~: xStride=16 blocks, Stripe width=16 blocks
7 h; s# h9 \5 z, i5 U6 J655360 inodes, 2621440 blocks
131072 blocks (5.00%) reserved for the super user
0 J' W  F8 C. X0 {第一个数据块=0
0 ?6 q# j1 P  pMaximum filesystem blocks=2151677952
5 x& p- h. P. k& H' u# }- I5 u80 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
$ b' j$ w& c, iSuperblock backups stored on blocks:
# |3 u/ F4 l6 t( F9 H" ?+ W        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632
- {) F0 m$ j5 I. d
Allocating group tables: 完成
5 j# \4 I0 m  o5 y" F* d正在写入inode表: 完成
Creating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information:
2 V6 H/ X  |9 m5 J& g( _  ?. r完成

##创建挂载目录
8 E* R* @  F3 @. |% v4 J# R[root@ceph101 ~]# mkdir test_rbd/
#挂载
" q  g; p/ t+ Q4 u9 N& S# F4 m) G[root@ceph101 ~]#  mount /dev/rbd0 /root/test_rbd
[root@ceph101 ~]# lsblk
7 L7 ^/ U! _' f1 \. kNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
rbd0                                                                                                  251:0    0    10G  0 disk /root/test_rbd
vdb                                                                                                   252:16   0   500G  0 disk
└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
sr0                                                                                                    11:0    1  1024M  0 rom
2 `0 r8 [( b$ {# z/ W. E6 P" ^vdc                                                                                                   252:32   0   500G  0 disk
* f  t) b' k& o4 s! `└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
3 H" H7 m% N" F+ m6 Z* p9 I1 J# y│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
# C5 G  n$ o0 h7 i4 H! o- Q└─vda1                                                                                                252:1    0     1G  0 part /boot

#写入小说文档到挂载的目录
6 l4 I! X- I: ~$ Y+ E6 S; e# S9 \[root@ceph101 ~]# mv bcsj.txt test_rbd/
[root@ceph101 ~]# md5sum test_rbd/bcsj.txt
7 [! c) G6 |- N, `$ D0d615ccd0e1c55f62002134f5cac81cc  test_rbd/bcsj.txt
[root@ceph101 ~]# df -lh
文件系统                 容量  已用  可用 已用% 挂载点
3 h! y1 y* }8 C/dev/rbd0                9.7G   15M  9.2G    1% /root/test_rbd

: r. T& a/ ]1 s4 \[root@ceph101 ~]# ceph df
--- RAW STORAGE ---
) A9 A- r; F8 f7 D  M% R# b1 ~CLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23
TOTAL  5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23

--- POOLS ---
0 F' j7 t4 ]9 @9 U- IPOOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
5 j( x/ G# X3 e& E5 m7 wdevice_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
, D1 R* J% J% Q& Z) l4 i  K' \.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
; r" `; F4 v  R! _# I  \7 f6 mzone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
- X: Z. o$ K% \' Ezone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
zone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
+ j; q2 _2 K, i% G: G% @$ Czone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
: h/ p$ Q$ {) @" h- [9 ~zone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
- U# O% U' h& G' z6 ~) r( vzone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
; @9 l2 O6 ^+ i. t5 P' y& [cp_pool                    42   32  2.2 MiB        2  7.0 MiB      0    1.9 TiB
test_rbd                   43   32  148 MiB       57  446 MiB      0    1.9 TiB

; X& {, Y  Z+ [4 g, a( f
' o; J3 V  t# I# k" S; n对象网关
bash 体验AI代码助手 代码解读复制代码

yum install ceph-radosgw -y

[ceph: root@ceph1 ceph]# radosgw-admin user create --uid='s3_admin' --display-name='s3_rgw_admin' --access-key='s3_rgw_admin_access_key' --secret-key='s3_rgw_admin_secret_key'
{
7 I1 Z  J' I2 q: d  A( o' v    "user_id": "s3_admin",
    "display_name": "s3_rgw_admin",
    "email": "",
( y( }/ e" h) `" H9 U5 }    "suspended": 0,
    "max_buckets": 1000,
7 s" o" l% U: x, {% a    "subusers": [],
    "keys": [
        {
% h% f5 N0 _9 F) \            "user": "s3_admin",
            "access_key": "s3_rgw_admin_access_key",
            "secret_key": "s3_rgw_admin_secret_key"
2 k( _6 z  x/ f6 y        }
    ],
- T$ S+ `0 K) |. V; K; F9 _    "swift_keys": [],
    "caps": [],
" d, u, @* o  J  A7 [/ F    "op_mask": "read, write, delete",
. T9 r* W" k7 H    "default_placement": "",
) F! p' W* r) l  }( `    "default_storage_class": "",
  H" ?* j" Z; {5 k: L    "placement_tags": [],
9 Y" a% Q7 A: F4 G' t    "bucket_quota": {
% y! {+ }4 h5 _' A1 o        "enabled": false,
        "check_on_raw": false,
# `' U" ]! h' b  M1 [) D8 j& G        "max_size": -1,
        "max_size_kb": 0,
% \6 R5 K2 i( v4 {# {- |        "max_objects": -1
    },
  E7 E% X% P8 `! F7 e5 f; b    "user_quota": {
8 x1 Y3 \: m9 _7 ~/ D! f& |* E        "enabled": false,
4 |: G4 g3 T9 ?' f# ^        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
! H1 l0 [* _! U$ d5 l' {5 `9 O+ a* N. U    },
3 o7 U& r, b; w6 g( ^& ^    "temp_url_keys": [],
) C9 j' g; A" F# c8 |    "type": "rgw",
    "mfa_ids": []
}
% ]. z! S( `. W6 y- Z1 {# W
9 s  z1 R3 L" G[ceph: root@ceph1 ceph]#
5 L  O2 Z9 I( J6 C[ceph: root@ceph1 ceph]# radosgw-admin user info --uid='s3_admin'
4 _& J2 }% t0 G' ^9 b{
    "user_id": "s3_admin",
, j4 M* o3 x( S! i3 B7 ^" J    "display_name": "s3_rgw_admin",
    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
( A) X) S, S. Y7 h    "subusers": [],
    "keys": [
        {
            "user": "s3_admin",
            "access_key": "s3_rgw_admin_access_key",
; n. ^3 a) [$ p. H            "secret_key": "s3_rgw_admin_secret_key"
; b/ S" e4 {: J+ S        }
+ U) H8 q2 O) N( E    ],
    "swift_keys": [],
    "caps": [],
, c7 V' s* S, E, q1 c1 O    "op_mask": "read, write, delete",
  d8 y9 c. I, P0 R7 k! E2 |    "default_placement": "",
    "default_storage_class": "",
% D1 v; \8 D2 ?    "placement_tags": [],
    "bucket_quota": {
        "enabled": false,
! t" d: O% D$ i, b        "check_on_raw": false,
" `3 u( r! W9 Q$ B        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
: a8 t: C4 u2 ~1 I8 d( T  p7 [    "user_quota": {
* ?4 I0 z4 v7 y* N        "enabled": false,
0 q: p/ A+ }% ^% e5 [% V        "check_on_raw": false,
        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
- ^/ P: f1 A6 I" M    },
    "temp_url_keys": [],
  v8 o# H1 }, @) o+ O- _! K: `# K    "type": "rgw",
    "mfa_ids": []
6 {: o  k" F; D: e$ y0 L}

% U3 r* ]: g3 Mceph tell mon.* injectargs --mon_max_pg_per_osd=100

#----------------------------------------------------------------------------
radosgw-admin user create --uid=rgw_admin --display-name=rgw_admin --system
' o7 ~8 e2 K! f! E, Vradosgw-admin user info --uid rgw_admin --system

* t7 C7 I+ h" T
  q2 X4 {( X2 u. R: C5 x4 Kradosgw-admin realm create --rgw-realm=realm_1 --default
radosgw-admin zonegroup create \
6 u" K) l3 Y7 N+ } --rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
--endpoints http://ceph101:80 \
# ]/ w8 [/ v' I# V --master --default


2 i3 [/ `" [' P& x( B4 F' I radosgw-admin zone modify \
--rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
$ B0 b) Q  {+ G1 z6 U* X" F --rgw-zone=zone_01 \
--endpoints http://ceph101:80 \
--access-key=IAWL6PLNFMNM0SLQNWQ0 \
) y" G- Y! R( i; Y9 j, q* A9 i! |2 A --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
9 `# U) y2 z$ Q( Q! \0 I --master --default

$ A) k& z' V" q% F8 {4 A9 ^2 X radosgw-admin period update --commit
8 `% n& I; `9 g# O8 b radosgw-admin period update --rgw-realm=realm_1
ceph orch apply rgw  realm_1  zone_01 --placement="1 ceph101"
: \; C  h- U/ ]! r& |& |, l" Z4 q
0 x' ]; ?. W* a) e' k2 r& P0 p; Y# G上述命令，一定要在集群健康的情况下运行，否则会出现rgw 的docker进程启动不了的情况，正常情况下，可以看到如下进程：
bash 体验AI代码助手 代码解读复制代码
4 l6 u8 k( S5 ^[root@ceph101 ~]# ceph orch ls
NAME                 RUNNING  REFRESHED  AGE  PLACEMENT                                IMAGE NAME                                IMAGE ID
4 T7 M8 p- A! q; K7 ^" \9 g6 z( Valertmanager             1/1  4m ago     2d   count:1                                  quay.io/prometheus/alertmanager:v0.20.0   0881eb8f169f
crash                    6/6  4m ago     2d   *                                        quay.io/ceph/ceph:v15                     3edede73a7c4
" b  a0 k+ ^/ _; W) lgrafana                  1/1  4m ago     2d   count:1                                  quay.io/ceph/ceph-grafana:6.7.4           557c83e11646
5 k+ w3 Y6 o: C+ q2 Emgr                      2/2  4m ago     2d   count:2                                  quay.io/ceph/ceph:v15                     3edede73a7c4
mon                      5/5  4m ago     2d   ceph101;ceph102;ceph103;ceph104;ceph105  quay.io/ceph/ceph:v15                     3edede73a7c4
8 }! H  Z6 {& F4 ?% inode-exporter            6/6  4m ago     2d   *                                        quay.io/prometheus/node-exporter:v0.18.1  e5a616e4b9cf
osd.None                12/0  4m ago     -    <unmanaged>                              quay.io/ceph/ceph:v15                     3edede73a7c4
% E& K/ N9 Z8 c3 j$ K% a7 iprometheus               1/1  4m ago     2d   count:1                                  quay.io/prometheus/prometheus:v2.18.1     de242295e225
# l" I" d5 e& C* @. m5 g3 C8 i7 brgw.realm_1.zone_01      1/1  4m ago     75m  ceph101;count:1                          quay.io/ceph/ceph:v15                     3edede73a7c4

2 x" I4 l- u& g- I: W" P# V6 W
如果rgw进程无法启动的情况，可能是集群不健康，查看log：
ceph log last cephadm
9 W5 v- J  ?8 z+ d) t$ f/var/log/ceph/cephadm.log
+ k) f" _7 c+ cbash 体验AI代码助手 代码解读复制代码[root@ceph101 system]# ceph log last cephadm
2022-04-27T07:57:57.347323+0000 mgr.ceph101.qhgzmi (mgr.14164) 95889 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
& @5 t/ N$ p# g  Q6 r    if self._apply_service(spec):
. b, c& ]) J  D  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
- d1 E' S3 A0 n2 ]/ g  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
: e' P, ~* q: R    self.create_realm_zonegroup_zone(spec, rgw_id)
. _" {8 D! M% O  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
3 [0 f) t0 ~6 w2 x! E' C, ?orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
( `! H; F' |- L; u2022-04-27T07:57:57.353366+0000 mgr.ceph101.qhgzmi (mgr.14164) 95890 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
, d, C) u8 g, k) X* z0 F+ eTraceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
& ~; j0 ~) U" D    if self._apply_service(spec):
2 A8 U& l) V1 v  ]4 e8 O  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
/ {2 ?' L7 }, I- Y; i8 a8 U    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
6 `9 m. v! t5 O$ w. B- I6 Lorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:22.102133+0000 mgr.ceph101.qhgzmi (mgr.14164) 96175 : cephadm [INF] refreshing ceph104 facts
) p5 ?/ {$ j+ \2022-04-27T08:07:22.103197+0000 mgr.ceph101.qhgzmi (mgr.14164) 96176 : cephadm [INF] refreshing ceph103 facts
, v* M/ P7 O. _5 W. d' ~2022-04-27T08:07:22.105047+0000 mgr.ceph101.qhgzmi (mgr.14164) 96177 : cephadm [INF] refreshing ceph106 facts
2022-04-27T08:07:22.105643+0000 mgr.ceph101.qhgzmi (mgr.14164) 96178 : cephadm [INF] refreshing ceph105 facts
3 b( _9 Z1 r" l5 v. l2022-04-27T08:07:22.106985+0000 mgr.ceph101.qhgzmi (mgr.14164) 96179 : cephadm [INF] refreshing ceph102 facts
2022-04-27T08:07:22.910395+0000 mgr.ceph101.qhgzmi (mgr.14164) 96181 : cephadm [INF] refreshing ceph101 facts
2022-04-27T08:07:23.599992+0000 mgr.ceph101.qhgzmi (mgr.14164) 96182 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
Traceback (most recent call last):
. e- ]) n6 d8 H; d9 v5 _. `  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
5 u; T) L% b: z6 `- D) h  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
. _) F" c4 x5 Z! u$ m3 n+ yorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
& h& a4 r# h( C1 U2022-04-27T08:07:23.615964+0000 mgr.ceph101.qhgzmi (mgr.14164) 96183 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
3 a* j, a$ ~0 d# T2 ?& u5 u! kTraceback (most recent call last):
, {8 `- n6 x+ R4 c# ?: {  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
6 Z1 |7 S0 L5 j) {  D    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
) t5 q) `7 ^& s4 I2 ^0 {    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
; W% w# B3 C( z$ G4 ~    raise OrchestratorError('Health not ok, will try again when health ok')
, S8 v: ~, A7 u9 dorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.784884+0000 mgr.ceph101.qhgzmi (mgr.14164) 96184 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
' \; q1 z- K( X# s* mTraceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
4 p+ x+ z* I' y    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
8 j. x3 d* V# P" ~0 x* T  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.788497+0000 mgr.ceph101.qhgzmi (mgr.14164) 96185 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
2 Y  d- W5 _. Q+ R- x+ M& P5 Q  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
! T  ]3 o: N6 ]2 t9 K& q+ C. r    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
. }% F0 Y- {) w    rgw_config_func(cast(RGWSpec, spec), daemon_id)
& `$ @  j7 ^/ k* C* ^( P# G3 B  x  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
# F1 F) i% T/ i7 u& N$ N  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
9 t- `- n: C1 F5 t; o  Z2022-04-27T08:16:33.025623+0000 mgr.ceph101.qhgzmi (mgr.14164) 96463 : cephadm [INF] Saving service rgw.realm_1.zone_01 spec
2022-04-27T08:16:33.240231+0000 mgr.ceph101.qhgzmi (mgr.14164) 96464 : cephadm [INF] refreshing ceph101 facts
2022-04-27T08:16:33.248641+0000 mgr.ceph101.qhgzmi (mgr.14164) 96465 : cephadm [INF] refreshing ceph102 facts
2022-04-27T08:16:33.250945+0000 mgr.ceph101.qhgzmi (mgr.14164) 96466 : cephadm [INF] refreshing ceph103 facts
2022-04-27T08:16:33.252787+0000 mgr.ceph101.qhgzmi (mgr.14164) 96467 : cephadm [INF] refreshing ceph104 facts
+ F& |& D7 ]) [2022-04-27T08:16:33.254250+0000 mgr.ceph101.qhgzmi (mgr.14164) 96468 : cephadm [INF] refreshing ceph105 facts
2022-04-27T08:16:33.256573+0000 mgr.ceph101.qhgzmi (mgr.14164) 96469 : cephadm [INF] refreshing ceph106 facts
2022-04-27T08:16:34.288319+0000 mgr.ceph101.qhgzmi (mgr.14164) 96470 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
8 g  E- `3 @  i, k3 t$ ?  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
" p6 E6 @5 X# j0 q6 u7 D- p3 @/ gorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:16:34.292193+0000 mgr.ceph101.qhgzmi (mgr.14164) 96471 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name='')]), 'service_type': 'rgw', 'service_id': 'realm_1.zone_01', 'unmanaged': Falsene_01', 'subcluster': None, 'rgw_frontend_port': None, 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 's
% s/ ~# I* i. ^/ KTraceback (most recent call last):
9 M. t3 O* V$ M" c( ?( V  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
" d2 ]6 r$ v2 [: e9 i  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
& a; j1 Z' Q7 y3 z) c    self.create_realm_zonegroup_zone(spec, rgw_id)
1 \8 w8 O; L" M/ k2 B, K) ^7 v  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok



: C8 m) k8 f& ]9 m/ |) E' a: o, G进入到docker中
" F; f  |' e; _) m) p* M' [, s) wbash 体验AI代码助手 代码解读复制代码docker exec -it 736e1816f245 /bin/sh
sh-4.4# cd /usr/share/ceph/mgr/cephadm/services/
, x9 i6 v" k+ ^sh-4.4# ls
2 u/ r9 y( a( `) j4 q__init__.py  cephadmservice.py  container.py  iscsi.py  monitoring.py  nfs.py  osd.py
sh-4.4# vim cephadmservice.py
. q# D( j; Y$ gsh: vim: command not found
. Z% `9 r& u. J+ J& Bsh-4.4# vi cephadmservice.py
##可以看到是因为python代码查看集群的状态为 Health not ok，所以不能向下进行了。
! i# O" s+ h6 S#进一步，将集群调整为健康状态，再次尝试，可以正常
3 H1 p# K# {( W% t+ |3 i
2 z, r- q9 ^" t" s4 b, s访问s3对象服务，windows下安装S3 Browser
8 q0 j3 K, j$ T; {% \5 c
: ~" |" f. a& c创建用户后，不知道为什么用户被自动删除掉了，重新建立了一下用户，再次绑定zone之后，就可以使用s3 Broswer正常访问了。
) c( L/ h+ c5 ?2 |7 C其他常用命令：
  h; r- k, r/ B; p2 B: qbash 体验AI代码助手 代码解读复制代码 radosgw-admin realm delete --rgw-realm=realm_1
radosgw-admin zonegroup delete --rgw-zonegroup=zone_group_1
# k; e, u/ V# R7 z! E* I radosgw-admin zone delete --rgw-zone=zone_1
; Q* U1 {5 ]$ w- m
  F" G( I' [& ]! g; }! }radosgw-admin realm list
0 {" G6 ~$ ^/ F& Rradosgw-admin zonegroup list
radosgw-admin zone list
radosgw-admin zone list --rgw-zonegroup default
radosgw-admin user info --uid rgw_admin --system
/ d# C3 x1 G3 `# s* a
s3cmd mb s3://sec --region=zone_group_1
6 z/ D8 q5 \! M9 L; e4 b  z& }
0 H3 P( l2 t, V- I3 i
: y! ?; j5 B' |6 U' M2 S) U1 V/ t配置dashboard：
" Q* n! M5 ~  ~bash 体验AI代码助手 代码解读复制代码 1752  2022-05-09 11:21:28 radosgw-admin user list
1755  2022-05-09 11:22:06 radosgw-admin user info --uid rgw_admin
% o$ J8 Z. i# L3 S2 i 1757  2022-05-09 11:34:44 vim access.key
1758  2022-05-09 11:35:00 vim secret.key
1759  2022-05-09 11:35:21 ceph dashboard set-rgw-api-access-key -i  access.key
9 S% s3 Y' `# A& k 1760  2022-05-09 11:35:34  ceph dashboard set-rgw-api-secret-key -i  secret.key
1761  2022-05-09 11:36:49 history
" y# A9 p1 W# B" F+ d/ S0 H
在前端可以看到

0 `5 x4 z! S* h6 p- Q! {搭建主-主备份
3 R/ W# S% b2 Q! S# O9 Sbash 体验AI代码助手 代码解读复制代码

4 n: x' B/ j$ Nradosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo
  Y+ L- {7 G. L( v. m  ]
& p: F  i( G4 }8 Kradosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
; I7 ]% V" q; F5 v. @0 u# Z                            --rgw-zone=zone_02 --url=http://ceph101:80 \
* T0 b- b8 |1 V3 K                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
1 {  S" \) {) e) H- O4 W                            --endpoints=http://ceph1:80
/ [3 ?6 `% p* l! \. ^1 V7 l' Qradosgw-admin period update --commit
ceph orch apply rgw  realm_1  zone_02 --placement="1 ceph1"
( Z, _' e; M! P! g
查看应用的配置
/ C4 s  n0 |  lbash 体验AI代码助手 代码解读复制代码[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config dump

4 |3 m" V" j/ q" D$ a
5 l" Z: l) w( j5 Z[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7
[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ll
7 N; b" M. K8 e1 G- v; m$ N总用量 0
6 |) O! d( K: t4 l. Y8 vdrwx------ 4 ceph  ceph   92 4月  27 18:52 crash
8 q, }# k: D4 Y0 {0 m0 X( ~6 cdrwx------ 2 ceph  ceph  133 4月  25 16:07 crash.ceph5
drwx------ 3 ceph  ceph  190 4月  27 17:04 mon.ceph5
drwx------ 2 65534 65534 104 4月  25 16:07 node-exporter.ceph5
drwx------ 2 ceph  ceph  241 4月  28 19:42 osd.4
drwx------ 4 root  root   88 4月  28 10:59 removed
drwx------ 2 ceph  ceph  133 4月  28 19:57 rgw.realm_1.zone_03.ceph5.tapydb
, n! B  Q/ H5 k6 U3 ?3 s% p' v" U

[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config show rgw.realm_1.zone_03.ceph5.tapydb
NAME                   VALUE                                                                                                                                                                                                                                                      SOURCE    OVERRIDES  IGNORES
( k) v3 F+ W7 Y; v' n+ U+ Padmin_socket           $run_dir/$cluster-$name.$pid.$cctid.asok                                                                                                                                                                                                                   default
2 J% x7 b5 f/ E8 r: Z5 U( tcontainer_image        quay.io/ceph/ceph:v15                                                                                                                                                                                                                                      mon
daemonize              false                                                                                                                                                                                                                                                      override
debug_rgw              1/5                                                                                                                                                                                                                                                        default
0 r2 \2 C3 U- x7 Bkeyring                $rgw_data/keyring                                                                                                                                                                                                                                          default
log_stderr_prefix      debug                                                                                                                                                                                                                                                      default
log_to_file            false                                                                                                                                                                                                                                                      default
log_to_stderr          true                                                                                                                                                                                                                                                       default
mon_host               [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]  file
no_config_file         false                                                                                                                                                                                                                                                      override
( g8 N+ V7 U; Xobjecter_inflight_ops  24576                                                                                                                                                                                                                                                      default
6 h' J- t# O, n* m7 e9 Orbd_default_features   61                                                                                                                                                                                                                                                         default
rgw_frontends          beast port=80                                                                                                                                                                                                                                              mon
rgw_realm              realm_1                                                                                                                                                                                                                                                    mon
8 |# }* B: ~9 t# c, Q7 w+ `rgw_zone               zone_03                                                                                                                                                                                                                                                    mon
setgroup               ceph                                                                                                                                                                                                                                                       cmdline
setuser                ceph                                                                                                                                                                                                                                                       cmdline
( Z( P; j* ?" i6 `
0 j* ^5 j8 p4 E5 I对于想修改rgw启动端口的，可以修改配置文件
: s+ V4 R9 d; d# z' d  d$ C, f- Tbash 体验AI代码助手 代码解读复制代码##在一个域realm和一个zonegroup下面，可以创建多个zone，每个zone上面可以创建一个rgw，所以再次创建一个rgw网关
8 I8 T* k/ p: z! c- cradosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo

6 a- G. l* }* Dradosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
3 _4 ]5 }' j5 z5 i7 [5 y2 o- ^                            --rgw-zone=zone_03 --url=http://ceph101:80 \
                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
: E% x4 o, R* h% }% I                            --endpoints=http://ceph5:8088
radosgw-admin period update --commit
ceph orch apply rgw  realm_1  zone_03 --placement="1 ceph1"

6 W- v, F2 q. A0 z
/ B# }  b  u, N0 R8 ~/ H6 V$ i; N+ K7 v( N[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/rgw.realm_1.zone_03.ceph5.crocaj
' a- X4 O" ~8 k- s/ O( E[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# vim

) }) C' m/ n6 ~5 }`# minimal ceph.conf for f88b0b1a-c467-11ec-a2b8-525400299ff7
1 @; @# D8 q( Q, A; @[global]
) E$ m3 J8 W6 ~        fsid = f88b0b1a-c467-11ec-a2b8-525400299ff7
0 `" L$ }& X8 H: C        mon_host = [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]
  u7 {+ q; T  k: A[client]
, \5 n' b5 ~: Y2 x$ ]' wrgw_frontends = "beast port=8088"
" S& |4 o, u2 n! X6 ^. o7 c( s- y  m`
#然后重启rgw服务
#还可以通过执行ceph config set client.rgw.realm_1.zone_03 rgw_frontends  "beast port=18888"
#去掉config中的配置项，重启服务，也可以生效
; V& l( k4 E" y, c) `#至于精确的配置如：
`
[client.rgw.realm_1.zone_03]
rgw_frontends = "beast port=8888"
8 h7 O& V8 I" w* ?6 _`
6 E6 z( ]# Y" y- j#试了很多次，都不好用，官网说的不明白
, ^5 t% |: h# l. R0 Q  l
9 P( B( V$ A7 k' k! [; e, Z+ w参见：

$ \: e, G3 R; b# x指定rgw的数据池

移除osd
bash 体验AI代码助手 代码解读复制代码如果是用命令行，操作如下：
. B, f( o8 {1 D, v& O将节点状态标记为out （节点已经不再提供服务）
9 c) D9 ^( I8 s  e/ v[root@ceph1 ~]# ceph osd out osd.5
从crush中移除节点（不删除会影响到当前主机的host crush weight）
; g! Z* y1 J! c+ I4 N[root@ceph1 ~]# ceph osd crush remove osd.5
' s& {; z  s4 D删除节点
3 q4 e( S7 t% m) F[root@ceph1 ~]# ceph osd rm osd.5
0 D  A* b/ k1 m, I删除节点认证（不删除编号会占住）
! |/ [; M0 q, x$ p5 Y( A8 @[root@ceph1 ~]# ceph auth ls
" R8 [; ?' r! [+ o9 ?" b[root@ceph1 ~]# ceph auth del osd.5
[root@ceph1 ~]# ceph orch daemon stop osd.5
Scheduled to stop osd.5 on host 'ceph6'
[root@ceph1 ~]# ceph health detail
: O* [7 `. D) c! ~HEALTH_WARN 1 failed cephadm daemon(s)
" I9 E1 W% q3 ~# }/ h4 H% R[WRN] CEPHADM_FAILED_DAEMON: 1 failed cephadm daemon(s)
* ]9 o) S% X9 k  S) @    daemon osd.5 on ceph6 is in error state
[root@ceph1 ~]# ceph orch daemon rm osd.5 --force
# q3 A- W; I' g# b" mRemoved osd.5 from host 'ceph6'
9 P7 c* B+ R; S; S9 \4 |/ P
3 ~5 ^! ^3 f2 h4 @0 v4 x9 z恢复磁盘：
找到某个未加载的盘，有两种方式：
# L; O0 R  Z' \4 C2 v. lbash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ceph osd metadata
( ]1 a/ g* l: O3 b( a
和
: x) D8 \1 C# Q% v* P. _8 ~bash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# pwd
, q& `. b! V  @1 P3 H8 j/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/removed/osd.5_2022-05-11T02:14:55.313464Z
8 |# e! B- z- F: _+ y7 o[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ll
6 t4 Q2 L. \' m$ B: R总用量 52
; M; S2 y: H" l* s% N# j; R4 B: i! olrwxrwxrwx 1 ceph ceph   93 5月  10 12:47 block -> /dev/ceph-2e1cc736-34d6-4dac-8d7c-f78db028a9eb/osd-block-c831faa6-7cc6-4c04-9709-c33fb29a45f3
-rw------- 1 ceph ceph   37 5月  10 12:47 ceph_fsid
-rw------- 1 ceph ceph  377 4月  28 19:43 config
-rw------- 1 ceph ceph   37 5月  10 12:47 fsid
/ ^6 Z4 O( N% e$ F-rw------- 1 ceph ceph   55 5月  10 12:47 keyring
5 U% X6 C$ W# |0 c-rw------- 1 ceph ceph    6 5月  10 12:47 ready
-rw------- 1 ceph ceph    3 4月  25 17:04 require_osd_release
-rw------- 1 ceph ceph   10 5月  10 12:47 type
-rw------- 1 ceph ceph   38 4月  28 19:43 unit.configured
-rw------- 1 ceph ceph   48 4月  25 17:04 unit.created
4 W) @& j& Y/ d! T8 c5 r1 v-rw------- 1 ceph ceph   22 4月  28 19:43 unit.image
-rw------- 1 ceph ceph  931 4月  28 19:43 unit.poststop
-rw------- 1 ceph ceph 2035 4月  28 19:43 unit.run
-rw------- 1 ceph ceph    2 5月  10 12:47 whoami


7 G* B/ |$ h1 ?, a0 M5 B[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# lsblk
NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
vdb                                                                                                   252:16   0   500G  0 disk
└─ceph--2e1cc736--34d6--4dac--8d7c--f78db028a9eb-osd--block--c831faa6--7cc6--4c04--9709--c33fb29a45f3 253:4    0   500G  0 lvm
; f& b+ W7 E8 u- |$ asr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
; e- K/ A( K# `7 O2 r└─ceph--beabac1e--6d55--481b--99e4--db03786e8f78-osd--block--7f9316bd--d011--426f--be86--52b8bfad4c0b 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
/ g, c1 B3 n/ O3 W, M: v│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
" s( n: `* x# K7 z4 P2 b2 q. T3 [│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
9 N' ?6 X5 q' h6 e2 s│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
└─vda1                                                                                                252:1    0     1G  0 part /boot

可用确定是ceph6上面的/dev/vdb块设备
bash 体验AI代码助手 代码解读复制代码#zap该磁盘，使其可重新被使用

[root@ceph1 ~]#  ceph orch device zap ceph6 /dev/vdb --force
4 m5 D$ d: n) w4 q# Q% [/bin/docker: stderr --> Zapping: /dev/vdb
9 {  h( c+ G3 Z/ g4 V5 q* i/bin/docker: stderr Running command: /usr/bin/dd if=/dev/zero of=/dev/vdb bs=1M count=10 conv=fsync
, |$ _! [0 s% u+ [! q2 ~/bin/docker: stderr  stderr: 10+0 records in
/bin/docker: stderr 10+0 records out
+ z/ k+ O7 _: Q* {9 r9 Q/bin/docker: stderr  stderr: 10485760 bytes (10 MB, 10 MiB) copied, 1.1166 s, 9.4 MB/s
9 n; }, z# {- h( a% ~/bin/docker: stderr --> Zapping successful for: <Raw Device: /dev/vdb>
6 d4 z& x% ]' p9 O  _! ^, S[root@ceph1 ~]#  ceph orch daemon add osd ceph106:/dev/vdc
ceph orch daemon rm osd.5 --force
ceph osd out osd.5
ceph osd rm osd.5
ceph osd crush rm osd.5
! Q7 v& a$ V. ?0 {  \0 E6 h
8 a8 I8 ~0 B6 t* F. Kpg故障处理
bash 体验AI代码助手 代码解读复制代码

[root@k8snode001 ~]# ceph health detail
9 P& N* G' l) l9 q" u/ `& PHEALTH_ERR
" C6 T& ^2 `8 W+ m6 P( S! k 1/973013 objects unfound (0.000%);
17 scrub errors; Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair; Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
OBJECT_UNFOUND 1/973013 objects unfound (0.000%)
    pg 2.2b has 1 unfound objects
- t( X, J# z' M9 u# V1 Q7 qOSD_SCRUB_ERRORS 17 scrub errors
# Y. C& Q5 m& Z; O$ n* xPG_DAMAGED Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair
    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound
    pg 2.44 is active+clean+inconsistent, acting [14,8,21]
    pg 2.73 is active+clean+inconsistent, acting [25,14,8]
    pg 2.80 is active+clean+scrubbing+deep+inconsistent+repair, acting [4,8,14]
    pg 2.83 is active+clean+inconsistent, acting [14,13,6]
( C( T8 P! Z2 e0 x3 ?    pg 2.ae is active+clean+inconsistent, acting [14,3,2]
    pg 2.c4 is active+clean+inconsistent, acting [8,21,14]
    pg 2.da is active+clean+inconsistent, acting [23,14,15]
" Z  d% e1 o. o# Q# x6 k* t0 T    pg 2.fa is active+clean+inconsistent, acting [14,23,25]
7 Z* V/ ~$ ~3 r' h( [PG_DEGRADED Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound

# A# h" w4 c8 _- b2.查看pg map
[root@k8snode001 ~]# ceph pg map 2.2b
" T( X  G- z8 Posdmap e10373 pg 2.2b (2.2b) -> up [14,22,4] acting [14,22,4]
从pg map可以看出，pg 2.2b分布到osd [14,22,4]上

5 g0 U& }) [' H6 d$ ]# U4 o4 d3.查看存储池状态
[root@k8snode001 ~]# ceph osd pool stats k8s-1
4 w7 }' \/ G" G; S% m* r1 G0 I3 f2 [pool k8s-1 id 2
" X* _0 V. p. n7 v3 j  1/1955664 objects degraded (0.000%)
5 V0 c# U7 S9 a) E, R- d  1/651888 objects unfound (0.000%)
! D+ s4 }: G/ u% `  client io 271 KiB/s wr, 0 op/s rd, 52 op/s wr
. h( i$ K3 M" J- P' Q1 F
6 J: s- m$ |/ u7 P2 `: P# j[root@k8snode001 ~]# ceph osd pool ls detail|grep k8s-1
pool 2 'k8s-1' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 256 pgp_num 256 last_change 88 flags hashpspool,selfmanaged_snaps stripe_width 0 application rbd
4.尝试恢复pg 2.2b丢失的块
5 m7 |( |% h( Z2 L, K* L) Q( ?[root@k8snode001 ~]# ceph pg repair 2.2b
% i* M* C1 O; @' D  n: _8 Z如果一直修复不成功，可以查看卡住PG的具体信息，主要关注recovery_state，命令如下
[root@k8snode001 ~]# ceph pg 2.2b  query
如果repair修复不了；
两种解决方案，回退旧版或者直接删除
$ v/ V0 }5 T* X$ a+ s回退旧版
[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost revert
直接删除
- d% g+ s6 J) d[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost delete
  y5 ^2 _5 b$ f' Y
/ v1 S* t6 r; m参考：记一次ceph pg unfound处理过程
  {* n7 j# n* D9 O卸载
卸载过程：
' T- @/ ?" N' h& Q$ abash 体验AI代码助手 代码解读复制代码重命名命令alias ceph='cephadm shell -- ceph'
#找到fsid
3 K; q2 N. v  e# u[root@master1 ~]# ceph -s
Inferring fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6
Inferring config /var/lib/ceph/008a0d2e-b163-11ec-ba7a-5254004c51c6/mon.master1/config
- q# D' e5 Q2 A+ Z9 p) v7 ZUsing recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f
2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
% @. V( S- H* F2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 AuthRegistry(0x7f279c05ec00) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
, N7 g; S: Z* u' O9 ~: j2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 AuthRegistry(0x7f27a2b69f90) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
2022-04-01T03:20:37.243+0000 7f27a0907700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [1]
$ h# k2 M, e: l9 e# `; `5 \2022-04-01T03:20:37.243+0000 7f27a2b6b700 -1 monclient: authenticate NOTE: no keyring found; disabled cephx authentication
1 |0 r% a2 W+ k+ ^$ a0 N& L[errno 13] RADOS permission denied (error connecting to the cluster)
; r5 A  H) `+ H9 u- P
! B6 G  F, N9 h5 @- y) q" q#使用fsid删除集群
[root@master1 ~]# cephadm rm-cluster --fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6 --force
* Q" H# z! t7 i+ D" G  o/ w) Z
; c& o5 t$ [& ?7 m( M9 M( i: s9 `
分发ceph.pub
playbook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" --extra-vars "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
或
9 |5 K6 x5 l3 `  obash 体验AI代码助手 代码解读复制代码playbook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" -e "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
3 r6 i1 _( |% p' f: L2 N' {2 u
使用 ansible master0 -m setup 可以看所有的变量
' z/ [0 M1 H) Q1 S, a" r  h) ~参考：ansible.com.cn/docs/playbo…
jinja2参考：
stackoverflow.com/questions/3…
bash 体验AI代码助手 代码解读复制代码 playbook -v  2.mon1.yaml
playbook -v 3.push.pub.key.yaml -e "pub_key=/tmp/ceph/master1/etc/ceph/ceph.pub"
playbook -v 4.add.host.yaml -t "weave-script" -e "mon1=master1"
; ], s& u# R' p4 l' q) k2 H# I
本篇介绍Ceph Monitor的子命令，通过子命令的配合实现对MON的管理和配置。

& @8 S6 O$ R8 @5 i9 b1 z9 I- F添加（add） 在某个地址上新增一个名字为的MON服务。
& n. E/ S0 }7 T! u+ C+ E& x! f1 }示例：
ceph mon add  <IPaddr[:port]>
导出（dump） 显示特定版本的MON map的格式化的信息，该命令可以指定MON map的版本信息，具体示例如下，参数为epoch：
" k6 M( E, e0 d( x6 P/ iceph mon dump {<int[0-]>}
8 h* }. O3 i; M( j' {ceph mon dump 1
: C: L' f0 u2 N- W+ M获取映射（getmap） 获取特定版本的MON map信息，该命令获取的是二进制的信息，可以保持在某个文件中，具体格式如下：
ceph mon getmap {<int[0-]>}
示例：
/ n5 W/ K* B) z+ H+ \3 Jceph mon getmap 2 –o filename
移除（remove） 移除特定名称的MON服务节点。具体格式如下：
' O& N3 Y; z: P2 z% v$ G+ X, @2 T! zceph mon remove
# _/ d# @) a8 G" C% v' r示例：
ceph mon remove osd3
% v$ O7 T: B% l4 |# [0 w获取状态（ stat） 显示MON的摘要状态信息，具体格式如下：
ceph mon stat
+ J5 Q. u3 b0 x, `( ?报告状态（mon_status） 报告MON的状态，相对详细，具体格式如下：
ceph mon_status
) h  s7 e9 R, {5 f8 U% C- MCeph命令之ceph mon（Monitor管理）