centos 7.9安装cephoctopus版本记录

admin

软件版本：


8 O3 m5 \! H( V# ~. b/ z3 c

  \1 z* ~: n+ H  _) }& i1 \& P
( o. y5 D) J  ^! O% [# D. R4 r! d
9 [4 v! n7 A& x; t" Q1 m; v9 z; d+ Y

5 j+ V+ R* Y4 ^: }6 V0 ^0 G: V
+ O% t- e4 I% V# q


0 s4 ~' a! q, e( h
0 m, O! a4 H% U0 I3 |
# O( a+ r& G) E! q! X6 a


# z8 c+ f, H  R  @( P% \软件版本cephoctopus（15.2.16）centos7.9
ceph官网版本：
docs.ceph.com/en/latest/r…
* j8 u0 }7 Y  q+ J5 m- F机器列表：
) @; |, T4 a& F( `$ @% z- M) ~

& G) j; _- r; o+ O7 r
/ u4 S  _3 ^( K, Z. T2 c
4 v8 m5 l; K  {! E$ }8 O3 p
6 w7 D6 n5 L4 V1 Z: m7 F& D1 j


7 g. K# ]- y; Q* t- q, y; A


9 K) _  {# B# Z( M# ]
' z7 j, D( _; N


6 q" o$ z, O) X* g

# F! o+ f! N( I* T& a! S; A4 R) a


. C, Z! ^1 f3 s- k& \) p, D6 `

, s' Q: c/ v! ?2 A

$ a0 V6 N* Y; [5 ?% e2 ^
# ?' E: h" f+ b机器名称ip块设备
master0 12.70.10.161/dev/vdb 和
/dev/vdcmaster1 12.70.10.162/dev/vdb 和
& x0 I( a, b% G" a6 c0 `9 Y /dev/vdcmaster2 12.70.10.163/dev/vdb 和 /dev/vdc
/ T- n" ]% w  D7 x准备工作
" ~! J! t/ E: o2 U4 G" q8 D' i开始使用ansible做些准备工作，实际开始搭建后，不用ansible，因为cephadm本身就是一个集群管理工具。
6 D7 ^: u. [  Y2 r如下ansible剧本均在集群外的任意一台机器上面执行，需要安装下ansible，不明白的可以参照ansible使用方法。
ansible的hosts配置如下（因为之前这些机器用来搭建k8s，所以名称没有改变）：
bash 体验AI代码助手 代码解读复制代码
master0 ansible_host=12.70.10.161 ansible_port=22 ansible_user=root ansible_password=*** host_name=master0
master1 ansible_host=12.70.10.162 ansible_port=22 ansible_user=root ansible_password=*** host_name=master1
( d, N% l  V# r& |4 emaster2 ansible_host=12.70.10.163 ansible_port=22 ansible_user=root ansible_password=*** host_name=master2
' `4 U( V1 r2 n; m( X
[all]
3 L7 a+ W$ r- w- |# W$ omaster0
master1
master2

- t4 y$ A3 |) W9 `! G8 C* E# Z升级系统内核
升级系统内核到5.17
3 M+ |/ S8 j" J% `5 Yansible脚本如下（1.kenel.yaml）：
9 t) X. W: u8 K9 Vyaml 体验AI代码助手 代码解读复制代码- name: update kernel
5 ?: u$ @. M  \! l! R# H' w  hosts: all
  gather_facts: True
  vars:
  tasks:
  - name: create workspace
    file:
8 {! E8 p8 }, F$ u) A      path: /tmp/workspace/
( e% h; t7 I2 M  {( p      state: directory
7 |) j- D/ j, U, [9 w1 f/ R) o    tags: workspace
2 T4 {  A; G2 V! t" H) i, `. a  - name: yum install elrepo
' j% N* k7 V8 f2 `! e% F  m    copy:
" [: \- \: Q3 l      src: templates/rpm.sh.j2
      dest: /tmp/workspace/rpm.sh
      mode: 755
    tags:
      - copy-rmp
  - name: sh rpm.sh
3 q* K/ ^- L, i7 E/ s+ n    shell: sh  /tmp/workspace/rpm.sh
    tags:
8 ~1 \4 N# p$ Z5 q      - sh-rmp
9 f5 ?7 ~, X0 a& ?; K, S/ J( Q  - name: 列出可用的内核相关包
- A( q: Z4 h* R/ v9 ]    yum:
      list: available
      disablerepo: "*"
7 v) V0 F) S7 U, o( V2 t* Y9 A      enablerepo: "elrepo-kernel"
  - name: 安装内核
    yum:
2 I8 e' ]/ z$ g4 s( l& c4 l- ?      name:
      - kernel-ml
# T! b7 H. w) `. a- g5 P: ?1 ~- W      #- kernel-lt.x86_64
      #- kernel-lt-devel.x86_64
" A) Z$ Z% ~; |9 h1 ~      enablerepo: elrepo-kernel
  - name: 查看内核版本默认启动顺序
$ `! n  w, L6 ^8 l7 r: v: n! k4 X/ _7 L    shell: awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
  - name: 修改grub中默认版本启动顺序
    lineinfile:
      path: /etc/default/grub
( {4 W3 X( q2 d9 C" Q$ Y$ r, ^% l" `      regexp: "^GRUB_DEFAULT"
  X# o+ T7 c, b( T, d/ y8 J      line: "GRUB_0=saved"
      backrefs: yes
/ z$ `, M: B" Y9 j6 ~$ L      state: present
" k# n: ]  d+ c! I7 o) \& D    tags:
      - grub
  - name: 重新创建内核配置
    shell: grub2-mkconfig -o /boot/grub2/grub.cfg
( k6 [0 Y$ O- j; v9 b/ l4 W  - name: Reboot the machine
, X# t1 F. U# y    reboot:
      reboot_timeout: 300
, |/ M5 P9 x! n' b6 ]3 j  - name: uname -r
    shell: uname -r
  G8 v3 o0 u' O: A    register: version
) t: k# b7 V4 q6 w  - name: debug
+ f9 Q, T6 k% l8 ]% V6 u    debug:
5 ?+ b! C0 @1 F" j. V6 b( d      msg: "{{ version }}"
6 u) n$ w! e5 p& a0 @
升级rpm脚本在ansible剧本同目录下的templates/rpm.sh.j2
# c9 y6 I( I( a' f内容是：
bash 体验AI代码助手 代码解读复制代码#!/bin/bash
rpm -import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
5 k# m4 y8 ~8 I1 I9 }#rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm
rpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
echo 0
0 G8 o! b8 f' c8 n
执行ansible-playbook -v 1.kenel.yaml完成集群中系统内核升级
安装必要工具和关闭相关配置

脚本2.config.yaml如下：
9 z) ]  k4 U0 X) Yyaml 体验AI代码助手 代码解读复制代码- name: set config
  hosts: all
  gather_facts: True
  vars:
' b3 b8 u5 _0 |7 \  handlers:
- ]! L/ q% M) X) L" ~  - name: update_yum
, m( r$ R9 W/ ^" J' o" _* o7 B, H    shell: |
      sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
" P, D' W1 [6 L# W      yum clean all
      yum makecache -y
! s$ Z% n2 G- T( B* |- ]' Z  P: {$ F  - name: noswap_service #禁用swap
6 p! a+ _/ A3 c# f( ^" b    systemd:
      name: noswap
' t; a: N9 B- b      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
6 B* U& R4 M$ o7 ?      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
0 M- P2 G! a, f) Y) s# T' i+ u      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
  tasks:
4 w2 y- {) z1 b% I& u; S* _* ?  - name: back up repo
& D$ B$ f8 x$ m& r) f7 z2 P    shell: |
5 j3 S% n$ F# @4 @5 P4 d! Z      mv /etc/yum.repos.d/epel.repo /etc/yum.repos.d/epel.repo.backup
      mv /etc/yum.repos.d/epel-testing.repo /etc/yum.repos.d/epel-testing.repo.backup
      mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
5 {9 ^) K; t. }  - name: delete /etc/systemd/system/noswap.service #禁用swap
    file:
0 d' [8 c. V. N; W      path: /etc/systemd/system/noswap.service
      state: absent
% {" Q$ x, }. c- z  - name: download repo #下载yum源
    get_url:
0 W) N8 `  Z/ z0 w% w# u3 d9 }      url: "{{ item.url }}"
( o. }% @9 k$ ]) c      dest: "{{item.dest}}"
      force: yes
    with_items:
      - {url: "https://mirrors.aliyun.com/repo/Centos-7.repo", dest: "/etc/yum.repos.d/CentOS-Base.repo"}
      - {url: "http://mirrors.aliyun.com/repo/epel-7.repo", dest: "/etc/yum.repos.d/epel.repo"}
0 q/ Y/ @6 a6 \, o3 t9 \+ V      - {url: "http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo", dest: "/etc/yum.repos.d/docker-ce.repo"}
* h6 \, ?0 V/ r1 n1 T    notify: update_yum #更新yum（见上面的handlers）
( `7 Y8 F' f" u9 |- x/ k( ]) f( K/ \0 Q  - name: install net-tools #安装必要的工具
    yum:
  M/ c; D* b2 q3 U4 u. C( l      name:
      - net-tools
2 b8 {8 m$ m+ I1 B2 O4 n      - vim
% l+ a2 F9 x# H6 v      - rsync
      - chrony
      state: present
, V  |& M, V' g! Y9 ^: j4 d      update_cache: true
    tags: tools
. T' E) p+ J; \& f# ~6 J" t  - name: chrony_service
    systemd:
      name: chronyd
      state: started #指定服务状态，其值可以为stopped停止、started启动、reloaded、restarted、running
4 H0 g6 R' o/ o      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
    tags: chronyd
  - name: config /etc/hosts #关键 生成hosts文件
    template:
7 |# z& O# k% x' D' R5 \      src: hosts.j2
      dest: /etc/hosts
) Y, H3 l! t% K% m: n  ?- h. }      mode: 0644
# M+ J( k4 r" A; U' S" [; B      backup: false
    tags:
      - hosts
1 i' b/ K2 K6 ?' e2 ]! @  - name: set hostname #设置主机名
    hostname:
- Z5 U, d- w0 @9 ^" X/ N+ d      name={{host_name}}
; H* H" Y. w& }& A! K  - name: set timezone to Asia-Shanghai #设置时区
3 p1 w. B5 z% G7 m$ B5 ^, r    shell: |
      /usr/bin/timedatectl set-timezone Asia/Shanghai
+ L# p0 r# q9 x( e      chronyc -a makestep
    tags:
      - set_timezone
$ [8 o( Y; K. z0 a' `% ]  - name: stop firewalld service #关闭防火墙
    service :
9 A. Q, T, B' @( t* j/ f( I      name: firewalld.service
, w2 a5 ?: m  p' y$ i1 {& S      state: stopped
      enabled: no
& Z9 \& a- \' K( {    register: firewalld_service_result
    failed_when: "firewalld_service_result is failed and 'Could not find the requested service' not in firewalld_service_result.msg"
. c1 @/ J8 F1 l* y    tags: stop-firewall
  - name: Write noswap systemd service config file
0 c) c: _/ S) \: I( o    template:
      src: noswap.service.j2
( [- \+ d. ]. [% Q7 a7 d      dest: /etc/systemd/system/noswap.service
9 e4 ^& M& B! i* b      owner: root
      group: root
      mode: 0644
# i8 I- @: u+ |+ T    notify: noswap_service
& a9 u# T& p6 _, S* U0 a: S  - name: Disabling SELinux state #关闭suse
    selinux:
/ s4 x8 k( }( W! ^) y      state: disabled
  - name: Reboot the machine #重启机器
    reboot:
      reboot_timeout: 300
) I- H+ K% M( L" ]
templates/hosts.j2内容：
9 x- w$ q+ G; \4 j9 Ibash 体验AI代码助手 代码解读复制代码

# I: Z0 d0 M1 x* z8 e127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
1 a, W9 E( @+ {9 A$ i: |. K/ S) O5 B::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
( s- M0 J) |& f4 H2 u/ `
' V5 n0 R+ a' m6 C. F0 o
{% for h in play_hosts %}
{{hostvars[h]['ansible_default_ipv4']['address']}} {{hostvars[h]['inventory_hostname']}}
{% endfor -%}
1 g0 x  K# j9 o4 I" T0 S( ]$ V: U
执行ansible-playbook -v 2.config.yaml完成相关配置工作
安装docker
' B4 n3 N4 t6 G  \$ ~9 x按照官网说法，可以使用docker或者podman，本文选用docker。
9 \5 J6 Z$ [8 {2 K2 ]! W剧本3.docker.yaml内容如下：
yaml 体验AI代码助手 代码解读复制代码- name: install docker
  hosts: all
  gather_facts: True
  vars:
9 y6 ]4 z! u. |9 f    DOCKERHUB_URL: registry.aliyuncs.com/google_containers
6 ]: {" d* n" m; o  handlers:
# t: l& M: n* |$ T2 g  tasks:
$ m# o! _8 s+ J" U" H' Z( ]* T  - name: mkdir -p /etc/docker/
  A+ s6 s5 b3 H+ e! H* d    file:
* ~" ~! B9 j/ M$ P+ K      path: /etc/docker/
9 o' g1 g: j+ e) P/ ^$ m3 m      state: directory
& J' f/ m7 [) d% [  - name: install docker
    yum: name=docker-ce
  - name: change config of docker
    shell: |
! B0 Z& w  c- m+ \; {       cat > /etc/docker/daemon.json <<EOF
       {"exec-opts": ["native.cgroupdriver=systemd"],
        "registry-mirrors": ["https://registry.aliyuncs.com","https://registry.cn-beijing.aliyuncs.com"]
2 Z* w) Y4 o, _! X       }
       EOF
    tags:
      - config
* l% u% D9 w) b  - name: add systemctl
    systemd:
      name: docker.service
      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
/ A! z  i# d4 q8 {5 O  n      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
0 I1 W" l9 ^' d) s      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
    tags:
5 g. Z9 ?" Z! S      - docker-daemon
! h# l% b6 Y+ k; r. D  - name: docker login #在阿里云镜像仓库开了个账号，用于同步墙外面的镜像（https://cr.console.aliyun.com/cn-beijing/instance/credentials）
    shell: docker login --username cyxinda@163.com --password *** registry.cn-beijing.aliyuncs.com
  z/ M3 h2 K# O4 L    tags: login

3 z. c+ D3 ^# A: s5 w执行ansible-playbook -v 3.docker.yaml完成安装docker的工作
. M6 E* i, X" m- ^3 I! b$ O开始创建ceph集群
5 W3 [* r; y6 ^. p安装cephadm
- O1 ]/ D$ h7 C继续使用ansible为集群中每台机器安装ceph
  p# Q5 w6 [2 P: S; k/ F' Y( {剧本cephadm.yaml内容如下：
yaml 体验AI代码助手 代码解读复制代码- name: download ceph
' i* L; @) y) _' U4 \# j: c  i% e  hosts: 127.0.0.1
  connection: local
7 Q* ?  U+ G; T  ~% K) J+ S  gather_facts: yes
  tasks:
  - name: download cephadm
    get_url:
      url: https://github.com/ceph/ceph/raw/octopus/src/cephadm/cephadm
$ z4 C% y# G- M& [- ?      dest: /tmp/ceph/cephadm
$ k1 @* F9 z4 M$ q: Q  j" d      force: yes
      mode: 755
( W3 {! A8 i6 m* B% ?# ^      timeout: 600
- name: download cephadm and install
4 n) p) _! D; w5 w0 n  hosts: all
8 W- b2 u& i2 e( |  ]  gather_facts: True
/ M2 w+ [  c# e1 Y  tasks:
0 J3 B- N$ Q; a/ Z, X  - name: mkdir workdir
    file:
      path: /tmp/ceph
8 S& J; `" e3 p! p* _) e" g! R& W      state: directory
$ x' S0 [: V2 d8 s! ~5 `$ j  - name: 分发cephadm安装文件
) q5 q0 V, r# T# j8 P/ j4 u9 M    copy:
2 f# Y, v+ {0 f- ]      src: "{{ item.src }}"
      dest: "{{ item.dest }}"
& ^0 e$ P. t) A- ?" G      owner: root
# T& C5 p4 Z8 l  H) k0 S: s$ s      group: root
      mode: "{{item.mode}}"
5 C% g+ v3 `! f0 n9 N. j    with_items:
; y2 I. F/ o1 _; l, E; f) v+ D0 e    - {src: "/tmp/ceph/cephadm", dest: "/tmp/ceph/cephadm",mode: "755" }
- p) b% P7 c3 k5 Q) M% `) r    tags: cp-cephadm
  - name: install python3
    yum:
4 S& B7 j& W( V3 Q0 r      name:
& ?3 d5 k0 m' j6 [- n      - python3
6 a: k# _% W+ ~. M$ [( d      - chrony
      state: present
  - name: add systemd
) L: Z0 ~( A% t    systemd:
      name: chronyd
      state: started #指定服务状态，其值可以为stopped、started、reloaded、restarted、running
% r& O8 B0 U% M+ d3 w  ?      enabled: yes #指定服务是否为开机启动，yes为启动，no为不启动
( g7 G! b' `# g4 t" m* v2 i% C7 n! }' k      daemon_reload: yes #yes 重启systemd服务，让unit文件生效
  - name: add ceph release
    shell: /tmp/ceph/cephadm add-repo --release octopus
  - name: install cephadm
    shell: /tmp/ceph/cephadm install
% Y# \9 u0 W$ r# b3 @  - name: which cephadm
# K9 d9 K$ h9 ?2 K    shell: which cephadm
    register: which_cephadm
# `" s" I8 W0 K$ W. f    tags: which-ceph
  - name: show
    debug: var=which_cephadm verbosity=0    #check.stdout 显示出的信息会看的更清晰点
; d7 @& d$ D& [0 _. u9 _" x; t8 p    tags: show-result
7 F8 G* S/ O! i* T& \0 `+ Q0 r& R
* D/ n1 P; @+ r; n+ k; C" m8 s执行ansible-playbook -v cephadm.yaml完成ceph的安装

; m2 g) p! }. c' Q0 z; u7 R引导集群
将master0作为引导主机，在其上面执行如下引导命令：
bash 体验AI代码助手 代码解读复制代码

[root@master0 ~]# mkdir -p /etc/ceph
[root@master0 ~]# cephadm bootstrap --mon-ip 12.70.10.161
Verifying podman|docker is present...
Verifying lvm2 is present...
Verifying time synchronization is in place...
Unit chronyd.service is enabled and running
Repeating the final host check...
podman|docker (/usr/bin/docker) is present
systemctl is present
lvcreate is present
Unit chronyd.service is enabled and running
! X. l9 s' W9 M" A' I' _) qHost looks OK
  S9 |- a, u: E( UCluster fsid: e3386564-bb02-11ec-af56-525400299ff7
Verifying IP 172.70.10.161 port 3300 ...
Verifying IP 172.70.10.161 port 6789 ...
, |) E% f8 r* `3 P/ M9 yMon IP 172.70.10.161 is in CIDR network 172.70.10.0/24
& e2 y  X9 }. ]3 c% XPulling container image quay.io/ceph/ceph:v15...
Extracting ceph user uid/gid from container image...
- a) F( Z4 z  ?# `* N; wCreating initial keys...
6 h0 B4 z! o/ [  HCreating initial monmap...
* ~' ^' ^; g+ U* l& X$ |8 b: uCreating mon...
Waiting for mon to start...
Waiting for mon...
% Y" }3 m! j- E: O- @+ Lmon is available
+ q2 K+ ]& d# Y. QAssimilating anything we can from ceph.conf...
# A7 m4 r4 t7 F& R& M  \Generating new minimal ceph.conf...
, j& ~; s8 v1 F- ]1 e& p6 gRestarting the monitor...
Setting mon public_network...
8 F7 T" D' S( a* p; {. `8 i* @6 _Creating mgr...
3 T7 \- ~- I( e$ x6 b" J; nVerifying port 9283 ...
Wrote keyring to /etc/ceph/ceph.client.admin.keyring
& l% h9 ?" G, y6 q0 @Wrote config to /etc/ceph/ceph.conf
Waiting for mgr to start...
Waiting for mgr...
( l  X2 E( {5 `: Y9 u9 ?* p* Zmgr not available, waiting (1/10)...
mgr not available, waiting (2/10)...
, F: s& S. L, cmgr not available, waiting (3/10)...
* Q3 r, t: r$ ?* v- [- l& K$ o+ g# omgr is available
7 U5 ?: t; N8 }: o/ B( g6 J5 ZEnabling cephadm module...
. a) a4 m3 {7 U% x+ ?- J* zWaiting for the mgr to restart...
Waiting for Mgr epoch 5...
- U! Q. g( q+ Q1 I9 ?Mgr epoch 5 is available
- X4 [* t) U: E7 F: L# P2 @+ X1 WSetting orchestrator backend to cephadm...
0 q! n) u- x5 }' wGenerating ssh key...
" M5 c# u: ~! y0 l( `Wrote public SSH key to to /etc/ceph/ceph.pub
Adding key to root@localhost's authorized_keys...
+ _* ^5 v; c! ?Adding host master0...
2 j! v/ E4 u9 n/ X8 JDeploying mon service with default placement...
9 r% D7 x; Q! V( zDeploying mgr service with default placement...
: U/ v8 }( R8 J; i- VDeploying crash service with default placement...
9 @) S" k2 e! g' u9 pEnabling mgr prometheus module...
2 C  F, F" B2 N0 c+ YDeploying prometheus service with default placement...
, t6 ^( C- q5 X9 O  D! hDeploying grafana service with default placement...
* |3 ~' s% t: A) b  h' o& W/ xDeploying node-exporter service with default placement...
Deploying alertmanager service with default placement...
Enabling the dashboard module...
Waiting for the mgr to restart...
, H6 l$ v- H* s3 ~( @) PWaiting for Mgr epoch 13...
/ s3 d+ W2 i  a# h9 A% ZMgr epoch 13 is available
% F) S) E2 n, Y/ ^7 X0 |! a2 LGenerating a dashboard self-signed certificate...
) B( B: m& h. a) Q$ D( W" k4 b$ OCreating initial admin user...
Fetching dashboard port number...
Ceph Dashboard is now available at:

; t7 ?* f: f' U' ]! c5 @             URL: https://master0:8443/
( _2 R& }2 B( L% p+ u! c7 n            User: admin
( i+ u  y% |2 t& j- Z2 r        Password: vym1bdeajd
7 K- W4 l5 A7 }, j3 f
2 F, z& X9 b% N3 Q& `( R) t/ cYou can access the Ceph CLI with:

        sudo /usr/sbin/cephadm shell --fsid e338664-bb02-11ec-af6-525400299ff7 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring

) J$ ?, Q! f% R9 l- APlease consider enabling telemetry to help improve Ceph:
7 w  ^# H; q8 a9 R
        ceph telemetry on
9 D- N, H( c0 W0 i) h
* J. ?0 i: Q( K9 L4 w7 n& RFor more information see:

" S' [, D8 n+ p2 u  d' ~        https://docs.ceph.com/docs/master/mgr/telemetry/
; X0 d& s1 d4 ?, |3 C$ P6 S* i
Bootstrap complete.


) z/ }. `, h; L# N4 I9 h1 p在命令执行过程中，有如下提示：
bash 体验AI代码助手 代码解读复制代码Ceph Dashboard is now available at :
8 b5 u8 e* d0 X( i2 \6 j! X" y             URL: https://master0:8443/
3 x9 O6 t5 r& Q8 V+ k: A            User: admin
        Password: vymdeajd

  m* Q( {1 o# d按照提示，在浏览器上面可以访问:

进入到管理页面后，如下：
/ E% S$ k& {) Z4 F# X; X+ C, n
2 y9 k& ], ?9 ~3 A% ^$ a2 n1 z参照安装文档，该命令将：
在本地主机上为新集群创建一个监视器和管理器守护程序。
0 v$ S* {: _0 O1 q! \3 b5 B- F
为 Ceph 集群生成一个新的 SSH 密钥并将其添加到 root 用户的/root/.ssh/authorized_keys文件中。
将与新集群通信所需的最小配置文件写入/etc/ceph/ceph.conf.

client.admin将管理（特权！）密钥的副本写入/etc/ceph/ceph.client.admin.keyring.
# B/ }8 @. }8 y+ z& l将公钥的副本写入 /etc/ceph/ceph.pub.
1 m# x' y; Y. ?/ {启用 CEPH CLI（必须）
4 S6 w  Y' B; a8 q: J: y继续在引导机器上面执行如下命令，即可开启ceph shell client
& f$ D( C  n; A" T1 V% |注意：后面的ceph命令，均需在ceph shell环境下执行
bash 体验AI代码助手 代码解读复制代码
9 Q- V8 b3 M# ^: {- H3 x
[root@master0 ~]# cephadm shell
Inferring fsid e3386564-bb02-11ec-af56-525400299ff7
5 L9 D# ?, X: x+ @! BInferring config /var/lib/ceph/e3386564-bb02-11ec-af56-525400299ff7/mon.master0/config
* h; u+ J: `- W5 S9 j; W3 VUsing recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f
; f: a9 |: {, J6 e: h+ F9 n
[ceph: root@master0 /]# ceph -v
* a+ x) t" o" Kceph version 15.2.16 (d46a73d6d0a67a79558054a3a5a72cb561724974) octopus (stable)


[ceph: root@master0 /]# ceph -s
  cluster:
$ C% z+ w) ]5 a0 ]' W5 f    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_WARN
6 V4 P/ E% r" o7 \# v& X( M            OSD count 0 < osd_pool_default_size 3

& I2 N. |: ?1 a5 |$ M7 Z( L  services:
    mon: 1 daemons, quorum master0 (age 48m)
    mgr: master0.ojikws(active, since 47m)
3 x' ^$ p4 v1 I1 u) }) x9 O; ]    osd: 0 osds: 0 up, 0 in

( N2 f1 L3 ^' ], I8 m% p3 Y, R8 |  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0 B
# t- X8 u( P+ h2 H3 Q* Y* G5 B; l    usage:   0 B used, 0 B / 0 B avail
    pgs:

将主机添加到集群

& F5 P, O- y) b# d3 L' k在新主机的 root 用户 authorized_keys文件中安装集群的公共 SSH 密钥

bash 体验AI代码助手 代码解读复制代码
2 s, k* a5 M( _" C% [( z2 b
) i0 Q0 t: m* F[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master1
! t3 E& R+ o; b- I& B1 M/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
; p# y+ s# A/ HThe authenticity of host 'master1 (12.70.10.162)' can't be established.
ECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
ECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
9 K* Q! ~3 X$ L, _) W7 k( xAre you sure you want to continue connecting (yes/no)? yes
9 K& `& v6 ]7 N2 H3 e; S. xroot@master1's password:

3 [7 O# Q7 z9 W$ F( f5 \" h9 g2 rNumber of key(s) added: 1

Now try logging into the machine, with:   "ssh 'root@master1'"
and check to make sure that only the key(s) you wanted were added.

[root@master0 ~]# ssh-copy-id -f -i /etc/ceph/ceph.pub root@master2
/usr/bin/ssh-copy-id: INFO: Source of key(s) to be installed: "/etc/ceph/ceph.pub"
+ l1 Y  P& k6 X6 `The authenticity of host 'master2 (12.70.10.163)' can't be established.
ECDSA key fingerprint is SHA256:J40vT3JXLYRku40nj9oOq1XQMbnkTXZ2Qc5IDFAy4xc.
! i( M. ?  Z4 u8 r& u% m1 Z' YECDSA key fingerprint is MD5:8d:ef:46:df:ce:06:7d:86:05:e9:04:ad:68:12:40:8c.
Are you sure you want to continue connecting (yes/no)? yes
  ]* O4 U# u' x9 droot@master2's password:
6 k7 F8 d1 Q% f# T
Number of key(s) added: 1
* A7 z5 ^% _* b; ~: C
Now try logging into the machine, with:   "ssh 'root@master2'"
and check to make sure that only the key(s) you wanted were added.
$ R8 g  S2 K- T
% X7 ]& \. S8 ^# Y; A这部分本来也可以用ansible做的，但是懒得写脚本了，就两台机器，也就罢了
添加机器到集群：
9 l% w" u/ |) H: V) g. F9 Wbash 体验AI代码助手 代码解读复制代码

) Q+ v8 P4 A& p. `+ k[ceph: root@ceph1 /]# ceph orch host add ceph2 12.70.10.162
Added host 'ceph2'
[ceph: root@ceph1 /]# ceph orch host add ceph3 12.70.10.163
Added host 'ceph3'
8 N/ D' q. }% a) d, F[ceph: root@ceph1 /]# ceph orch host add ceph4 12.70.10.164
Added host 'ceph4'
; X; P7 {1 R9 ?0 z& P, U4 X( D[ceph: root@ceph1 /]# ceph orch host add ceph5 12.70.10.165
6 B5 \1 D) o2 r, `& |Added host 'ceph5'
% d; K  H7 e7 k[ceph: root@ceph1 /]# ceph orch host add ceph6 12.70.10.166
Added host 'ceph6'
- R; o/ G& c, q, v$ w
$ e- D8 X+ e9 n' o" o% H1 i
添加多个监控器
配置监视器子网：
bash 体验AI代码助手 代码解读复制代码
+ `7 |; V# U" I1 P[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24
' P0 p+ v8 L% y; e) ?$ K[ceph: root@master0 /]# ceph config set mon public_network 12.70.10.0/24
: N+ n. M/ H. Q$ s
& y# t; T+ e5 x6 [' t5 x) E! v##要启动三台监视器，需要调整监视器数量：
) E) z, T* `/ [1 {8 e) n[ceph: root@master0 /]# ceph orch apply mon 3
Scheduled mon update...
# P7 ^9 ]. s0 |% ]8 ^5 K. i3 E" ^
按照官网的说法：Cephadm 仅在已配置子网中配置了 IP 的主机上部署新的监控守护程序
8 L7 \! ]6 X7 u( E% ?3 K2 h; Q在一组特定的主机上部署监视器，请务必在此列表中包含第一个（引导）主机。
' Z$ q0 `4 k8 _. xbash 体验AI代码助手 代码解读复制代码
5 t- @8 ?- k3 F+ v6 m, }0 `, j3 i2 \
9 @4 s7 d: M  O2 N. G$ N[ceph: root@master0 /]# ceph orch apply mon master0,master1,master2
# z* y% O7 D# c; u' a% p/ xScheduled mon update...
##加标签
9 H9 w* C+ C) @; [- ?6 A[ceph: root@master0 /]# ceph orch host label add master0 mon
; ]" k0 y" e  OAdded label mon to host master0
[ceph: root@master0 /]# ceph orch host label add master1 mon
0 j+ j6 D, m+ M7 |4 RAdded label mon to host master1
[ceph: root@master0 /]# ceph orch host label add master2 mon
8 w9 w# Z, g, P3 _  _Added label mon to host master2
  b5 {% ^/ V8 k& u; G3 P
- n' J' p* b' E, Q/ r8 h[ceph: root@master0 /]# ceph orch host ls
4 H& ]( Y9 s; b2 m/ Y; AHOST     ADDR     LABELS  STATUS
* o4 O8 ?  T; n' B3 F+ {4 Q7 nmaster0  master0  mon
- ^& S7 \( j' m! `" w4 d4 pmaster1  master1  mon
1 O+ f  }* M0 U! Y& U+ `master2  master2  mon
( s' j0 u9 Y9 t1 z  c8 N' J
[ceph: root@master0 /]# ceph -s
  cluster:
* n! U' }# R; V1 `- t; u, ~    id:     e3386564-bb02-11ec-af56-525400299ff7
" `* @. }7 L1 W2 g    health: HEALTH_WARN
            OSD count 0 < osd_pool_default_size 3
+ I" {! h* K! y2 h% o) u
1 p1 c7 r, M' e$ \1 q  services:
' u5 P" m1 Y( }* w    mon: 3 daemons, quorum master0,master1,master2 (age 88s)
    mgr: master0.ojikws(active, since 73m), standbys: master1.uxevld
    osd: 0 osds: 0 up, 0 in
# f4 |" O9 }5 S9 p! O/ M& M  l
- j% w9 K( J$ a# N$ C  data:
* m( w: X1 h: b/ D    pools:   0 pools, 0 pgs
, ?3 I4 W' I% D    objects: 0 objects, 0 B
    usage:   0 B used, 0 B / 0 B avail
    pgs:

加入ODS
可以看到集群三台机器上面，一共挂载了6块磁盘：
' \: x, L. }" b6 r5 U/ Vbash 体验AI代码助手 代码解读复制代码
9 X+ V  D0 h0 t/ f
$ Q- H! N, Z5 T0 N6 _0 |0 i[ceph: root@master0 /]# ceph orch device ls
1 T' g5 Y( L9 E7 QHostname  Path      Type  Serial  Size   Health   Ident  Fault  Available
master0   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
, q" h) q7 R7 R5 T1 amaster0   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
$ J1 X  s# t) w  V: R! Qmaster1   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
/ u% k( w* E/ H( f( Gmaster1   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes
( c$ b- z4 G% K  J7 smaster2   /dev/vdb  hdd            536G  Unknown  N/A    N/A    Yes
master2   /dev/vdc  hdd            536G  Unknown  N/A    N/A    Yes

5 l6 R9 _. u9 t  _  [当然在每台机器上面可以列出块设备（/dev/vdb 和 /dev/vdc）：
bash 体验AI代码助手 代码解读复制代码

[ceph: root@master0 /]# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sr0              11:0    1  1024M  0 rom
vda             252:0    0   500G  0 disk
% i3 Q9 I8 i9 @, @4 c$ ~$ {6 e|-vda1          252:1    0     1G  0 part /rootfs/boot
- Q# R$ `) c% N! V7 w" \! u`-vda2          252:2    0   499G  0 part
  |-centos-root 253:0    0    50G  0 lvm  /rootfs
7 Q' \; I: Z( |% H  F* i- q& t. W  |-centos-swap 253:1    0   7.9G  0 lvm
" x' {) q( {/ y) f  `-centos-home 253:2    0 441.1G  0 lvm  /rootfs/home
vdb             252:16   0   500G  0 disk
8 d8 z7 Q! Z5 _9 I! K7 uvdc             252:32   0   500G  0 disk

; a, H+ ]( H9 N& p! A; h按照官网说法：设备满足
如果满足以下所有条件，则认为存储设备可用：
: h5 K4 n6 A" \2 M
设备不能有分区。
4 b  X5 ?! J; T; G设备不得具有任何 LVM 状态。
不得安装该设备。
+ Q. n, Q8 s4 t, f设备不得包含文件系统。
* R4 D# I) f- C设备不得包含 Ceph BlueStore OSD。
* x: Y" n  ^: V; }! i设备必须大于 5 GB。
- Z5 P+ i. m6 R; i( U! W
/ `; r  O/ M$ x$ `( f- J( tCeph将 拒绝在不可用的设备上配置 OSD
可以使用如下命令，将所有可用的磁盘添加到ceph集群中：
( H: N  v) |1 k" Ebash 体验AI代码助手 代码解读复制代码
+ V) P% m9 D0 Z" `7 F- C' x; U3 {
[ceph: root@master0 /]# ceph orch apply osd --all-available-devices
Scheduled osd.all-available-devices update...
8 X5 S5 f, K# P* Q: n9 O( Y- B9 P[ceph: root@master0 /]# ceph -s
  cluster:
8 j  q, s5 P4 s% A3 A9 x7 o( C    id:     e3386564-bb02-11ec-af56-525400299ff7
    health: HEALTH_OK
, l: J6 v. Q( f5 D/ E1 T
  services:
    mon: 3 daemons, quorum master0,master1,master2 (age 12m)
    mgr: master0.ojikws(active, since 84m), standbys: master1.uxevld
- L( `% [- {' W& h    osd: 6 osds: 6 up (since 22s), 6 in (since 22s)

; L& @6 g, G" o% f* @8 }  data:
    pools:   1 pools, 1 pgs
    objects: 0 objects, 0 B
    usage:   6.0 GiB used, 2.9 TiB / 2.9 TiB avail
* s5 P8 j( e+ K! R) `0 ?1 s% g8 k/ Y. c    pgs:     1 active+clean

也可以单独加入：
bash 体验AI代码助手 代码解读复制代码

[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdb
! S' F3 |9 q6 v6 ^1 u5 S[ceph: root@master0 /]# ceph orch daemon add osd master0:/dev/vdc
! ~% Q. t$ d, F( c- t[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdb
. m; e) b# h! f% i/ e# V[ceph: root@master0 /]# ceph orch daemon add osd master1:/dev/vdc
; r7 f1 d5 j% E[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdb
  y% B  n+ @2 w/ `[ceph: root@master0 /]# ceph orch daemon add osd master2:/dev/vdc
# I# h, L0 r4 [. {6 Y4 x/ }
) E% m9 Y1 x$ c, R5 }在前端看到：
0 F. K: z- Q* F1 R8 f3 u
+ \" n, p5 C7 H2 a
0 Y* E8 G- d2 z0 ^- H2 r/ X- w挂载块设备
bash 体验AI代码助手 代码解读复制代码

[root@ceph101 tmp]# ceph osd pool create test_rbd 32
* j0 c8 v0 @) g  ]. Zpool 'test_rbd' created
+ K' R/ V1 q2 K, m1 w8 c4 c( L[root@ceph101 tmp]# ceph df
--- RAW STORAGE ---
CLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22
TOTAL  5.9 TiB  5.8 TiB  1.1 GiB    13 GiB       0.22

1 {) J) I# w. m2 i6 ?0 |--- POOLS ---
POOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
0 y2 p8 V5 _1 G: {; kdevice_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
  R* N6 h' u6 U5 J' O9 W% A% q.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
zone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
" s2 h% ^5 w: I( F/ Ozone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
zone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
zone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
zone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
zone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
0 _1 B. I7 Y. y. c1 ~cp_pool                    42   32  1.4 MiB        2  4.4 MiB      0    1.9 TiB
1 |1 n9 F* c& P' F6 o$ l% R7 [test_rbd                   43   32      0 B        0      0 B      0    1.9 TiB
##创建镜像
  ^6 h2 Q* v- z. s- X' B6 N
[root@ceph101 tmp]# rbd create test_rbd_image_1 --size 10240 -p test_rbd

* e/ X4 R2 U# [6 J' y7 a! o7 y/ E( s[root@ceph101 tmp]# rbd -p test_rbd ls
test_rbd_image_1
- e9 q  o$ y' \
##检看一个RBD镜像的详细信息
+ @( W" h; X/ p% h! D[root@ceph101 tmp]# rbd --image test_rbd_image_1 info -p test_rbd
rbd image 'test_rbd_image_1':
        size 10 GiB in 2560 objects
        order 22 (4 MiB objects)
        snapshot_count: 0
: o& t3 X) S& r8 L5 K) t        id: 2836b2f53ea86
        block_name_prefix: rbd_data.2836b2f53ea86
8 `" q; z- R# B. \5 e  n6 \6 v        format: 2
1 q0 E. x' p6 Y& ^2 t& S        features: layering, exclusive-lock, object-map, fast-diff, deep-flatten, journaling
        op_features:
5 |& k6 W6 `' d7 h1 b        flags:
        create_timestamp: Tue May 10 10:38:16 2022
        access_timestamp: Tue May 10 10:38:16 2022
        modify_timestamp: Tue May 10 10:38:16 2022
: {9 ^9 ?( k6 }1 `        journal: 2836b2f53ea86
        mirroring state: disabled


$ C: T4 t( |; {& T[root@ceph101 tmp]# rbd pool stats -p test_rbd
Total Images: 1
3 n  a: S7 t4 L* ^, O: mTotal Snapshots: 0
; h. K  y& }# e/ ]+ C1 h; s* GProvisioned Size: 10 GiB
[root@ceph101 tmp]# rbd showmapped
+ T6 F+ V& p: u9 Q" T/ kid  pool     namespace  image   snap  device
0   cp_pool             image2  -     /dev/rbd0

; {: J2 X( X, `: T- r( g& I% d! G[root@ceph101 test_rbd]# umount -f /dev/rbd0
#或者

- ^) K6 I" {" B& {- Q[root@ceph101 test_rbd]# rbd unmap -f /dev/rbd0
2 F9 l! g! E( G' R/ d6 k##然后将pool关联应用

/ ~7 w  _9 Q7 c4 q3 ^" @[root@ceph101 ~]# ceph osd pool application enable  test_rbd rbd
' W" r2 ~# z. Zenabled application 'rbd' on pool 'test_rbd'
[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
+ W/ z# k" J5 T# }( ^. [' [  a: rrbd: sysfs write failed
RBD image feature set mismatch. You can disable features unsupported by the kernel with "rbd feature disable test_rbd/test_rbd_image_1 journaling".
; |+ b7 t% b0 }" rIn some cases useful info is found in syslog - try "dmesg | tail".
rbd: map failed: (6) No such device or address
1 V9 n, J- C7 c1 t6 f0 M
[root@ceph101 ~]# uname -r
. D* H2 {4 b# \" d& @5.17.6-1.el7.elrepo.x86_64
[root@ceph101 ~]# dmesg | tail
) y4 r* H$ G, f; i2 V  F. S/ y[    9.843030] random: crng init done
[    9.843034] random: 7 urandom warning(s) missed due to ratelimiting
[   10.669178] Bridge firewalling registered
  |8 r! T. i3 @0 M[   22.239147] process '/bin/ip' started with executable stack
[ 8185.140070] Key type ceph registered
$ S! o+ r, b2 l/ K' E) K, e[ 8185.140395] libceph: loaded (mon/osd proto 15/24)
[ 8185.141923] rbd: loaded (major 251)
" R3 m- I5 x9 c8 c" |[ 8185.158536] libceph: mon3 (1)12.70.10.184:6789 session established
[ 8185.160696] libceph: client175843 fsid 7a367006-c449-11ec-9566-525400ce981f
[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40        
##根据提示`[ 8185.288221] rbd: image test_rbd_image_1: image uses unsupported features: 0x40`，可以确定内核不支持的features是十六进制0x40,转成十进制是4*16+0*1=64，即2的6次方=64，journaling
' d! y" s. J' @2 D6 _#layering: 支持分层**（0次方）**
#striping: 支持条带化 v2 **（1次方）**
#exclusive-lock: 支持独占锁 **（2次方）**
#object-map: 支持对象映射（依赖 exclusive-lock ）**（3次方）**
#fast-diff: 快速计算差异（依赖 object-map ）**（4次方）**
! {# S& d' W, R& x3 g9 t#deep-flatten: 支持快照扁平化操作**（5次方）**
0 g' A1 p+ j$ _) E2 l! J#journaling: 支持记录 IO 操作（依赖独占锁）**（6次方）**
% ?; N' j9 c& r/ Y: }7 C[root@ceph101 ~]# rbd feature disable test_rbd/test_rbd_image_1 journaling
6 a& H/ g" S. D0 g9 ]0 Q[root@ceph101 ~]#  rbd map test_rbd/test_rbd_image_1
& j1 S1 P! ~: o" o  U- S/dev/rbd0
#lsblk 查看磁盘

  o, v$ j1 v$ M, ~2 e[root@ceph101 test_rbd]# rbd showmapped
id  pool      namespace  image             snap  device
9 \1 h4 D* i: U  a2 L9 y2 c0   test_rbd             test_rbd_image_1  -     /dev/rbd0
[root@ceph101 ~]# lsblk
. |! X3 {4 L: f- ]' J8 \NAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
- U) k1 c  |1 A1 Brbd0                                                                                                  251:0    0    10G  0 disk
vdb                                                                                                   252:16   0   500G  0 disk
/ V5 x# N2 n4 w$ @0 ]- V% \* A  B└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
! [; ], W3 G5 k' W" l) t; jsr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
1 E5 ~1 K+ m8 o5 D: h( \+ W- ]└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
7 n% A0 X9 W1 `. m├─vda2                                                                                                252:2    0   499G  0 part
9 i8 ]) [) S- m8 B│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
2 j/ e+ D! o, Y. J└─vda1                                                                                                252:1    0     1G  0 part /boot
5 U$ w5 a8 p& m! o2 D* a

# 格式化磁盘
" g9 ^, p- d( k7 p( o- Y
[root@ceph101 ~]# mkfs.ext4  /dev/rbd0
mke2fs 1.42.9 (28-Dec-2013)
$ ]  u6 D5 V1 SDiscarding device blocks: 完成
文件系统标签=
/ v& i/ i7 R7 w9 dOS type: Linux
' G6 k' n# R  m块大小=4096 (log=2)
* d7 E1 b, m8 [+ z- M* U分块大小=4096 (log=2)
2 l" O% Q" u5 AStride=16 blocks, Stripe width=16 blocks
655360 inodes, 2621440 blocks
131072 blocks (5.00%) reserved for the super user
. C) o& `$ ~% j第一个数据块=0
Maximum filesystem blocks=2151677952
+ _4 I; {* X8 [" u3 U80 block groups
32768 blocks per group, 32768 fragments per group
2 ]9 ~1 ~9 Y* ^: g' D2 j8192 inodes per group
& W0 y+ H% i2 hSuperblock backups stored on blocks:
        32768, 98304, 163840, 229376, 294912, 819200, 884736, 1605632
4 Q0 }- i5 h( r! G1 ]
: z/ G$ B3 T7 A4 [, t3 ^4 HAllocating group tables: 完成
$ M* ^# k) E. d5 u# o8 h( Z正在写入inode表: 完成
6 k2 u, t7 S/ f; dCreating journal (32768 blocks): 完成
Writing superblocks and filesystem accounting information:
完成
9 |5 A$ c! ]( L
3 D1 u+ N4 K; C3 g3 }: {- L##创建挂载目录
[root@ceph101 ~]# mkdir test_rbd/
$ y' @# e+ H0 ?* H#挂载
  e$ {/ }7 d# l4 ?9 Y' C[root@ceph101 ~]#  mount /dev/rbd0 /root/test_rbd
/ N' G7 \, K% g% J/ l[root@ceph101 ~]# lsblk
& u3 Q9 z0 F, M5 D0 KNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
rbd0                                                                                                  251:0    0    10G  0 disk /root/test_rbd
& ^$ q! x4 t# R  L0 \2 ^vdb                                                                                                   252:16   0   500G  0 disk
: I8 x' q9 _  p$ }9 B# B% _└─ceph--cbd3517f--a42b--41b9--bdb5--350597fb4873-osd--block--da454e2d--c289--430f--a685--9b437b5a3e00 253:4    0   500G  0 lvm
' P' n4 A5 q+ Z1 P0 x" J) {sr0                                                                                                    11:0    1  1024M  0 rom
vdc                                                                                                   252:32   0   500G  0 disk
└─ceph--797b51d7--f835--43d7--a987--1316a2438933-osd--block--40e4dc65--08e9--4971--9187--2d05208bbb0d 253:3    0   500G  0 lvm
vda                                                                                                   252:0    0   500G  0 disk
- C# s# L: J7 ]; a9 e$ c├─vda2                                                                                                252:2    0   499G  0 part
│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
4 x$ b# X: E0 P9 I& x. q- ~└─vda1                                                                                                252:1    0     1G  0 part /boot

#写入小说文档到挂载的目录
[root@ceph101 ~]# mv bcsj.txt test_rbd/
[root@ceph101 ~]# md5sum test_rbd/bcsj.txt
$ Y1 D, o3 I1 e/ H0d615ccd0e1c55f62002134f5cac81cc  test_rbd/bcsj.txt
* ]  L( x. ]5 V  q$ R$ s4 k[root@ceph101 ~]# df -lh
文件系统                 容量  已用  可用 已用% 挂载点
/dev/rbd0                9.7G   15M  9.2G    1% /root/test_rbd

[root@ceph101 ~]# ceph df
--- RAW STORAGE ---
6 p+ F) Q* {( _6 R9 j7 r( rCLASS  SIZE     AVAIL    USED     RAW USED  %RAW USED
hdd    5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23
# I5 H, ?6 C( x% HTOTAL  5.9 TiB  5.8 TiB  1.5 GiB    14 GiB       0.23

7 v3 k. u; s- y5 {- O& F--- POOLS ---
1 r9 o$ H4 [/ v+ ZPOOL                       ID  PGS  STORED   OBJECTS  USED     %USED  MAX AVAIL
. L. G- |2 n$ fdevice_health_metrics       1    1      0 B        0      0 B      0    1.9 TiB
.rgw.root                  24   32   22 KiB       36  6.6 MiB      0    1.9 TiB
  H. u5 R" v- `1 t+ S1 m& Yzone_01.rgw.log            31   32   26 KiB      965   55 MiB      0    1.9 TiB
2 R+ }: f  ~1 U7 w5 jzone_01.rgw.control        32   32      0 B        8      0 B      0    1.9 TiB
! Q/ Z2 w4 t- U% M+ [zone_01.rgw.meta           33    8  5.5 KiB       16  2.6 MiB      0    1.9 TiB
zone_01.rgw.buckets.index  34    8  672 KiB       55  2.0 MiB      0    1.9 TiB
zone_01.rgw.buckets.data   35   32  2.2 MiB       12  7.9 MiB      0    1.9 TiB
zone_01.rgw.otp            36   32      0 B        0      0 B      0    1.9 TiB
/ H: L9 w0 t% J, a! ~; _2 `# ^cp_pool                    42   32  2.2 MiB        2  7.0 MiB      0    1.9 TiB
test_rbd                   43   32  148 MiB       57  446 MiB      0    1.9 TiB

1 k; [" Z+ U9 T- ]- N
对象网关
bash 体验AI代码助手 代码解读复制代码

2 T" `  C4 K8 nyum install ceph-radosgw -y
! u% O5 E* b5 i  f( Z
[ceph: root@ceph1 ceph]# radosgw-admin user create --uid='s3_admin' --display-name='s3_rgw_admin' --access-key='s3_rgw_admin_access_key' --secret-key='s3_rgw_admin_secret_key'
# n: D- Y# L6 b+ }3 c* o- Y{
+ S6 s: b* G9 `4 P3 h, m! y, S    "user_id": "s3_admin",
    "display_name": "s3_rgw_admin",
0 e$ D! h8 T* L' }8 m    "email": "",
    "suspended": 0,
    "max_buckets": 1000,
8 }2 C9 F, O6 u% c    "subusers": [],
, w/ @& v9 F" ]1 a  C- t8 o    "keys": [
        {
% ^2 g  D7 t6 u            "user": "s3_admin",
            "access_key": "s3_rgw_admin_access_key",
+ e! y9 W) O' U9 y6 g. i            "secret_key": "s3_rgw_admin_secret_key"
. i3 |) _6 l8 v        }
! P9 e" n  X! R! J) c    ],
    "swift_keys": [],
" v/ n1 a& `* t# l$ V2 P    "caps": [],
0 T2 U% X+ w, h3 B9 R    "op_mask": "read, write, delete",
    "default_placement": "",
    "default_storage_class": "",
5 N( K& U2 Q1 s    "placement_tags": [],
% i: I- i# b2 e( i, Z1 {    "bucket_quota": {
; I$ G: O9 Z2 p* G- Q        "enabled": false,
        "check_on_raw": false,
  n1 C3 G3 w  K# u, N        "max_size": -1,
        "max_size_kb": 0,
$ A' p( {8 K9 r' g! t        "max_objects": -1
    },
    "user_quota": {
% U& n; D6 K$ Q  v! `        "enabled": false,
        "check_on_raw": false,
! t5 u/ Q( O3 Y        "max_size": -1,
0 O5 A/ }/ l2 g0 H" _7 j        "max_size_kb": 0,
' K4 V* m1 T# _) r3 Q/ r        "max_objects": -1
    },
+ |; [; y- R9 H+ n8 W. ?0 O    "temp_url_keys": [],
    "type": "rgw",
  `: v- z9 P" i: \: I! q% {  A; z    "mfa_ids": []
1 q4 y8 P' a# C9 M( ]1 L- \}
# R! z9 Y( Z' I4 E* A8 R, W; E
" U3 J6 m, w. ]# H5 z[ceph: root@ceph1 ceph]#
[ceph: root@ceph1 ceph]# radosgw-admin user info --uid='s3_admin'
{
    "user_id": "s3_admin",
, }- i8 }8 j' c7 B" e1 U/ h    "display_name": "s3_rgw_admin",
! d1 y+ y! O! j7 y+ o    "email": "",
    "suspended": 0,
% G! S0 ~% G$ F, n* p8 X    "max_buckets": 1000,
+ y" E# \4 F1 P' B, z    "subusers": [],
    "keys": [
        {
2 l  C' W1 T, ]. e* _            "user": "s3_admin",
+ [0 d  g+ R+ O/ A0 Y' v( V            "access_key": "s3_rgw_admin_access_key",
            "secret_key": "s3_rgw_admin_secret_key"
& {  y- p# [& T! z4 x0 \        }
    ],
" o+ s& Z# g# f- a/ D2 B    "swift_keys": [],
0 u' S: b4 Q  m8 N    "caps": [],
    "op_mask": "read, write, delete",
+ z" x. P  Z2 g5 y    "default_placement": "",
    "default_storage_class": "",
    "placement_tags": [],
1 }$ m5 T9 c8 O1 ^- m: v    "bucket_quota": {
        "enabled": false,
! {7 R- k3 `2 I. i: p( N+ |! K1 f* V6 P        "check_on_raw": false,
        "max_size": -1,
& Q( Q2 D" s( G        "max_size_kb": 0,
" F; h- _; L0 k* v5 v) l        "max_objects": -1
$ v2 ^, I* v, i0 c1 ~    },
! i0 d6 u7 V* z    "user_quota": {
        "enabled": false,
. _" T8 F) A! K        "check_on_raw": false,
3 ~/ x8 C% S9 j# e% W* E, i+ z0 M        "max_size": -1,
        "max_size_kb": 0,
        "max_objects": -1
    },
9 a+ E$ P6 x' D7 p( [% s. r, a( n$ v    "temp_url_keys": [],
7 h$ p- z4 o' ^4 @. |    "type": "rgw",
    "mfa_ids": []
}
6 C( L$ P3 c5 x" ~7 H( o
ceph tell mon.* injectargs --mon_max_pg_per_osd=100
, w# P2 l3 l) o2 ~# F
#----------------------------------------------------------------------------
( C4 d- Y8 C. s" Z: v5 P) K3 D, ~. A/ ?) Gradosgw-admin user create --uid=rgw_admin --display-name=rgw_admin --system
radosgw-admin user info --uid rgw_admin --system

% J- F* E2 V3 k5 B: f. l8 w
radosgw-admin realm create --rgw-realm=realm_1 --default
0 x0 Z: a1 U2 p% Yradosgw-admin zonegroup create \
--rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
- g+ I/ x1 G7 ]7 ~9 L --endpoints http://ceph101:80 \
--master --default
: t/ O& W  ?) K, J( I) L

. w$ q! A. o# s8 [" C- R radosgw-admin zone modify \
; Z# P3 E& N, F' V --rgw-realm=realm_1 \
--rgw-zonegroup=zone_group_1 \
4 }! _+ V8 `3 W6 [' Q7 V --rgw-zone=zone_01 \
( q# R5 Y* l: C --endpoints http://ceph101:80 \
% l% J4 C+ N! O% }+ \3 V* _, U --access-key=IAWL6PLNFMNM0SLQNWQ0 \
. ^6 H0 {& v7 s5 A8 S) R& T --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
--master --default

! R- e' M% f1 U- j% V radosgw-admin period update --commit
radosgw-admin period update --rgw-realm=realm_1
! i' f0 b! F( I$ k3 w) \6 x* `6 N+ ` ceph orch apply rgw  realm_1  zone_01 --placement="1 ceph101"
% v; S8 n( Z. x
上述命令，一定要在集群健康的情况下运行，否则会出现rgw 的docker进程启动不了的情况，正常情况下，可以看到如下进程：
3 j3 K+ U/ R$ K  Fbash 体验AI代码助手 代码解读复制代码
; Q; A. h* {" t" i/ ^8 Y! ~$ @& Z[root@ceph101 ~]# ceph orch ls
7 T* f5 G3 \2 ^+ F5 MNAME                 RUNNING  REFRESHED  AGE  PLACEMENT                                IMAGE NAME                                IMAGE ID
6 Q- [+ O0 c& x# W; jalertmanager             1/1  4m ago     2d   count:1                                  quay.io/prometheus/alertmanager:v0.20.0   0881eb8f169f
crash                    6/6  4m ago     2d   *                                        quay.io/ceph/ceph:v15                     3edede73a7c4
6 r! I- @2 J' ]/ y! rgrafana                  1/1  4m ago     2d   count:1                                  quay.io/ceph/ceph-grafana:6.7.4           557c83e11646
/ z, ?0 S) A7 Y- Bmgr                      2/2  4m ago     2d   count:2                                  quay.io/ceph/ceph:v15                     3edede73a7c4
: x+ ]) f: C4 |mon                      5/5  4m ago     2d   ceph101;ceph102;ceph103;ceph104;ceph105  quay.io/ceph/ceph:v15                     3edede73a7c4
4 b4 Z" j4 u. b' w( W& L3 [, ^" Lnode-exporter            6/6  4m ago     2d   *                                        quay.io/prometheus/node-exporter:v0.18.1  e5a616e4b9cf
osd.None                12/0  4m ago     -    <unmanaged>                              quay.io/ceph/ceph:v15                     3edede73a7c4
prometheus               1/1  4m ago     2d   count:1                                  quay.io/prometheus/prometheus:v2.18.1     de242295e225
rgw.realm_1.zone_01      1/1  4m ago     75m  ceph101;count:1                          quay.io/ceph/ceph:v15                     3edede73a7c4


0 l- H5 j1 W: I7 z  v  |$ @如果rgw进程无法启动的情况，可能是集群不健康，查看log：
' r6 f. I( A! Q) @ceph log last cephadm
/var/log/ceph/cephadm.log
bash 体验AI代码助手 代码解读复制代码[root@ceph101 system]# ceph log last cephadm
4 _  Z. b' c3 S6 p2022-04-27T07:57:57.347323+0000 mgr.ceph101.qhgzmi (mgr.14164) 95889 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
6 u' a7 c6 ?; g' z5 H3 ETraceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
% J" \5 i7 G5 w+ [$ v  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
$ n2 u/ S6 |/ r6 v0 S5 }9 {2 G2022-04-27T07:57:57.353366+0000 mgr.ceph101.qhgzmi (mgr.14164) 95890 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
1 h7 r2 H( v9 b% Z& y  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
) Q: |5 O2 Y! a) e8 X    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
0 r2 M4 Y$ [- O8 d    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
  l) P8 g1 E" y" t) D    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
) }" G% l7 W: F& L  y& C* L2022-04-27T08:07:22.102133+0000 mgr.ceph101.qhgzmi (mgr.14164) 96175 : cephadm [INF] refreshing ceph104 facts
: F( R: O: {6 ^% j- _: M2022-04-27T08:07:22.103197+0000 mgr.ceph101.qhgzmi (mgr.14164) 96176 : cephadm [INF] refreshing ceph103 facts
( D' h* [. I. w: ?! t7 k2022-04-27T08:07:22.105047+0000 mgr.ceph101.qhgzmi (mgr.14164) 96177 : cephadm [INF] refreshing ceph106 facts
2022-04-27T08:07:22.105643+0000 mgr.ceph101.qhgzmi (mgr.14164) 96178 : cephadm [INF] refreshing ceph105 facts
. D; D/ M/ l" T; n2022-04-27T08:07:22.106985+0000 mgr.ceph101.qhgzmi (mgr.14164) 96179 : cephadm [INF] refreshing ceph102 facts
2022-04-27T08:07:22.910395+0000 mgr.ceph101.qhgzmi (mgr.14164) 96181 : cephadm [INF] refreshing ceph101 facts
6 t; S. Z# G# K" {# o. G$ w0 _; |2022-04-27T08:07:23.599992+0000 mgr.ceph101.qhgzmi (mgr.14164) 96182 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
: k# d, g. S5 v  w( V4 STraceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
1 D& \" X) g0 [0 o) H' F    rgw_config_func(cast(RGWSpec, spec), daemon_id)
6 i5 n6 H& g# t( i: R5 U! r  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
% z) X9 G2 Y6 {5 T  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
! L8 A! @  T' D0 t    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.615964+0000 mgr.ceph101.qhgzmi (mgr.14164) 96183 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
2 `' }6 G4 s! ?" y$ D# w7 M% O  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
2 V( r4 O1 R- Q+ E' b) \    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
) ?) a0 r& Z3 c' b' `orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
$ X+ K9 x: I7 h& w- N# I1 @2022-04-27T08:07:23.784884+0000 mgr.ceph101.qhgzmi (mgr.14164) 96184 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
) }% o1 j: q$ K' d# r/ W5 ~Traceback (most recent call last):
! z" w) L( ]# j+ ^/ {  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
( V0 W# d9 _0 W0 C- d  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
- ^8 J/ Z& N! i" g+ k) \) c    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
    raise OrchestratorError('Health not ok, will try again when health ok')
4 G$ d- }1 \3 G# s5 i' @; ]orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:07:23.788497+0000 mgr.ceph101.qhgzmi (mgr.14164) 96185 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlacementSpegw', 'service_id': 'realm_1.zone_01', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone': 'zone_01ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when health ok
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
' c; L1 m( g3 d/ K$ z3 e# d  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
    rgw_config_func(cast(RGWSpec, spec), daemon_id)
, B1 j) m" e9 F' z4 d  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
5 A+ B; p5 F3 ?# x    self.create_realm_zonegroup_zone(spec, rgw_id)
/ y# r, h: K+ Y+ ~2 e2 f+ V" c1 h  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
( {, Q7 c  Z1 H% w7 u    raise OrchestratorError('Health not ok, will try again when health ok')
+ U& W- m2 H( b) @/ U. Qorchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
2022-04-27T08:16:33.025623+0000 mgr.ceph101.qhgzmi (mgr.14164) 96463 : cephadm [INF] Saving service rgw.realm_1.zone_01 spec
4 o- D- l) P0 c% A5 n2022-04-27T08:16:33.240231+0000 mgr.ceph101.qhgzmi (mgr.14164) 96464 : cephadm [INF] refreshing ceph101 facts
2 f2 a- o: u7 N/ E" c  D7 u6 W2022-04-27T08:16:33.248641+0000 mgr.ceph101.qhgzmi (mgr.14164) 96465 : cephadm [INF] refreshing ceph102 facts
+ M$ ]  J4 K. n" V6 O! `2022-04-27T08:16:33.250945+0000 mgr.ceph101.qhgzmi (mgr.14164) 96466 : cephadm [INF] refreshing ceph103 facts
2022-04-27T08:16:33.252787+0000 mgr.ceph101.qhgzmi (mgr.14164) 96467 : cephadm [INF] refreshing ceph104 facts
2 `+ o& w3 I" r! _# [- e0 W" r- T2022-04-27T08:16:33.254250+0000 mgr.ceph101.qhgzmi (mgr.14164) 96468 : cephadm [INF] refreshing ceph105 facts
2022-04-27T08:16:33.256573+0000 mgr.ceph101.qhgzmi (mgr.14164) 96469 : cephadm [INF] refreshing ceph106 facts
2022-04-27T08:16:34.288319+0000 mgr.ceph101.qhgzmi (mgr.14164) 96470 : cephadm [ERR] Failed to apply rgw.realm_1.zone_group_1acementSpec(hostname='ceph101', network='', name=''), HostPlacementSpec(hostname='ceph102', network='', name=''), HostPlaceme': 'rgw', 'service_id': 'realm_1.zone_group_1', 'unmanaged': False, 'preview_only': False, 'rgw_realm': 'realm_1', 'rgw_zone' 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 'ssl': False}): Health not ok, will try again when healt
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
* S3 R; s( O7 j    if self._apply_service(spec):
6 K) y1 }6 W( m4 {: V: w5 o  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
0 @% \2 F2 @6 ^$ a: P0 A7 \7 D$ p    rgw_config_func(cast(RGWSpec, spec), daemon_id)
, T7 D/ ?2 o% q+ }: Z  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
8 k# l4 w9 `: [' K7 ]    self.create_realm_zonegroup_zone(spec, rgw_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
9 b9 q# k6 R$ Q: k% C7 V    raise OrchestratorError('Health not ok, will try again when health ok')
orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
" A9 O2 }, Y; s; Y8 Z2022-04-27T08:16:34.292193+0000 mgr.ceph101.qhgzmi (mgr.14164) 96471 : cephadm [ERR] Failed to apply rgw.realm_1.zone_01 specntSpec(hostname='ceph101', network='', name='')]), 'service_type': 'rgw', 'service_id': 'realm_1.zone_01', 'unmanaged': Falsene_01', 'subcluster': None, 'rgw_frontend_port': None, 'rgw_frontend_ssl_certificate': None, 'rgw_frontend_ssl_key': None, 's
Traceback (most recent call last):
  File "/usr/share/ceph/mgr/cephadm/serve.py", line 412, in _apply_all_services
    if self._apply_service(spec):
0 g* y/ s! h' ]" n5 ^2 W- M2 Q  File "/usr/share/ceph/mgr/cephadm/serve.py", line 511, in _apply_service
% x0 M0 X5 ~/ Q& `' z0 K( j) B    rgw_config_func(cast(RGWSpec, spec), daemon_id)
  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 539, in config
( X& G* N3 X$ q! ?6 q' Y" b    self.create_realm_zonegroup_zone(spec, rgw_id)
, u2 t9 Y6 C) k  r: d. D' R# d  File "/usr/share/ceph/mgr/cephadm/services/cephadmservice.py", line 617, in create_realm_zonegroup_zone
, H: y% i* C9 }# w6 Z# Z# u    raise OrchestratorError('Health not ok, will try again when health ok')
7 }% e/ q; n, N$ i! I& _$ l. z: ]orchestrator._interface.OrchestratorError: Health not ok, will try again when health ok
, n3 H& N; q6 g# R

! B. B9 M. Z7 f8 V+ z
0 p8 E! T6 t5 i5 K% \; E5 r进入到docker中
bash 体验AI代码助手 代码解读复制代码docker exec -it 736e1816f245 /bin/sh
sh-4.4# cd /usr/share/ceph/mgr/cephadm/services/
( A* @1 @* Z8 h% H% c4 M; W5 ]sh-4.4# ls
__init__.py  cephadmservice.py  container.py  iscsi.py  monitoring.py  nfs.py  osd.py
! s& W. [2 Q% w" q" g1 D: ?sh-4.4# vim cephadmservice.py
7 R8 x$ g* J4 l, X/ msh: vim: command not found
sh-4.4# vi cephadmservice.py
##可以看到是因为python代码查看集群的状态为 Health not ok，所以不能向下进行了。
& F$ i) I* d3 Y8 t0 I% h2 G#进一步，将集群调整为健康状态，再次尝试，可以正常
, Y# ^, z5 }! N
访问s3对象服务，windows下安装S3 Browser
6 K5 o7 q! V3 @! G+ X
3 h+ ]* |' s- [2 l, p$ r( b) B创建用户后，不知道为什么用户被自动删除掉了，重新建立了一下用户，再次绑定zone之后，就可以使用s3 Broswer正常访问了。
其他常用命令：
" m' b1 f4 B. {; b) B# M3 Ubash 体验AI代码助手 代码解读复制代码 radosgw-admin realm delete --rgw-realm=realm_1
radosgw-admin zonegroup delete --rgw-zonegroup=zone_group_1
radosgw-admin zone delete --rgw-zone=zone_1
! [/ y9 k1 o5 t
- r$ U) C) C8 k8 s9 I$ e3 v6 e0 Fradosgw-admin realm list
6 Y2 U; C( |9 }) A% H5 C9 sradosgw-admin zonegroup list
radosgw-admin zone list
' ]& a+ r7 ^, e: W9 @- iradosgw-admin zone list --rgw-zonegroup default
radosgw-admin user info --uid rgw_admin --system
/ j6 g0 W9 e, `6 a% R9 g
s3cmd mb s3://sec --region=zone_group_1


配置dashboard：
. c( r# y6 s* ]bash 体验AI代码助手 代码解读复制代码 1752  2022-05-09 11:21:28 radosgw-admin user list
1755  2022-05-09 11:22:06 radosgw-admin user info --uid rgw_admin
' o, k- @0 J5 z/ G: B( D, j2 g2 J 1757  2022-05-09 11:34:44 vim access.key
1758  2022-05-09 11:35:00 vim secret.key
4 z( w3 }3 @& X 1759  2022-05-09 11:35:21 ceph dashboard set-rgw-api-access-key -i  access.key
1760  2022-05-09 11:35:34  ceph dashboard set-rgw-api-secret-key -i  secret.key
: Q. z' E: C" ~7 z  r! { 1761  2022-05-09 11:36:49 history
9 s. [5 j; M8 v; c8 S4 K$ h2 v, h
在前端可以看到
; |4 t- U; \' S9 D
搭建主-主备份
bash 体验AI代码助手 代码解读复制代码

radosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo

  A# E7 ?5 d/ Z; lradosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
                            --rgw-zone=zone_02 --url=http://ceph101:80 \
                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
                            --endpoints=http://ceph1:80
radosgw-admin period update --commit
: F% N' i" E/ R, d, b/ \. g2 l0 Wceph orch apply rgw  realm_1  zone_02 --placement="1 ceph1"
+ g) g1 w" G/ C8 I) X
查看应用的配置
5 t4 ]* b2 X5 B' h, K% d7 E# R: Ebash 体验AI代码助手 代码解读复制代码[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config dump
; b$ B4 b8 ]0 a0 s7 J# {* U

4 \* x8 H0 _  |+ m& z[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# pwd
6 b( B! v9 A: ?2 d$ G. F9 D8 O, q8 g/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7
[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ll
总用量 0
) r$ Z0 T2 m" g( _! Edrwx------ 4 ceph  ceph   92 4月  27 18:52 crash
drwx------ 2 ceph  ceph  133 4月  25 16:07 crash.ceph5
drwx------ 3 ceph  ceph  190 4月  27 17:04 mon.ceph5
, f5 w# |5 B9 ~. \& z7 }drwx------ 2 65534 65534 104 4月  25 16:07 node-exporter.ceph5
2 g. y# V8 p* _" {& X  G+ Kdrwx------ 2 ceph  ceph  241 4月  28 19:42 osd.4
7 {) ~. `1 |( j9 F# J/ Idrwx------ 4 root  root   88 4月  28 10:59 removed
drwx------ 2 ceph  ceph  133 4月  28 19:57 rgw.realm_1.zone_03.ceph5.tapydb

# |7 w3 _8 ?3 Q; ~
[root@ceph5 f88b0b1a-c467-11ec-a2b8-525400299ff7]# ceph config show rgw.realm_1.zone_03.ceph5.tapydb
* Q8 g* P, F8 f2 e% d) _( h* WNAME                   VALUE                                                                                                                                                                                                                                                      SOURCE    OVERRIDES  IGNORES
admin_socket           $run_dir/$cluster-$name.$pid.$cctid.asok                                                                                                                                                                                                                   default
2 ]. |# @5 N, x, V/ K; y2 ?: m6 fcontainer_image        quay.io/ceph/ceph:v15                                                                                                                                                                                                                                      mon
daemonize              false                                                                                                                                                                                                                                                      override
; G7 A8 M8 ~0 \% G0 V/ }debug_rgw              1/5                                                                                                                                                                                                                                                        default
keyring                $rgw_data/keyring                                                                                                                                                                                                                                          default
6 N( B3 Z3 h- D/ Ilog_stderr_prefix      debug                                                                                                                                                                                                                                                      default
log_to_file            false                                                                                                                                                                                                                                                      default
3 k6 o3 J* m$ X0 Jlog_to_stderr          true                                                                                                                                                                                                                                                       default
" s' D' P) |7 K; q# u5 B  Vmon_host               [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]  file
5 m6 I' H; L2 q% ^no_config_file         false                                                                                                                                                                                                                                                      override
objecter_inflight_ops  24576                                                                                                                                                                                                                                                      default
rbd_default_features   61                                                                                                                                                                                                                                                         default
rgw_frontends          beast port=80                                                                                                                                                                                                                                              mon
: b: y% `7 Y7 e6 C8 I, t2 V% Ergw_realm              realm_1                                                                                                                                                                                                                                                    mon
rgw_zone               zone_03                                                                                                                                                                                                                                                    mon
setgroup               ceph                                                                                                                                                                                                                                                       cmdline
( e- o3 A6 y( x# ^$ ?setuser                ceph                                                                                                                                                                                                                                                       cmdline
5 b! p, Y7 K$ K# j, Q( N! I# E
对于想修改rgw启动端口的，可以修改配置文件
bash 体验AI代码助手 代码解读复制代码##在一个域realm和一个zonegroup下面，可以创建多个zone，每个zone上面可以创建一个rgw，所以再次创建一个rgw网关
. }5 ^4 s- c& v3 a; Y% ]radosgw-admin realm pull --url=http://12.70.10.181:80 --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo

8 z  J- g$ r/ _. j! o/ ^+ Xradosgw-admin zone modify --rgw-zonegroup=zone_group_1 \
& s; k; Q' ^9 T7 }                            --rgw-zone=zone_03 --url=http://ceph101:80 \
- x2 H( ]# ^- }  l& z: w  _                            --access-key=IAWL6PLNFMNM0SLQNWQ0 --secret=pZTNQ8HThJVXOHBnx5VCP1qJgPGfT9LTMpmwjhAo \
                            --endpoints=http://ceph5:8088
+ b& ^+ [% h, w5 |5 b3 N/ Cradosgw-admin period update --commit
9 [6 K" _: C) mceph orch apply rgw  realm_1  zone_03 --placement="1 ceph1"

3 a3 n# `2 @5 V
[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# pwd
& R% Z- }* ^" C$ `% S/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/rgw.realm_1.zone_03.ceph5.crocaj
5 Q) z% V0 v' ]( b2 E, t5 \[root@ceph5 rgw.realm_1.zone_03.ceph5.crocaj]# vim

9 A9 o! Z& v* x`# minimal ceph.conf for f88b0b1a-c467-11ec-a2b8-525400299ff7
[global]
        fsid = f88b0b1a-c467-11ec-a2b8-525400299ff7
        mon_host = [v2:12.70.10.161:3300/0,v1:12.70.10.161:6789/0] [v2:12.70.10.162:3300/0,v1:12.70.10.162:6789/0] [v2:12.70.10.163:3300/0,v1:12.70.10.163:6789/0] [v2:12.70.10.164:3300/0,v1:12.70.10.164:6789/0] [v2:12.70.10.165:3300/0,v1:12.70.10.165:6789/0]
[client]
  B9 C' i9 k* _3 _7 P: Y- lrgw_frontends = "beast port=8088"
3 g/ H* d$ l  D1 H3 p`
7 {- `4 f- c2 C% V8 e( N+ t#然后重启rgw服务
% b  q0 }* }2 l5 @0 w#还可以通过执行ceph config set client.rgw.realm_1.zone_03 rgw_frontends  "beast port=18888"
#去掉config中的配置项，重启服务，也可以生效
+ b: W, T: Z9 p! G$ ?#至于精确的配置如：
`
" w4 z. r( H5 z4 n; v% K[client.rgw.realm_1.zone_03]
rgw_frontends = "beast port=8888"
. g% l0 v9 u& u. S) Y) ``
! ^1 p2 j% i' C& ^; H#试了很多次，都不好用，官网说的不明白

0 V7 E7 `  X' z; I7 A4 i参见：
1 T( q2 E6 f0 ~
指定rgw的数据池
: J( h2 |2 }4 x# m% l
1 o0 E. K2 w$ ~, r' @+ n移除osd
bash 体验AI代码助手 代码解读复制代码如果是用命令行，操作如下：
将节点状态标记为out （节点已经不再提供服务）
" U' Q. |* t- E* x" E[root@ceph1 ~]# ceph osd out osd.5
从crush中移除节点（不删除会影响到当前主机的host crush weight）
- o" ]& r2 V; }2 G/ a0 r[root@ceph1 ~]# ceph osd crush remove osd.5
) T" R3 |" E1 q& Y$ F" [删除节点
[root@ceph1 ~]# ceph osd rm osd.5
  q0 W! y$ c6 h" ]5 C2 t) H删除节点认证（不删除编号会占住）
[root@ceph1 ~]# ceph auth ls
) m  v$ C1 h. d. T, }' q[root@ceph1 ~]# ceph auth del osd.5
, F7 R- k/ g( i. j) z; c  c' N, v[root@ceph1 ~]# ceph orch daemon stop osd.5
Scheduled to stop osd.5 on host 'ceph6'
+ G+ u4 |5 G. j5 C) y( W* C[root@ceph1 ~]# ceph health detail
HEALTH_WARN 1 failed cephadm daemon(s)
[WRN] CEPHADM_FAILED_DAEMON: 1 failed cephadm daemon(s)
) i( n  t& d  H& J! e    daemon osd.5 on ceph6 is in error state
( ~. c6 v+ `. _9 R5 j1 z% A0 V. i[root@ceph1 ~]# ceph orch daemon rm osd.5 --force
0 O) [9 d* X3 s+ j; Y+ h5 qRemoved osd.5 from host 'ceph6'

恢复磁盘：
/ I. e4 g- {# H& f- e3 j, C找到某个未加载的盘，有两种方式：
2 y  m- q) U( P$ d. r1 fbash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ceph osd metadata
6 k: X4 |* I6 J6 F) X* g' B
1 x2 y! y* S" U0 F7 Z+ C: W和
/ C9 M. O. \0 L8 y% e; d, xbash 体验AI代码助手 代码解读复制代码[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# pwd
/var/lib/ceph/f88b0b1a-c467-11ec-a2b8-525400299ff7/removed/osd.5_2022-05-11T02:14:55.313464Z
[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# ll
& M* ^9 {  ?8 b总用量 52
lrwxrwxrwx 1 ceph ceph   93 5月  10 12:47 block -> /dev/ceph-2e1cc736-34d6-4dac-8d7c-f78db028a9eb/osd-block-c831faa6-7cc6-4c04-9709-c33fb29a45f3
3 i  w% j/ g. ^3 H! v1 w-rw------- 1 ceph ceph   37 5月  10 12:47 ceph_fsid
* B& T% r/ P% |2 w. g3 y" L-rw------- 1 ceph ceph  377 4月  28 19:43 config
9 x3 b5 ?; y' v, `-rw------- 1 ceph ceph   37 5月  10 12:47 fsid
# _# i" d3 O4 \' }* q- N-rw------- 1 ceph ceph   55 5月  10 12:47 keyring
-rw------- 1 ceph ceph    6 5月  10 12:47 ready
! f1 x+ i0 [6 r& E) d- Q) [. W-rw------- 1 ceph ceph    3 4月  25 17:04 require_osd_release
- o8 s1 `3 F# e/ [-rw------- 1 ceph ceph   10 5月  10 12:47 type
-rw------- 1 ceph ceph   38 4月  28 19:43 unit.configured
-rw------- 1 ceph ceph   48 4月  25 17:04 unit.created
-rw------- 1 ceph ceph   22 4月  28 19:43 unit.image
-rw------- 1 ceph ceph  931 4月  28 19:43 unit.poststop
, X% g7 r7 r/ J; Y! y7 M* c9 |-rw------- 1 ceph ceph 2035 4月  28 19:43 unit.run
-rw------- 1 ceph ceph    2 5月  10 12:47 whoami
  O) _( W& J& {! A
/ y8 n- k0 e9 [5 z* Z0 c0 B" E* N
[root@ceph6 osd.5_2022-05-11T02:14:55.313464Z]# lsblk
/ f+ T3 H5 H0 W2 b9 J+ y: KNAME                                                                                                  MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
vdb                                                                                                   252:16   0   500G  0 disk
└─ceph--2e1cc736--34d6--4dac--8d7c--f78db028a9eb-osd--block--c831faa6--7cc6--4c04--9709--c33fb29a45f3 253:4    0   500G  0 lvm
sr0                                                                                                    11:0    1  1024M  0 rom
9 K1 l3 a" W1 t% yvdc                                                                                                   252:32   0   500G  0 disk
└─ceph--beabac1e--6d55--481b--99e4--db03786e8f78-osd--block--7f9316bd--d011--426f--be86--52b8bfad4c0b 253:3    0   500G  0 lvm
& J0 P8 w/ h8 ]# T  Y9 }! m, Nvda                                                                                                   252:0    0   500G  0 disk
├─vda2                                                                                                252:2    0   499G  0 part
1 H. Q8 i9 V3 P# }- K│ ├─centos-swap                                                                                       253:1    0   7.9G  0 lvm
│ ├─centos-home                                                                                       253:2    0 441.1G  0 lvm  /home
│ └─centos-root                                                                                       253:0    0    50G  0 lvm  /
5 L) h3 G4 e6 m% O4 B- ^7 X└─vda1                                                                                                252:1    0     1G  0 part /boot

可用确定是ceph6上面的/dev/vdb块设备
8 i, L" \$ N0 X' h% q1 Z8 O5 @/ Ebash 体验AI代码助手 代码解读复制代码#zap该磁盘，使其可重新被使用
" f4 s8 R/ Q4 w
[root@ceph1 ~]#  ceph orch device zap ceph6 /dev/vdb --force
" _+ Y  `1 ~' i* Q1 m$ r  x/bin/docker: stderr --> Zapping: /dev/vdb
/bin/docker: stderr Running command: /usr/bin/dd if=/dev/zero of=/dev/vdb bs=1M count=10 conv=fsync
/bin/docker: stderr  stderr: 10+0 records in
/bin/docker: stderr 10+0 records out
/bin/docker: stderr  stderr: 10485760 bytes (10 MB, 10 MiB) copied, 1.1166 s, 9.4 MB/s
( Q' F4 A! s1 Q# Q. l/ R5 v) Y/bin/docker: stderr --> Zapping successful for: <Raw Device: /dev/vdb>
[root@ceph1 ~]#  ceph orch daemon add osd ceph106:/dev/vdc
5 t9 {5 L( l  M) _& R. f  r% Uceph orch daemon rm osd.5 --force
ceph osd out osd.5
ceph osd rm osd.5
# J% C( K1 s8 D4 \. j/ {+ iceph osd crush rm osd.5

, I# `7 X  s7 d7 s( ]) `pg故障处理
bash 体验AI代码助手 代码解读复制代码

[root@k8snode001 ~]# ceph health detail
3 m- j5 S5 U) E! J  N. lHEALTH_ERR
3 S2 N7 v! X+ n 1/973013 objects unfound (0.000%);
17 scrub errors; Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair; Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
OBJECT_UNFOUND 1/973013 objects unfound (0.000%)
  v' w3 u- W( n* l, P) K    pg 2.2b has 1 unfound objects
OSD_SCRUB_ERRORS 17 scrub errors
PG_DAMAGED Possible data damage: 1 pg recovery_unfound, 8 pgs inconsistent, 1 pg repair
5 n, J: M' Q% g# v' Z4 J. W8 [    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound
2 j3 E' e6 O, m% `" v8 r3 t/ Q    pg 2.44 is active+clean+inconsistent, acting [14,8,21]
. {( Q9 n: M/ K% n7 n    pg 2.73 is active+clean+inconsistent, acting [25,14,8]
" s, H+ w# g4 G# v* ?7 J    pg 2.80 is active+clean+scrubbing+deep+inconsistent+repair, acting [4,8,14]
. Z1 r; X% V( Q: v7 ~% F: h    pg 2.83 is active+clean+inconsistent, acting [14,13,6]
$ N* W0 u: N! g4 p8 u    pg 2.ae is active+clean+inconsistent, acting [14,3,2]
    pg 2.c4 is active+clean+inconsistent, acting [8,21,14]
9 p4 m. R4 B0 }% m/ Z3 F    pg 2.da is active+clean+inconsistent, acting [23,14,15]
    pg 2.fa is active+clean+inconsistent, acting [14,23,25]
% K  D8 h8 n4 aPG_DEGRADED Degraded data redundancy: 1/2919039 objects degraded (0.000%), 1 pg degraded
& u# @; \% k9 U6 J3 i7 x    pg 2.2b is active+recovery_unfound+degraded, acting [14,22,4], 1 unfound

0 }( l) }) {& O; {; |$ V2.查看pg map
[root@k8snode001 ~]# ceph pg map 2.2b
4 w5 M. ]- g# N3 U! L) k( }osdmap e10373 pg 2.2b (2.2b) -> up [14,22,4] acting [14,22,4]
( c+ I; B3 V# A/ e7 G从pg map可以看出，pg 2.2b分布到osd [14,22,4]上
$ w, u4 ?4 d& u3 z9 y# s
3.查看存储池状态
[root@k8snode001 ~]# ceph osd pool stats k8s-1
pool k8s-1 id 2
) _' ^7 J+ z; F- {! o) ?4 R# R3 w, l  1/1955664 objects degraded (0.000%)
" v- J/ g4 J" C9 S) J  1/651888 objects unfound (0.000%)
; h% q1 L" I% O# u" @  client io 271 KiB/s wr, 0 op/s rd, 52 op/s wr

[root@k8snode001 ~]# ceph osd pool ls detail|grep k8s-1
  z% m6 j3 f% kpool 2 'k8s-1' replicated size 3 min_size 1 crush_rule 0 object_hash rjenkins pg_num 256 pgp_num 256 last_change 88 flags hashpspool,selfmanaged_snaps stripe_width 0 application rbd
4.尝试恢复pg 2.2b丢失的块
* ?( `& c7 y2 b& \; i+ K3 w5 A* f[root@k8snode001 ~]# ceph pg repair 2.2b
如果一直修复不成功，可以查看卡住PG的具体信息，主要关注recovery_state，命令如下
5 q4 C  F8 s! y: K& ^[root@k8snode001 ~]# ceph pg 2.2b  query
如果repair修复不了；
1 A" m$ K3 L* m* R4 s' p$ l* e两种解决方案，回退旧版或者直接删除
4 G+ V2 h- M; A  u8 s  N回退旧版
6 s5 F6 H- z" U5 m[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost revert
直接删除
[root@k8snode001 ~]# ceph pg  2.2b  mark_unfound_lost delete
% w, v( Q  O6 P2 ]8 x" b. J4 B
参考：记一次ceph pg unfound处理过程
1 T6 A" R8 h6 l; @- c. x9 B卸载
卸载过程：
3 s! A* f; H1 U0 Ubash 体验AI代码助手 代码解读复制代码重命名命令alias ceph='cephadm shell -- ceph'
#找到fsid
[root@master1 ~]# ceph -s
; c2 u  a7 U3 {- \  m5 r, qInferring fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6
Inferring config /var/lib/ceph/008a0d2e-b163-11ec-ba7a-5254004c51c6/mon.master1/config
* M# X- P& S: a/ e* P- GUsing recent ceph image quay.io/ceph/ceph@sha256:1b0ceef23cbd6a1af6ba0cbde344ebe6bde4ae183f545c1ded9c7c684239947f
! q8 \" H2 l) Z* J+ j+ g2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
2 Q  f/ d6 J/ n; _4 m0 Z. T2022-04-01T03:20:37.240+0000 7f27a2b6b700 -1 AuthRegistry(0x7f279c05ec00) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
6 Q# U8 h( q* n2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,: (2) No such file or directory
2022-04-01T03:20:37.242+0000 7f27a2b6b700 -1 AuthRegistry(0x7f27a2b69f90) no keyring found at /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin,, disabling cephx
% a7 }2 ~3 V& ~3 f- y2022-04-01T03:20:37.243+0000 7f27a0907700 -1 monclient(hunting): handle_auth_bad_method server allowed_methods [2] but i only support [1]
0 w1 a0 b# O) n, ?# s2022-04-01T03:20:37.243+0000 7f27a2b6b700 -1 monclient: authenticate NOTE: no keyring found; disabled cephx authentication
[errno 13] RADOS permission denied (error connecting to the cluster)

#使用fsid删除集群
[root@master1 ~]# cephadm rm-cluster --fsid 008a0d2e-b163-11ec-ba7a-5254004c51c6 --force
  \4 t2 g" k( o- d: N. y% {
+ z7 ~& `& i+ W! `& C. J
分发ceph.pub
, R/ Y  ^* X5 c/ f) C, Z( lplaybook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" --extra-vars "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
或
bash 体验AI代码助手 代码解读复制代码playbook -v 2.mon1.yaml -t "find_pub,show_pub,push_pub" -e "ceph_pub_path=/tmp/ceph/master1/etc/ceph/ceph.pub"
9 a/ e  ?( [- D& |; ?6 ^
2 J% R* s1 g  H使用 ansible master0 -m setup 可以看所有的变量
0 \* Q" i2 ?* S/ Q5 V参考：ansible.com.cn/docs/playbo…
7 p# t  K6 z9 X* s: A  {jinja2参考：
$ i) O7 \2 P% Y2 Y/ {' T6 Ostackoverflow.com/questions/3…
bash 体验AI代码助手 代码解读复制代码 playbook -v  2.mon1.yaml
playbook -v 3.push.pub.key.yaml -e "pub_key=/tmp/ceph/master1/etc/ceph/ceph.pub"
) g' y' W$ E) O- \  g2 f+ R4 U9 X playbook -v 4.add.host.yaml -t "weave-script" -e "mon1=master1"

本篇介绍Ceph Monitor的子命令，通过子命令的配合实现对MON的管理和配置。

添加（add） 在某个地址上新增一个名字为的MON服务。
示例：
ceph mon add  <IPaddr[:port]>
导出（dump） 显示特定版本的MON map的格式化的信息，该命令可以指定MON map的版本信息，具体示例如下，参数为epoch：
ceph mon dump {<int[0-]>}
ceph mon dump 1
5 f8 m0 d& S( A& K# {获取映射（getmap） 获取特定版本的MON map信息，该命令获取的是二进制的信息，可以保持在某个文件中，具体格式如下：
, v' M& m/ [1 W. B, h" ]7 S1 z2 J3 @ceph mon getmap {<int[0-]>}
示例：
9 [+ u" ~3 ]+ }* V1 O9 _0 Tceph mon getmap 2 –o filename
6 }, y2 [& s# x6 G2 Q7 \移除（remove） 移除特定名称的MON服务节点。具体格式如下：
ceph mon remove
示例：
5 Z+ c# U7 t% J) R* S. K4 |: b  Dceph mon remove osd3
0 _; N6 m, L. m* c3 K5 o  U$ Q获取状态（ stat） 显示MON的摘要状态信息，具体格式如下：
ceph mon stat
报告状态（mon_status） 报告MON的状态，相对详细，具体格式如下：
! a. [% i, Q$ y6 u& H* V3 Wceph mon_status
Ceph命令之ceph mon（Monitor管理）
3 ?) r/ W+ {, Q- o