ceph 分布式存储crush的算法，相关运维操作统计

admin

Crush的放置策略
Ceph使用CRUSH算法（Controlled Replication Under Scalable Hashing 可扩展哈希下的受控复制）来计算哪些OSD存放哪些对象
对象分配到PG中，CRUSH决定这些PG使用哪些OSD来存储对象。理想情况下，CRUSH会将数据均匀的分布到存储中

当添加新OSD或者现有的OSD出现故障时，Ceph使用CRUSH在活跃的OSD上重平衡数据CRUSH map是CRUSH算法的中央配置机制，可通过调整CRUSHmap来优化数据存放位置默认情况下，CRUSH将一个对象的多个副本放置到不同主机上的0SD中。可以配置CRUSH map和CRUSH rules，使一个对象的多个副本放置到不同房间或者不同机柜的主机上的0SD中。
& g) k- E5 v" y3 e
也可以将SSD磁盘分配给需要高速存储的池
  a! c; s" b  P& w0 Q
4 @5 d! Y1 `9 |1 [4 ~; [- w编译与翻译和更新
, ]7 i; z, ^4 t2 u导出CRUSH map
ceph osd getcrushmap -o ./crushmap.bin
( E. e2 ]3 O6 o+ g0 X: ^+ OShellCopy
解译CRUSH map
$ w8 W, {" k: J+ v9 wcrushtool -d ./crushmap.bin ./crushmap.txt
ShellCopy
7 R9 M4 `; m1 o: ~$ x. g修改后的CRUSH map重新编译
7 s' g3 O/ B$ `: Z( M  s" C3 gcrushtool -c ./crushmap.txt-o ./crushmap-new.bin
4 R6 G  m# r: c+ t: x  hShellCopy
更新CRUSH map
( y, q4 A, K% y/ d8 e# `( e/ I# Iceph osd setcrushmap-i./crushmap-new.bin
! K, ]5 r/ I. |. [) ]$ P; S# zShellCopy
, L2 W- C+ \/ w% o1 O查询crush map的内容（返回json）
3 D+ r( ^2 _) G" E; R' a% Nceph osd crush dump
ShellCopy
例子
1 k- B1 ^2 @1 f1 S" E9 }3 p5 j) O
! {. E& K9 B8 v/ W- d7 Q( h9 D& Sroot default {
  ?' Q6 B/ }; H; B" q  ^    id-1           # do not change unnecessarily
7 G- x$ H5 I, T% u    id-2 class hdd #do not change unnecessarily
    #weiqht 0.166
' f. I/ R1 o, P# ^  a% [2 u& @7 }- D    alg straw2
3 z4 ?% Z# L* S9 l8 g    hash 0#rjenkins1
: s9 Q) O) b# c$ ]    item rackl weight 0.055
% j2 Y) r, L( x, I4 r2 a    item rack2 weiqht 0.055
    item rack3 weight 0.055
}

#rules
/ O; {) ]! l2 U7 e9 Drule replicated rule{
    id 0
    type replicated
    min size 1
    max size 10
    step take default  #只要是应用这个rule的都把数据写入到defaults下
    step chooseleaf firstn 0 type host  #定义故障的故障域为物理集机器级别（rack为机柜级别）
    step emit #结尾符号
}
( i# \1 a9 g* UShellCopy
集群调优
) F0 D6 p9 w5 P系统层面调优
选择正确的CPU和内存。OSD、MON和MDS节点具有不同的CPU和内存需求
mon的需求和osd的总个数有关需要的是计算力
mds对CPU和内存要求很高，会将大量的元数据缓存到自己的内存中，存储元数据的尽量的使用ssd
osd最低要求1H2G的配置例如：24块硬盘最少是24H36G,磁盘方面必须高I/O有多好上多好
4 }" i# s) i/ a  C- d  [, _' w尽可能关闭NUMA
规划好存储节点的数据以及各节点的磁盘要求（不考虑钱忽略）

5 P% E, V1 }- o磁盘的选择尽可能在成本、吞吐量和延迟之间找到良好的平衡

journal日志应该使用SSD

如果交换机支持（MTU 9000），则启用巨型帧(减少数据的分片)，前提是ceph在一个单独的网络环境中切有独立交换机。
' }! [) H* N5 r( @* J3 C1 Z% o
启用ntp。Ceph对时间敏感,集群网络至少10GB带宽
" l6 {$ }0 L& n! Z# \# K& A
" s# m0 j& t4 W, B; \# d; \系统调优工具
7 t  N7 K, u! A使用tuned-admin工具，它可帮助系统管理员针对不同的工作负载进行系统调优
+ e* T4 l/ t& |2 v6 Y2 W
tuned-admin使用的profile默认存放在/usr/lib/tuned/<profile-name>目录中，可以参考其模板来自定义profile

对于ceph而言，network-latency可以改进全局系统延迟，network-throughput可以改进全局系统吞吐量,如果两个都开启可以使用Custom自定义模式
+ C* [: ^5 u( x0 X) |
# 列出现有可用的profile
' \5 z6 `$ t' S; h4 b6 Wtuned-adm list
! y+ H" Y& M! N" Z% a
# 查看当前生效的profile
tuned-adm active

: {( w+ r: D. u  l+ d: @' y4 S# 使用指定的profile
% X8 w! u9 V% K+ R4 G9 Vtuned-admin profile profile-name
2 ]4 {% M% \- O9 M# L
# 禁用所有的profile
8 ~6 e2 k; w# [. G$ r/ Dtuned-admin off
ShellCopy
4 N5 w& l) p; @I/O调度算法
  h4 @. _& e  o$ S, |noop：电梯算法，实现了一个简单的FIFO队列。基于SSD的磁盘，推荐使用这种调度方式
  l. `" p4 w+ P+ P  F  L5 `1 j
Deadline：截止时间调度算法，尽力为请求提供有保障的延迟。对于Ceph，基于sata或者sas的驱动器，应该首选这种调度方式

cfq：完全公平队列，适合有许多进程同时读取和写入大小不等的请求的磁盘，也是默认的通用调度算法

% t7 {( `5 o" L, Z# S1 g/ H) |* [#查看当前系统支持的调度算法：
    dmesg|grep -I scheduler

#查看指定磁盘使用的调度算法：
    cat /sys/block/磁盘设备号/queue/scheduler
/ q  I: U* L4 F5 A# R+ ^4 u# a
; g) ?6 E+ _- J! M& ]! g#修改调度算法
% E. N3 {) }  |: F( N# j/ M4 X* G    echo "deadline" > /sys/block/vdb/queue/scheduler
+ N+ m& x- ~) `9 n    vim /etc/default/grub
        GRUB_CMDLINE_LINUX="elevator=deadline numa=off"
. [4 T4 g7 T* R: _" W0 i8 PShellCopy
( ~" Y1 ^. x- ?3 i" Q网络IO子系统调优
+ e4 x0 J# f% V  S用于集群的网络建议尽可能使用10Gb网络
以下参数用于缓冲区内存管理
# Y, g) ^1 D! G0 x
#设置OS接收缓冲区的内存大小，第一个值告知内核一个TCP socket的最小缓冲区空间，第二值为默认缓冲区空间，第三个值是最大缓冲区空间
! ]0 ^* p8 c" @net.ipv4.tcp_wmem
/ |  ~9 S# P* X# J/ ~- F
#设置Os发送缓冲区的内存大小
net.ipv4.tcp_rmem
9 U% L# F' O2 N& a
* b* [6 P$ a  {8 _* \% g#定义TCP stack如何反应内存使用情况
net.ipv4.tcp_mem
4 B* q) C$ _6 R" s$ K6 j: k4 wShellCopy
3 o/ u: e$ ?2 H0 B交换机启用大型帧
默认情况下，以太网最大传输数据包大小为1500字节。为提高吞吐量并减少处理开销，一种策略是将以太网网络配置为允许设备发送和接收更大的巨型帧。

9 P% ^; C2 l/ b8 s5 D8 |在使用巨型帧的要谨慎，因为需要硬件支持，且全部以太网口配置为相同的巨型帧MTU大小。
虚拟内存调优
# H+ e+ ^" T% U1 p5 W! K设置较低的比率会导致高频但用时短的写操作，这适合Ceph等I/O密集型应用。设置较高的比率会导致低频但用时长的写操作，这会产生较小的系统开销，但可能会造成应用响应时间变长
$ d* g+ X* X: |1 G9 @#脏内存占总系统总内存的百分比，达到此比率时内核会开始在后台写出数据
vm.dirty_background_ratio

& D) L: e) ?' S3 v2 E0 U#脏内存占总系统总内存的百分比，达到此比率时写入进程停滞，而系统会将内存页清空到后端存储
vm.dirty_ratio

#控制交换分区的使用,生产中建议完全关闭，会拖慢系统运行速度
vm.swappiness
) f# R" z' u6 t" o2 o
9 i( G$ l+ |( `9 g: l#系统尽力保持可用状态的RAM大小。在一个RAM大于48G的系统上，建议设置为4G
vm.min_free_kbytes
ShellCopy
" M. c5 k; g8 V- a' LCeph本身调优
最佳实践
$ k0 Q8 L8 o9 ~5 Q
MON的性能对集群总体性能至关重要，应用部署于专用节点，为确保正确仲裁，数量应为奇数个
在OSD节点上，操作系统、OSD数据、OSD日志应当位于独立的磁盘上，以确保满意的吞吐量
/ Y9 z$ P- X. H9 Z2 N4 L, Y* {
9 g: |* ~' k- I' y在集群安装后，需要监控集群、排除故障并维护，尽管 Ceph具有自愈功能。如果发生性能问题，首先在磁盘、网络和硬件层面上调查。然后逐步转向RADOS块设备和Ceph对象网关
, ^4 |% x5 n( `, _: q
  d* q, r5 q) d0 x+ {$ o' {  ]影响I/O的6大操作

3 V) x& Y( z2 y2 v8 {业务数据写入
数据恢复
数据回填
数据重平衡
7 v* q4 k2 F! [4 p! Z% L2 _9 S数据一致性校验
快照清理
OSD生产建议
5 O" ~, D7 K. {. m更快的日志性能可以改进响应时间，建议将单独的低延迟SSD或者NVMe设备用于OSD日志。
8 z4 k- ^0 o1 ?7 r  V* X( K多个日志可以共享同一SSD，以降低存储基础架构的成本。但是不能将过多OSD日志放在同一设备上。

6 K1 v- p9 w2 O& M5 @建议每个SATA OSD设备不超过6个OSD日志，每个NVMe设备不超过12个OSD日志。
. n- ~& K" O! j0 @" Y
需要说明的是，当用于托管日志的SSD或者NVMe设备故障时，使用它托管其日志的所有OSD也都变得不可用

+ Q7 `5 P2 S8 n硬件建议
. D3 k) ]- d) \9 y  H7 r: |
! |5 ~' a! Y: T+ w1 @将一个raid1磁盘用于ceph操作系统
* ~1 p1 |2 \. H每个OSD一块硬盘，尽量将SSD或者NVMe用于日志

使用多个10Gb网卡，每个网络一个双链路绑定（建议生产环境2个网卡4个光模块，2个万兆口做为数据的交换，2个万兆口做业务流量）

每个OSD预留1个CPU,每个逻辑核心1GHz，分配16GB内存，外加每个OSD 2G内存
6 P5 M( L( H. F- m4 \; `
RBD生产建议
, d1 q3 y2 B( Z块设备上的工作负载通常是I/O密集型负载，例如在OpenStack中虚拟机上运行数据库。

; {! H2 `, w0 w1 e& q对于RBD,OSD日志应当位于SSD或者NVMe设备上
! y; F) D7 P& b; ]) r. M5 E, o
: y( X/ O/ R" D' _& e对后端存储，可以使用不同的存储设备以提供不同级别的服务

+ y; E3 A7 r$ ?; w0 W, f对象网关生产建议
Ceph对象网关工作负载通常是吞吐密集型负载。但是其bucket索引池为I/O密集型工作负载模式。应当将这个池存储在SSD设备上

Ceph对象网关为每个存储桶维护一个索引。Ceph将这一索引存储在RADOS对象中。当存储桶存储数量巨大的对象时（超过100000个），索引性能会降低，因为只有一个RADOS对象参与所有索引操作。
$ L3 F1 ]; m2 h" H
5 p) |4 k( r' F( n  uCeph可以在多个RADOS对象或分片中保存大型索引。可以在ceph.conf中设置rgw_override_bucket_index_max_shards配置参数来启用该功能。此参数的建议值是存储桶中预计对象数量除以10000

0 _  Q; ]2 Q& c: O3 p当索引变大，Ceph通常需要重新划分存储桶。rgw_dynamic_resharding配置控制该功能，默认为true
- ^, d; H1 _1 N+ |
CephFS生产建议
存放目录结构和其他索引的元数据池可能会成为CephFS的瓶颈。因此，应该将SSD设备用于这个池
/ T6 B/ `0 J5 I2 y( i1 B
. Q1 ^: s  D5 y每个MDS维护一个内存中缓存 ，用于索引节点等不同类型的项目。Ceph使用mds_cache_memory_limit配置参数限制这一缓存的大小。其默认值为1GB，可以在需要时调整，得不得超过系统总内存数
( v0 U/ o- O3 B# j4 P' W
Monitor生产建议
最好为每个MON一个独立的服务器/虚拟机

5 q% b# i% ]2 R! \7 k, F小型和中型集群，使用10000RPM的磁盘，大型集群使用SSD

CPU使用方面：使用一个多核CPU，最少16G内存，最好不要和osd存放在同一个服务器上
9 \' U" S( l7 N' F/ }1 i
' W5 o0 ^- H3 s' T5 Y% @* A将OSD日志迁移到SSD
! K1 |' _6 \9 [: H4 H" p8 Q强烈建议生产中千万不要这么干，一定在集群初始化的时候就定制好
#集群中设置标志位停止指定的osd使用
. b1 U3 [& T- c) y- Sceph osd set noout
8 D$ W) X9 C& Q& W
8 g9 q2 _( }6 O) Z0 L4 B/ q) m8 v#停止osd的进程
systemctl stop ceph-osd@3
; a3 A$ K+ z8 U3 ]* B' i8 o
* |5 _; _- Z, B$ h# W9 N#将所有的日志做刷盘处理，刷盘到osd中
ceph-osd -i 3 --flush-journal
6 t4 g$ W: R8 c7 q' R# G0 j8 Z
#删除该osd现有的日志
rm -f /var/lib/ceph/osd/ceph-3/journal

#/dev/sdc1为SSD盘创建一个软连接
$ A" o1 A4 S% s, I+ Xln -s /dev/sdc1 /var/lib/ceph/osd/ceph-3/journal
6 u. k/ Z3 @' N. G% N" n
#刷出日志
ceph-osd -i 3 --mkjournal
2 M* d) {! X1 z/ G' ~
2 ^# U7 _3 x) z' l5 j; F3 q#启动osd
systemctl start ceph-osd@3

#移除标志位
4 ?; k( F$ n4 _* F; g5 R+ A1 |1 Sceph osd unset noout
ShellCopy
8 b/ ]  O) ]5 p4 v* ]! L, @存储池中PG的计算方法
通常，计算一个池中应该有多少个归置组的计算方法 = 100 * OSDs(个数) / size(副本数)
& e8 v( f8 g6 B2 v
0 L0 y2 Z! W6 Y6 j7 [一种比较通用的取值规则：

少于5个OSD时可把pg_num设置为128
3 }5 E# c: w' e1 I( ?" wOSD数量在5到10个时，可把pg_num设置为512
4 P4 ~+ ?$ m/ g) A( x" N3 \OSD数量在10到50个时，可把pg_num设置为4096
OSD数量大于50时，建议自行计算
自行计算pg_num聚会时的工具
( C' j. ]& t" a9 l+ V/ Hpgcalc：https://ceph.com/pgcalc/
cephpgc：https://access.redhat.com/labs/cephpgc/
注意：在实际的生产环境中我们很难去预估需要多少个pool，每个pool所占用的数据大小的百分百。所以正常情况下需要在特定的情况选择动态扩缩容pg的大小
PG与PGP
通常而言，PG与PGP是相同的当我们为一个池增加PG时，PG会开始分裂，这个时候，OSD上的数据开始移动到新的PG，但总体而言，此时，数据还是在一个OSD的不同PG中迁移而我们一旦同时增加了PGP，则PG开始在多个OSD上重平衡，这时会出现跨OSD的数据迁移

' h* b6 A& J4 y9 c' U

: E4 @; |0 ~" J! kceph osd pool create poolName PgNum PgpNum
/ V/ y" n4 x/ ~8 D# w2 R当变动pg数量只是针对当前的特定池中的osd发生变动影响范围只是一个池的pg平衡
7 ?. o$ ^3 R; @
正常情况下一个osd最多承载100个pg

当pgp发生大变动的时候会导致原本这个池中的pg变动导致池中osd，过载或者有很大剩余性能，ceph集群会将过大的性能均衡到各个性能使用小的osd上，这个时候就会发生数据的大规模迁移，大量的i/O写入会占有网络带宽会严重影响使用中的pg性能导致阻塞发生。

# U% p) Y, l: g* F7 u建议的做法是将pg_num直接设置为希望作为最终值的PG数量，而PGP的数量应当慢慢增加，以确保集群不会因为一段时间内的大量数据重平衡而导致的性能下降
' f$ M( d$ P; j9 r& T: `  D
. ]. X1 o$ t4 |0 k0 ]/ m4 \Ceph生产网络建议
% \9 M9 O6 y2 ^% {2 N+ }4 C$ G5 C

尽可能使用10Gb网络带宽以上的万兆带宽(内网)
. q4 T; s- w3 s/ V) \0 I尽可能使用不同的cluster网络和public网络
6 v) _: _- x& ^) f6 r
5 z. S2 M8 o8 r. u# W& `; I4 J做好必要的网络设备监控防止网络过载

OSD和数据一致性校验
3 j- U% Y6 W) r) R清理会影响ceph集群性能，但建议不要禁用此功能，因为它能提供完数据的完整性
+ }3 }9 o' V9 U
) X3 P  R5 [  k: |- M( E" y清理：检查对象的存在性、校验和以及大小
9 t/ F) N4 i( `" A* J, F7 P* s! V" g深度清理：检查对象的存在性和大小，重新计算并验证对象的校验和。(最好不开严重影响性能)
3 ?  A& p# ^! W5 e. N* v
. s6 u& v! \$ m& d1 C# C#清理调优参数
osd_scrub_begin_hour =                    #取值范围0-24
osd_scrub_end_hour = end_hbegin_hour our  #取值范围0-24
4 w' q& V" r' Y, }/ Q7 V5 `# v6 dosd_scrub_load_threshold                  #当系统负载低于多少的时候可以清理，默认为0.5
4 N0 a% y: A: [& bosd_scrub_min_interval                    #多久清理一次，默认是一天一次（前提是系统负载低于上一个参数的设定）
osd_scrub_interval_randomize_ratio        #在清理的时候，随机延迟的值，默认是0.5
osd_scrub_max_interval                    #清理的最大间隔时间，默认是一周（如果一周内没清理过，这次就必须清理，不管负载是多少）
osd_scrub_priority                        #清理的优先级，默认是5
osd_deep_scrub_interal                    #深度清理的时间间隔，默认是一周
0 R# h1 e7 \! f$ dosd_scrub_sleep                           #当有磁盘读取时，则暂停清理，增加此值可减缓清理的速度以降低对客户端的影响，默认为0,范围0-1
ShellCopy
" I# A( _- n* B( o% k显示最近发生的清理和深度清理
: R7 L! z) U) \4 Kceph pg dump all  # 查看LAST_SCRUB和LAST_DEEP_SCRUB
) R: u' |( ^6 |+ V  f7 m% tShellCopy
-将清理调度到特定的pg
( _( N7 ]: R. Q. T: k! O9 Z
' G9 [( G# ~$ B, f9 yceph pg scrub pg-id
+ s+ h& t5 f3 j6 \+ HShellCopy
8 v! j7 `1 l9 F- P4 w) J; U: `5 P) T将深度清理调度到特定的pg
ceph pg deep-scrub pg-id
2 |/ C7 t$ r, U# L: J% p" dShellCopy
为设定的池设定清理参数
9 S  v) G* r, ~+ q, a9 l" R8 ^ceph osd pool set <pool-name> <parameter> <value>
    noscrub # 不清理，默认为false
2 |% G) x" n1 s* Z* k    nodeep-scrub # 不深度清理，默认为false
    scrub_min_interval # 如果设置为0，则应用全局配置osd_scrub_min_interval
    scrub_max_interval # 如果设置为0，则应用全局配置osd_scrub_max_interval
1 v6 E9 o+ i" L0 u9 `3 r7 \- l    deep_scrub_interval # 如果设置为0，则应用全局配置osd_scrub_interval
ShellCopy
4 l4 \* d! V  X4 {! {6 W快照的生产建议
9 X- L' R' K. @% \. {快照在池级别和RBD级别上提供。当快照被移除时，ceph会以异步操作的形式删除快照数据，称为快照修剪进程
为减轻快照修剪进程会影响集群总体性能。可以通过配置osd_snap_trim_sleep来在有客户端读写操作的时候暂停修剪，参数的值范围是0到1

3 D9 O! ^+ m7 C$ `  s快照修剪的优先级通过使用osd_snap_trim_priority参数控制，默认为5

保护数据和osd
需要控制回填和恢复操作，以限制这些操作的影响
4 [! p+ L9 R, Q- }2 X+ i( i& @
2 I3 b" X8 O1 ?$ ~  T2 Z0 V回填发生于新的osd加入集群时，或者osd死机并且ceph将其pg分配到其他osd时。在这种场景中，ceph必须要在可用的osd之间复制对象副本

& _+ B9 i" F9 u0 R# p2 r恢复发生于新的osd已有数据时，如出现短暂停机。在这种情形下，ceph会简单的重放pg日志
" Q- m% @6 L$ \# @6 t
管理回填和恢复操作的配置项
) E, c6 Y2 N1 E#用于限制每个osd上用于回填的并发操作数，默认为1
osd_max_backfills
# q  S! E+ _% G/ y# g7 S
" H: e4 |+ ~) |+ T$ H- y" f8 _#用于限制每个osd上用于恢复的并发操作数，默认为3
) r7 d' r3 f) W; ?, sosd_recovery_max_active
5 w, c! I* u0 z( X0 R8 e2 z
% v, S+ e2 ]* J9 d  D. P#恢复操作的优先级，默认为3
osd_recovery_op_priority
' K- a1 ]  Y" L( O; }  HShellCopy
+ Z5 F$ Y& ~) x* fOSD数据存储后端
( h# B! \; r: C, W% c9 VBlueStore管理一个，两个或（在某些情况下）三个存储设备。在最简单的情况下，BlueStore使用单个（主）存储设备。存储设备通常作为一个整体使用，BlueStore直接占用完整设备。该主设备通常由数据目录中的块符号链接标识。数据目录挂载成一个tmpfs，它将填充（在启动时或ceph-volume激活它时）所有常用的OSD文件，其中包含有关OSD的信息，例如：其标识符，它所属的集群，以及它的私钥。还可以使用两个额外的设备部署BlueStore
6 m  e, U5 v, E; V) @& ~% ~7 Z
/ H7 A$ M; G+ {WAL设备（在数据目录中标识为block.wal）可用于BlueStore的内部日志或预写日志。只有设备比主设备快（例如，当它在SSD上并且主设备是HDD时），使用WAL设备是有用的。
% i+ p: y& \! v- G3 b6 o数据库设备（在数据目录中标识为block.db）可用于存储BlueStore的内部元数据。 BlueStore（或者更确切地说，嵌入式RocksDB）将在数据库设备上放置尽可能多的元数据以提高性能。如果数据库设备填满，元数据将写到主设备。同样，数据库设备要比主设备更快，则提供数据库设备是有帮助的。

如果只有少量快速存储可用（例如，小于1GB），我们建议将其用作WAL设备。如果还有更多，配置数据库设备会更有意义。 BlueStore日志将始终放在可用的最快设备上，因此使用数据库设备将提供与WAL设备相同的优势，同时还允许在其中存储其他元数据。
3 \: h4 G/ D% f6 P( i6 s$ i6 N. V
正常L版本推荐使用filestore，M版本可以考虑使用bluestore
" a6 [- [% {. W: y/ Q# W/ E
0 a9 x. U5 T% r) f- s推荐优化文章：https://www.cnblogs.com/luxiaodai/p/10006036.html#_lab2_1_9

关于性能测试
推荐使用fio参考阿里云文档：https://help.aliyun.com/document ... .659.38b44da2KZr2Sn
1 w3 p/ B" Z5 b  G0 y1 A
5 q! L- V" Q' t, f4 X; Y! [dd

echo 3 > /proc/sys/vm/drop_caches
dd if=/dev/zero of=/var/lib/ceph/osd/ceph-0/test.img bs=4M count=1024 oflag=direct
dd if=/var/lib/ceph/osd/ceph-0/test.img of=/dev/null bs=4M count=1024 oflag=direct
ShellCopy
rados bench性能测试
rados bench -p <pool_name> <seconds> <write|seq|rand> -b <block size> -t --no-cleanup
    pool_name 测试所针对的池
    seconds 测试所持续的时间，以秒为单位
+ u! |0 T( n0 x. A# f5 c    <write|seq|rand> 操作模式，分别是写、顺序读、随机读
    -b <block_size> 块大小，默认是4M
    -t 读/写的并行数，默认为16
    --no-cleanup 表示测试完成后不删除测试用的数据。在做读测试之前，需要使用该参数来运行一遍写测试来产生测试数据，在全部测试完成以后，可以行rados -p <pool_name> cleanup来清理所有测试数据
; E  U9 z4 P; @/ M1 q
#示例：
rados bench -p rbd 10 write --no-cleanup
rados bench -p rbd 10 seq
. I" T8 g0 s+ i# {% e+ GShellCopy
/ e' M) }% H3 x3 K- r$ R1 i( Mrbd bench性能测试
! N( i9 z/ ?3 A& a/ _rbd bench -p <pool_name> <image_name> --io-type <write|read> --io-size <size> --io-threads <num> --io-total <size> --io-pattern <seq|rand>
. S. P' g7 }- X, r: b# d5 Q/ @    --io-type 测试类型，读/写
    --io-size 字节数，默认4096
    --io-threads 线程数，默认16
$ r3 q' x7 o' j: ?) m    --io-total  读/写的总大小，默认1GB
    --io-pattern  读/写的方式，顺序还是随机
0 E) I4 d' @9 D( `3 W9 ?
#示例：
https://edenmal.moe/post/2017/Ceph-rbd-bench-Commands/
+ j$ f; C" d' vShellCopy
0 E: z1 Y$ b# a设置集群的标志
flag操作

4 M& I4 a! a0 ]7 a只能对整个集群操作，不能针对单个osd
语法：
ceph osd set
% T1 f$ O( M# X, uceph osd unset
( g' \8 f' n5 K" B0 M#示例：
ceph osd set nodown
! d7 H* [; x7 l) x3 ]& k% f1 Zceph osd unset nodown
ceph -s
; r  S/ T4 S  t7 d% k& M" ^  dShellCopy
/ @  A: T0 x# k2 U标志名称        含义用法详解
noup        OSD启动时，会将自己在MON上标识为UP状态，设置该标志位，则OSD不会被自动标识为up状态
& u; C, T0 u' N1 ?nodown        OSD停止时，MON会将OSD标识为down状态，设置该标志位，则MON不会将停止的OSD标识为down状态，设置noup和nodown可以防止网络抖动
noout        设置该标志位，则mon不会从crush映射中删除任何OSD。对OSD作维护时，可设置该标志位，以防止CRUSH在OSD停止时自动重平衡数据。OSD重新启动时，需要清除该flag
noin        设置该标志位，可以防止数据被自动分配到OSD上
( p: g- K+ h( P* Tnorecover        设置该flag，禁止任何集群恢复操作。在执行维护和停机时，可设置该flag
nobackfill        禁止数据回填
/ @; W: q, a6 U' n0 d/ Znoscrub        禁止清理操作。清理PG会在短期内影响OSD的操作。在低带宽集群中，清理期间如果OSD的速度过慢，则会被标记为down。可以该标记来防止这种情况发生
nodeep-scrub        禁止深度清理
2 E- M9 I# _( C" i& A, ?norebalance        禁止重平衡数据。在执行集群维护或者停机时，可以使用该flag
; r  {. O6 m; Bpause        设置该标志位，则集群停止读写，但不影响osd自检
full        标记集群已满，将拒绝任何数据写入，但可读
1 o" o& p- d" N5 [8 F9 V8 Yadmin sockets管理守护进程
' L" F/ z  h6 r$ \% A; L通过admin sockets，管理员可以直接与守护进程交互。如查看和修改守护进程的配置参数。
守护进程的socket文件一般是/var/run/ceph/cluster-cluster−type.$id.asok

基于admin sockets的操作：
4 Q3 {8 K) L8 S
ceph daemon $type.$id command
#或者
ceph --admin-daemon /var/run/ceph/$cluster-$type.$id.asok command
# ?7 H' [/ j  A0 q" T. y#常用command如下：
: O, m4 w0 B' i& u7 x2 Z$ Whelp
config get parameter
config set parameter
' V5 @5 U2 D9 Y1 l& Pconfig show
4 [, R' o& D% cperf dump
* S/ h  j3 m' g9 T0 XShellCopy
一、集群监控管理
集群整体运行状态

[root@cephnode01 ~]# ceph -s
cluster:
    id:     8230a918-a0de-4784-9ab8-cd2a2b8671d0
    health: HEALTH_WARN
            application not enabled on 1 pool(s)
+ k! `, x& i2 N4 b0 R7 @/ z( t
: J( h/ }4 w9 k  services:
  q: C! P/ v% |/ N# W! d! O& S    mon: 3 daemons, quorum cephnode01,cephnode02,cephnode03 (age 27h)
" K. t8 W! I7 g5 m" x+ s    mgr: cephnode01(active, since 53m), standbys: cephnode03, cephnode02
( x6 _( V) I  m* o    osd: 4 osds: 4 up (since 27h), 4 in (since 19h)
4 k& i% S& f+ M  k    rgw: 1 daemon active (cephnode01)
0 B1 f5 d$ ]9 r9 M
+ X5 J9 U5 y  \8 J) h+ Y( m  data:
    pools:   6 pools, 96 pgs
    objects: 235 objects, 3.6 KiB
    usage:   4.0 GiB used, 56 GiB / 60 GiB avail
# c4 V2 R& N$ Q, S9 |' |, u' G    pgs:     96 active+clean

    id：集群ID
$ f5 ^- N+ C! Z# C; `/ T    health：集群运行状态，这里有一个警告，说明是有问题，意思是pg数大于pgp数，通常此数值相等。
! G6 b- t+ `4 v9 q# c9 W8 W, X3 F    mon：Monitors运行状态。
    osd：OSDs运行状态。
    mgr：Managers运行状态。
    mds：Metadatas运行状态。
3 M* z* d2 ~, ]1 U0 i" i    pools：存储池与PGs的数量。
. U' j& z6 A& A    objects：存储对象的数量。
    usage：存储的理论用量。
    pgs：PGs的运行状态
) u0 s! r2 e5 F* V# u: a( l
~]$ ceph -w
3 G7 u6 c" l7 H: P~]$ ceph health detail
ShellCopy
PG状态
* }- N5 w4 z- x查看pg状态查看通常使用下面两个命令即可，dump可以查看更详细信息

~]$ ceph pg dump
5 Y* H, j5 n4 z$ H7 b) @) p~]$ ceph pg stat
ShellCopy
Pool状态
& K& D% c7 u! N* t  k4 B~]$ ceph osd pool stats
$ z0 A4 I9 y% x8 _: g* U7 ^~]$ ceph osd pool stats
! {! `6 o! ?9 y" l7 {" U/ l, MShellCopy
OSD状态
2 @7 R- Z! |6 x. m~]$ ceph osd stat
~]$ ceph osd dump
~]$ ceph osd tree
; D+ k' E9 V/ f0 _# B2 F, f" I! Y~]$ ceph osd df
4 e5 O7 R' T! TShellCopy
1 p2 T. T& G( H2 r0 O% b% bMonitor状态和查看仲裁状态
, w* B: @% j: T, b" |~]$ ceph mon stat
~]$ ceph mon dump
1 ]! y+ s5 `+ R7 H2 L; E~]$ ceph quorum_status
. z. R' q. K, xShellCopy
集群空间用量
8 A0 `' K/ G5 M1 c' [~]$ ceph df
~]$ ceph df detail
ShellCopy
& J1 b7 Y7 G* }( `$ Y+ |6 B: z; o二、集群配置管理(临时和全局，服务平滑重启)
有时候需要更改服务的配置，但不想重启服务，或者是临时修改。这时候就可以使用tell和daemon子命令来完成此需求。
& M1 \" v; |9 ~8 t+ T: J% u3 [1 d! e2 e
1、查看运行配置
+ S! d7 O- T5 X) h命令格式：
4 U9 ?% R  ]8 _/ r# s- G# ceph daemon {daemon-type}.{id} config show
5 k9 Y7 d) x, ?. c4 m1 a4 K1 O
6 ]+ L3 P7 `- i$ ]$ W; y5 ]/ Y- t命令举例：
' I  B9 ~' c: v" a, h  R# q8 t# ceph daemon osd.0 config show
ShellCopy
2、tell子命令格式
1 A! W; `- |1 Q, K# b使用 tell 的方式适合对整个集群进行设置，使用 * 号进行匹配，就可以对整个集群的角色进行设置。而出现节点异常无法设置时候，只会在命令行当中进行报错，不太便于查找。

6 p! e# h. j0 j: {3 q2 X+ I: V命令格式：
# ceph tell {daemon-type}.{daemon id or *} injectargs --{name}={value} [--{name}={value}]
% t+ a- L) k' o# V$ W5 @命令举例：
# ceph tell osd.0 injectargs --debug-osd 20 --debug-ms 1
, o0 g7 p) l  sShellCopy
daemon-type：为要操作的对象类型如osd、mon、mds等。
9 p$ c0 Z8 M. A2 Gdaemon id：该对象的名称，osd通常为0、1等，mon为ceph -s显示的名称，这里可以输入*表示全部。
injectargs：表示参数注入，后面必须跟一个参数，也可以跟多个
3、daemon子命令
使用 daemon 进行设置的方式就是一个个的去设置，这样可以比较好的反馈，此方法是需要在设置的角色所在的主机上进行设置。
命令格式：
2 e. B/ C% ]- b# ceph daemon {daemon-type}.{id} config set {name}={value}
命令举例：
# ceph daemon mon.ceph-monitor-1 config set mon_allow_pool_delete false
# H( b% U2 K/ j7 a( zShellCopy
三、集群操作
命令包含start、restart、status
7 Y) K6 d0 ]+ r" [9 m#1.启动所有守护进程
7 X$ E) {) |& b1 L; s' P! gsystemctl start ceph.target

#2.按类型启动守护进程
systemctl start ceph-mgr.target
systemctl start ceph-osd@id
systemctl start ceph-mon.target
+ q# l/ V+ U( D( o3 Asystemctl start ceph-mds.target
# `1 X' @% @0 h/ ]+ d+ msystemctl start ceph-radosgw.target
ShellCopy
四、添加和删除OSD
1 C. p" t8 W3 T0 T7 L" Q; h/ K1、添加OSD
纵向扩容(会导致数据的重分布)
9 A1 v: [9 U$ ], c* M2 A生产环境下最好的做法就是不要一次性添加大量的osd，最好逐步添加等待数据同步后再进行添加操作

7 E/ B" ?0 n9 [  A当影响生产数据时候临时可以停止同步：ceph osd set [nobackfill|norebalance],unset取消对应的参数
6 V2 f, e* l+ L9 e) X#1.格式化磁盘
ceph-volume lvm zap /dev/sd<id>
3 p1 W: Y' ?5 {8 `' F+ _- V) `0 O
#2.进入到ceph-deploy执行目录/my-cluster，添加OSD
3 e: `) W& v. aceph-deploy osd create --data /dev/sd<id> $hostname
ShellCopy
2、删除OSD
5 m( A$ P) D  }6 J- y点击跳转官方文档地址
如果机器有盘坏了可以使用dmdsg查看坏盘
0 X' V" C6 F; @: Z- f7 F" |
存在一种情况就是某osd的写入延迟大盘有坏道很大可能会拖垮ceph集群：
* z$ B1 L9 h/ |4 d
ceph osd tree: 查看当前集群的osd状态
3 K- U( h6 z) [( O/ o) I6 w+ D9 [ceph osd perf: 查看当前的OSD的延迟
  i( v( C7 }% r$ r' Y当某一快osd踢出集群时候立即做数据重分布(默认10分钟)
8 o- Y4 o. `0 i1 @, q1、调整osd的crush weight为 0
ceph osd crush reweight osd.<ID> 0.0
9 \) R! w2 j/ t* N
, c2 Y7 v3 o  |& q" S2、将osd进程stop
8 E6 O1 H, L( c4 D2 L  S% K7 usystemctl stop ceph-osd@<ID>
# P8 ^9 r/ x" U
' a& A% E% W2 H3、将osd设置out(将会出发数据重分布)
ceph osd out <ID>
$ |' r, V! B( S, l) Y# b
4、从crushmap中踢出osd
# 查看运行视图的osd状态
ceph osd crush dump|less
ceph osd crush rm <osd>.id

5、从tree树中删除osd
ceph osd rm <osd>.id

6、(选用)立即执行删除OSD中数据
1 r* ]7 M8 {% m& n/ d( Vceph osd purge osd.<ID> --yes-i-really-mean-it

6 Q6 f. h2 Z6 g$ S' G7、卸载磁盘
umount /var/lib/ceph/osd/ceph-？

8.从认证中删除磁盘对应的key
( V5 j1 T, u3 b. n% A( F# 查看认证的列表
ceph auth list
ceph auth rm <osd>.id
% p- L- J: p: hShellCopy
五、扩容PG
1 M+ A, `; @, @# L/ Y: Q1、扩容大小取跟它接近的2的N次方
. m( W7 b% A* |+ j0 U! o2、在更改pool的PG数量时，需同时更改PGP的数量。PGP是为了管理placement而存在的专门的PG，它和PG的数量应该保持一致。如果你增加pool的pg_num，就需要同时增加pgp_num，保持它们大小一致，这样集群才能正常rebalancing。
ceph osd pool set {pool-name} pg_num 128
ceph osd pool set {pool-name} pgp_num 128
六、Pool操作
1 O3 r4 E# n1 W! Y  L: X5 q7 p列出存储池
ceph osd lspools
创建存储池
命令格式：
# ceph osd pool create {pool-name} {pg-num} [{pgp-num}]
命令举例：
$ `2 W  M* ^) F/ h, J; ^# v# ceph osd pool create rbd  32 32
" x# h" f! s7 b8 @* f7 m& g2 W设置存储池配额
命令格式：
# ceph osd pool set-quota {pool-name} [max_objects {obj-count}] [max_bytes {bytes}]
命令举例：
7 R/ b- L/ k4 ]# ceph osd pool set-quota rbd max_objects 10000
删除存储池
ceph osd pool delete {pool-name} [{pool-name} --yes-i-really-really-mean-it]
重命名存储池
ceph osd pool rename {current-pool-name} {new-pool-name}
查看存储池统计信息
; I; C' E. r# L. d9 }9 drados df
9 X4 d+ a7 }  [4 |5 W1 y给存储池做快照
ceph osd pool mksnap {pool-name} {snap-name}
删除存储池的快照
ceph osd pool rmsnap {pool-name} {snap-name}
获取存储池选项值
ceph osd pool get {pool-name} {key}
调整存储池选项值
/ g0 k1 `9 Y, p/ b) ?! c  ]ceph osd pool set {pool-name} {key} {value}
# `, d) }1 @' |( D9 o7 D  dsize：设置存储池中的对象副本数，详情参见设置对象副本数。仅适用于副本存储池。
min_size：设置 I/O 需要的最小副本数，详情参见设置对象副本数。仅适用于副本存储池。
pg_num：计算数据分布时的有效 PG 数。只能大于当前 PG 数。
pgp_num：计算数据分布时使用的有效 PGP 数量。小于等于存储池的 PG 数。
hashpspool：给指定存储池设置/取消 HASHPSPOOL 标志。
target_max_bytes：达到 max_bytes 阀值时会触发 Ceph 冲洗或驱逐对象。
( M! m+ q, J% z4 ztarget_max_objects：达到 max_objects 阀值时会触发 Ceph 冲洗或驱逐对象。
scrub_min_interval：在负载低时，洗刷存储池的最小间隔秒数。如果是 0 ，就按照配置文件里的 osd_scrub_min_interval 。
scrub_max_interval：不管集群负载如何，都要洗刷存储池的最大间隔秒数。如果是 0 ，就按照配置文件里的 osd_scrub_max_interval 。
deep_scrub_interval：“深度”洗刷存储池的间隔秒数。如果是 0 ，就按照配置文件里的 osd_deep_scrub_interval 。
ShellCopy
获取对象副本数
ceph osd dump | grep 'replicated size'
- m2 w) Y7 F5 |' T# U% w9 N+ d" s! I七、用户管理
$ K! I4 x8 O) u- k0 z+ f8 a: fCeph 把数据以对象的形式存于各存储池中。Ceph 用户必须具有访问存储池的权限才能够读写数据。另外，Ceph 用户必须具有执行权限才能够使用 Ceph 的管理命令。

1、查看用户信息
查看所有用户信息
# ceph auth list
9 r1 D0 Y  v7 u获取所有用户的key与权限相关信息
# ceph auth get client.admin
9 m: _6 i- @) i4 H+ n. r% h如果只需要某个用户的key信息，可以使用pring-key子命令
% [$ A% u- y! Q4 \0 g8 E" E# ceph auth print-key client.admin
2、添加用户
# ceph auth add client.john mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth get-or-create client.george mon 'allow r' osd 'allow rw pool=liverpool' -o george.keyring
# ceph auth get-or-create-key client.ringo mon 'allow r' osd 'allow rw pool=liverpool' -o ringo.key
3、修改用户权限
+ V+ Z! p7 o1 b& L# ceph auth caps client.john mon 'allow r' osd 'allow rw pool=liverpool'
# ceph auth caps client.paul mon 'allow rw' osd 'allow rwx pool=liverpool'
# ceph auth caps client.brian-manager mon 'allow *' osd 'allow *'
  k; |* i: L% D. I8 A# ceph auth caps client.ringo mon ' ' osd ' '
4、删除用户
  M  I. ]- ]* Z7 U7 D8 q# ceph auth del {TYPE}.{ID}
其中， {TYPE} 是 client，osd，mon 或 mds 的其中一种。{ID} 是用户的名字或守护进程的 ID 。
: A2 H- a2 D) H* E( R
八、增加和删除Monitor
一个集群可以只有一个 monitor，推荐生产环境至少部署 3 个。 Ceph 使用 Paxos 算法的一个变种对各种 map 、以及其它对集群来说至关重要的信息达成共识。建议（但不是强制）部署奇数个 monitor 。Ceph 需要 mon 中的大多数在运行并能够互相通信，比如单个 mon，或 2 个中的 2 个，3 个中的 2 个，4 个中的 3 个等。初始部署时，建议部署 3 个 monitor。后续如果要增加，请一次增加 2 个.

! E6 J/ p' X; A. P  |0 m1、新增一个monitor
# N- }- b$ d& E4 d: E% |# ceph-deploy mon create $hostname
2 O4 j/ c; l6 y' ?! s1 E注意：执行ceph-deploy之前要进入之前安装时候配置的目录。/my-cluster

2、删除Monitor
# ceph-deploy mon destroy $hostname
* l7 a+ L2 a6 T7 S% }6 [# c注意： 确保你删除某个 Mon 后，其余 Mon 仍能达成一致。如果不可能，删除它之前可能需要先增加一个。
! d, x* h2 M% C3 l4 ?$ M  A
( D) H2 i+ x2 Q- Y6 _" w