ceph rados 相关命令以及清除pool池所有数据

admin

ceph rados 清除pool池所有数据
7 ?- W& V/ f0 U9 L4 m& C

清除资源池数据

1 e! t6 Z, _  u1 [rados purge vms --yes-i-really-really-mean-it
' ^  Y9 y  j# q) _3 _9 S# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
; l: ]7 i& e9 M    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum controller (age 2h)
0 F: e) _9 [: v  y    mgr: controller(active, since 110m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)
: h, E3 m; u% N6 m3 S2 U- @
( q$ F5 {! h; O) E1 g7 M7 @  data:
( v7 j% Z+ A9 N5 i    pools:   1 pools, 64 pgs
    objects: 51.15k objects, 239 MiB
    usage:   12 GiB used, 1.1 TiB / 1.1 TiB avail
    pgs:     64 active+clean

  io:
    client:   0 B/s wr, 0 op/s rd, 101 op/s wr
, Y7 Y5 Q  A. |7 g# y, {: \
" E! O2 n% q7 y) ~2 [# rados purge vms --yes-i-really-really-mean-it
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
6 N$ R. q- h3 \; @2 {5 x9 GWarning: using slow linear search
2 j# i- }/ F" Z0 D( `0 r. X- ARemoved 52369 objects
successfully purged pool vms
[root@controller ~]#
[root@controller ~]# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
6 k8 w% _5 b  n5 j% Z, ^9 B    health: HEALTH_OK
5 F: S7 q& ]$ f. }& {! m4 P0 U
0 W9 a. w3 U* ~% U( P, E+ {- T  services:
    mon: 1 daemons, quorum controller (age 2h)
    mgr: controller(active, since 113m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)

  data:
' X/ S# F# R. ]7 L- J! H7 y+ y" J    pools:   1 pools, 64 pgs
9 U& l4 R, e* u7 ~1 K" e    objects: 0 objects, 0 B
) U. d$ N( \# Y: x, _. K2 L    usage:   3.0 GiB used, 1.1 TiB / 1.1 TiB avail
7 [: e8 f9 l1 _4 ]' t    pgs:     64 active+clean
3 s) `4 B& j4 u! E/ T

查看资源池信息：
# _1 N' T  q' P6 ` rados df -p pool1

-p参数是指定具体资源池，如果不加，则显示所有

rados df -p vms
& R/ t( k: m0 [) e& pwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
POOL_NAME    USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
0 I, s" Y3 {: L- w: a& [) @- Bvms       2.7 GiB   14963      0  44889                  0       0        0    447 371 KiB  93461 254 MiB        0 B         0 B
total_objects    14963
total_used       5.8 GiB
total_avail      1.1 TiB
total_space      1.1 TiB

# rados df
& p& g( z/ f; Z* L, z, B# C; Z9 Bwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
% I& n: U9 e2 \% i, {! c2 J) ivms        0 B       0      0      0                  0       0        0    447 371 KiB 108424 254 MiB        0 B         0 B
. U' f- a) G. |' \total_objects    0
+ a6 I* Z7 K5 ztotal_used       3.0 GiB
6 f  ]+ \7 x8 V0 Vtotal_avail      1.1 TiB
* x& `0 T; G: K  M7 Q+ Ktotal_space      1.1 TiB

[root@compute1 ~]# rados ls -p vms
5 N$ G0 Q3 B1 v) uwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined

admin

将指定文件作为对象写入到资源池 put
; X* d" }/ X# }) d% qrados -p test_rep_pool put obj_name test.txt将test.txt以obj_name为名称
#写入之前的对象数
data:
- d; H0 G5 P8 q0 B9 }2 g; gpools:   2 pools, 256 pgs
objects: 2 objects, 19B
& J' ~  d* O0 w+ C7 ^usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
2 Z: j+ D# V% v8 n, W  f#写入之后的对象数
0 H( |9 `& ^7 U. _  Ndata:
/ A: J8 K# C: Fpools:   2 pools, 256 pgs
objects: 3 objects, 2.78MiB
# B8 M8 p( ]( J( d+ @0 s, D  nusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
#查看对象列表如下
[root@node1 ~]# rados -p test_rep_pool ls
obj_name

此外，该命令可以指定写入对象的偏移量，默认是从0开始，我可以指定具体的偏移量，单位为B
rados -p test_rep_pool put obj_name test.txt --offset 1048576，我设置的是从起始地址偏移1M，执行结果如下
+ W3 g4 d0 e# rdata:
. R6 t+ z0 q( s) Jpools:   2 pools, 256 pgs
6 r2 H% W! M1 P0 g  X, Robjects: 3 objects, 3.78MiB #本应该是2.78M,我偏移了1M开始写，现在变为3.78M  
/ V6 m! j* u- ^% n. t3 ~+ K2 lusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
1
2
3
4
5
3 O6 H4 ?$ `9 h9 a1 A  P/ w" g' _这个命令极大得方便我们去测试分析bluestore 的io流程
向指定对象追加内容append
7 k9 w' `7 v5 X$ Prados -p test_rep_pool append obj_name ceph-osd.16.log
删除指定长度对象内容truncate
rados -p test_rep_pool truncate obj_name 524288 删除obj_name 对象512kb的容量
- O0 G# f3 f3 q2 W$ r# \创建对象create
! G. ?- l$ K& n  [! z7 V0 Lrados -p test_rep_pool create obj_name2这里是创建了一个空对象
! t9 t) h) U3 p. b[root@node1 ~]# rados -p test_rep_pool ls
* |% Q: z" N2 I3 z% _6 x6 @) Oobj_name2
/ C& p! [, T- X+ P3 hobj_name
[root@node1 ~]# rados -p test_rep_pool stat obj_name2 #显示对象信息，包括所在资源池。修改修改时间，大小
test_rep_pool/obj_name2 mtime 2019-05-10 21:12:40.000000, size 0
4 L) }1 r- I, I1
9 N8 i0 _$ Q! v2
3
4
; M5 l. Z+ ~7 e- R5
. [& J" o2 T$ c3 X  c7 b  I7 D删除指定对象rm
+ w: X0 W! J( yrados -p test_rep_pool rm obj_name2 或者加--force-full时强制删除一个对象，不在乎对象此时状态
拷贝对象cp
8 W5 W4 q9 N% m9 L. prados -p test_rep_pool cp obj_name test_cp_obj
[root@node1 ~]# rados -p test_rep_pool cp obj_name test_cp_obj
- M/ N- g: }( G, E& @[root@node1 ~]# rados -p test_rep_pool ls
9 l! ?( {+ J+ E% Z/ zobj_name2
* b, P$ \5 X: v% }- R: Wtest_cp_obj
obj_name
#查看这两个对象的信息，可以看到已经成功拷贝
[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:08:49.000000, size 524288
[root@node1 ~]# rados -p test_rep_pool stat test_cp_obj
test_rep_pool/test_cp_obj mtime 2019-05-10 21:17:29.000000, size 524288
. J$ A0 F" O2 W1
2
3
7 e1 b2 c; Z2 b7 Y& a0 P7 w2 ~4
5
) G  V: r3 _# g' p1 T6
7
) J, j+ W: F  G8
' P, J3 M0 g9 h9
. \' N$ Q- h5 I+ \! J5 R10
+ S- S! Z: {0 A  L: @0 n查看对象的属性 listxattr
6 X9 g8 h, _" mrados -p data listxattr obj_name
0 l' O" b0 m( [  B& {- h. [获取对象指定属性getxattr
( f/ {8 K3 p4 |  C- j8 |) z, frados -p data getxattr obj_name attr
设置对象属性值setxattr
! @6 n3 x5 C6 R2 X* Y) Z0 N& vrados -p data setxattr obj_name attr val
3 v2 \  l4 w5 {5 r( x4 o* i删除对象指定属性rmxattr
rados -p data rmxattr obj_name attr
#先设置对象属性值
rados -p test_rep_pool setxattr obj_name test_attr true
+ p. n1 F$ }+ p+ L( c, Jrados -p test_rep_pool setxattr obj_name test_attr2 false
#列出对象属性值
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
4 y& S6 ~: L) D- mtest_attr
+ I$ e, Y7 v) W/ Ktest_attr2
#获取对象指定属性值
[root@node1 ~]# rados -p test_rep_pool getxattr obj_name test_attr
! A6 M9 o2 a  T3 y  B: B6 u/ Strue
#删除test_attr属性,只剩下一个属性
$ Q4 m' ~% [& K  \" `# V- c[root@node1 ~]# rados -p test_rep_pool rmxattr obj_name test_attr
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
( p  n' b- S. }8 }) B3 Xtest_attr2
; s) C1 y; s7 E. H* [1
2
! X! D/ G/ x) U/ n% |: i5 I" ?" @3
4
5
3 P' m4 A& `3 T, M4 Z6
% F/ V1 t' o' _9 \7
8
9
& S+ p; S7 h4 Q3 i+ L9 E10
% O! e4 l6 y; i# U2 S; c' E+ W/ s( I11
! D" L& E# j* }# o7 O! R9 E9 f12
( X! Q& W) u% n; N. _. \: A13
5 j" {! H" [$ E' A3 {14
可以理解这几个命令可以为对象打标，来标记我们自己操作过的对象
查看对象信息
rados -p test_rep_pool stat obj_name
: P) L4 z+ F; {$ q, Q  K# l  p[root@node1 ~]# rados -p test_rep_pool stat obj_name
: i* x& e3 t3 I& j" btest_rep_pool/obj_name mtime 2019-05-10 21:33:48.000000, size 524288
3 E8 _8 H3 y4 H# |0 @, m1
2 p  K. Q) `1 L$ x- Z  R2
设置对象头部内容 setomapheader
6 @1 w6 g& E6 S3 A  t[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
获取对象头部内容getomapheader
6 v. ~$ `. @. U1 nrados -p test_rep_pool getomapheader obj_name
: t) w% w5 _+ v4 x4 W#设置对象头部信息为1
- X8 V! M# L$ a[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
# L; M6 d4 @+ K#获取对象头部信息
[root@node1 ~]# rados -p test_rep_pool getomapheader obj_name
header (1 bytes) :
7 @! b/ |! k8 n* a: @, @, z  S00000000  31                                                |1|
00000001
. M9 u$ ]/ H: B1 G+ ^1
; M$ r$ U: ~& V$ a0 U: ?  @+ P8 q) \2
' S# p4 \+ r. \. I" A3
/ e) c( T$ _" k' K$ W& [4
3 Y4 e: j/ x* `0 q- Y- v" O5
8 I" D7 C" C- T* Q7 u# K4 r6
7
设置对象的键值属性 setomapval
! g; N( N' Q2 S/ E. i+ Xrados -p test_rep_pool setomapval obj_name key val
列出omap的键listomapkeys
rados -p test_rep_pool listomapkeys obj_name key val
: U4 _3 W2 H# X. x: b/ K9 o* T列出omap的键listomapvals
rados -p test_rep_pool listomap obj_name keys
/ O. b5 E" s9 y  }4 q! \# }. Y获取对象的指定键的值 getomap val
rados -p test_rep_pool getomapval obj_name key
删除对象的指定键和值 rmomapkey
$ t. g" D+ I/ |. k+ s  ~rados -p test_rep_pool rmomapkey obj_name key
) a4 D' s1 E1 y+ {, O# h* g6 Z! S监控对象操作，并且向监控者发送消息 有点类似与局域网通信
9 v# b0 i6 c2 m6 D, h#终端一 :监听该对象
! U$ [* M" P- j[root@node1 ~]# rados -p test_rep_pool watch obj_name
press enter to exit...
#终端二：发送消息到终端一的该对象监听者
[root@node1 ~]# rados -p test_rep_pool notify obj_name message
! k0 {4 X3 k9 f& [$ z# A+ ereply client.86788 cookie 140047050446368 : 11 bytes
' z$ g) |- d2 W+ A- G; S00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
0000000b
#此时终端一接收到消息如下
NOTIFY cookie 140047050446368 notify_id 940597837824 from 86797
00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
0000000b
1
, y/ w  ?: l$ l3 i( X2
. @+ z+ l) \6 @# f- ]2 A1 w3
4
5
6
7
8
( B1 t; D' I; r; z' l0 T9
10
. I; w. O! L% \, z: {3 k11
12
5 R, [8 l5 k' ~! h13
14
) H2 }+ l: K9 U3 J( \1 Q) ^查看有多少个对象监控者
! U1 X4 |, {" F( R- c& Erados -p test_rep_pool listwatchers obj_name
) n% q+ L" V2 _- u: n[root@node1 ~]# rados -p test_rep_pool listwatchers obj_name
. @$ i- R" O  I1 N4 D& C6 e6 B  Y  [watcher=192.168.122.1:0/3015025283 client.86788 cookie=140047050446368
1
, P4 g' o6 }( v. ?4 f& N2
设置一个对象的大小以及写粒度，但是目前并未分析清除该设置所起的作用
+ q* e$ j( n$ @( {rados -p test_rep_pool set-alloc-hint 4194304 4194304大小为4M ,写粒度为4M
导出资源池数据
该命令方便数据备份
7 O; M7 j3 E. h' i2 b: I. o- Z" U将资源池内容输出或者写入指定文件
/ ]" x8 u& j% S( mrados -p test_rep_pool export pool_content
. g3 l+ C" J6 o8 ]" R9 i因为导出的文件为数据文件，所以查看内容需使用hexdum -C pool_content格式化输出或者使用vim进入一般模式输入:%!xxd 从而将该文件转换为16进制可读文件

[root@node1 ~]# vim pool_content
) K; a+ a7 t% w) w& s+ D% a' K- d0000000: ceff ceff 0200 0000 1200 0000 0a00 0000  ................
0000010: 0101 0c00 0000 ceff 0a0a 0000 0000 0000  ................
0000020: 0000 0101 0c00 0000 ceff 0303 2701 0000  ............'...
5 c% w9 k' j  t# Y0000030: 0000 0000 0301 2101 0000 0403 2a00 0000  ......!.....*...
0000040: 0000 0000 0900 0000 6f62 6a5f 6e61 6d65  ........obj_name
0000050: 32fe ffff ffff ffff ff00 0000 0000 0000  2...............
8 o  s" Z& a2 V% o7 r, {...
00001b0: ec01 010c 0000 00ce ff04 0400 0000 0000  ................
  \* N3 k( T; L6 c00001c0: 0000 0001 010c 0000 00ce ff03 0328 0100  .............(..
) ^! f1 b4 y" L3 i2 o00001d0: 0000 0000 0003 0122 0100 0004 032b 0000  .......".....+..
00001e0: 0000 0000 000a 0000 006f 626a 5f63 7265  .........obj_cre
00001f0: 6174 65fe ffff ffff ffff ff00 0000 0000  ate.............
1
2
: w9 a# H! L: B- q4 S$ D- |) A3
: v0 W1 h& o) N4
. F* K0 N  Z# s" R3 q2 r5
1 e! F  v' U8 x& D) }" h6
4 p: k4 x' |" t& S# W1 A7
8
/ n4 t' H& q+ U+ \5 _. Q# c7 _5 I9
10
  V' |1 s, H6 O/ c) {, B11
12
13
14
将资源文件导入指定资源池
rados -p test_rep_pool import pool_content
导入之前，我们对以上资源池数据进行清除，操作如下
+ q! `6 P4 P! z[root@node1 ~]# rados purge test_rep_pool --yes-i-really-really-mean-it
( p' j3 U9 ^4 m$ [" n" @Warning: using slow linear search
$ B/ E9 y. R7 l" `' y$ ARemoved 5 objects
successfully purged pool test_rep_pool
[root@node1 ~]# rados -p test_rep_pool import pool_content
Importing pool
) J, s$ t$ n: k6 y2 v. a3 I% l* K6 m1 ^2 `Write #-9223372036854775808:00000000:::obj_name2:head#
Write #-9223372036854775808:00000000:::obj_create:head#
1 ]1 A) y5 C! _- f) wWrite #-9223372036854775808:00000000:::test_cp_obj:head#
Write #-9223372036854775808:00000000:::obj_name:head#
9 b4 k. x. Z' w6 {+ F8 |Write #-9223372036854775808:00000000:::obj_test:head#
  N+ Y7 l' Q$ s' F  t1
: D4 ]3 I/ _/ q! n" C2 ]2
3
4
  m& B/ _& s6 O5
# T2 S/ B, _& Y, {2 Q6 e5 w6
7
8
* m3 A) M( L2 ?' H& e9 C$ P9
; L' M, v0 ^! L- a$ P10
; T+ s/ r$ T3 [4 b11
( V7 f' j3 r% d' a7 W因为rados命令集较为庞大，本文主要介绍的时rados对象操作相关的命令，还有一些其他命令未介绍，各位可以通过rados -h帮助信息进行查看。
————————————————
版权声明：本文为CSDN博主「z_stand」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Z_Stand/article/details/90084858