ceph rados 相关命令以及清除pool池所有数据

admin

ceph rados 清除pool池所有数据
: c7 o6 m- S% z, _2 t6 ]% G

清除资源池数据

4 d1 x: Y+ ?% N1 k, n7 G  ?* Frados purge vms --yes-i-really-really-mean-it
# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
% U# a: |6 I0 p5 _    health: HEALTH_OK

  services:
1 @4 ~' x+ h, g5 H% Q" @    mon: 1 daemons, quorum controller (age 2h)
/ M- m7 l! ?* n' o; R% e    mgr: controller(active, since 110m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)

  data:
    pools:   1 pools, 64 pgs
' n$ M) a0 Q1 z    objects: 51.15k objects, 239 MiB
    usage:   12 GiB used, 1.1 TiB / 1.1 TiB avail
    pgs:     64 active+clean
9 s  z2 A; b/ W: j; O
& _# i. V6 p$ t! z8 G5 y; l. w  io:
; z$ W6 I& D4 P2 B7 ?% _+ l    client:   0 B/s wr, 0 op/s rd, 101 op/s wr

3 E# t7 s- |* P% B4 |# rados purge vms --yes-i-really-really-mean-it
; }9 `" N  J/ H8 P/ s4 _' ewarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
Warning: using slow linear search
Removed 52369 objects
7 D; m, e' F4 X7 Nsuccessfully purged pool vms
+ V" X" I' ?9 @4 ?) s% ]. a) b0 A8 F[root@controller ~]#
[root@controller ~]# ceph -s
8 g. n5 q4 q1 u  cluster:
. a- L2 `) J" ~$ A( O' T+ {    id:     e0d17961-53ae-4e10-9d34-823ba882f394
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum controller (age 2h)
    mgr: controller(active, since 113m)
, M5 C- z6 Y  m0 g    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)
* K" z, p% C* U
  data:
    pools:   1 pools, 64 pgs
( I- o2 u8 y+ A/ f3 G+ Q    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 1.1 TiB / 1.1 TiB avail
    pgs:     64 active+clean
9 t! B: c  N5 _

* X2 q0 [' Y. V  l, O查看资源池信息：
1 \1 t2 u; }) x# r* r; O' u% n; U9 I1 } rados df -p pool1

-p参数是指定具体资源池，如果不加，则显示所有

rados df -p vms
2 D( ]- X/ d- P! Wwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
POOL_NAME    USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
( `. t) k5 }& o: |vms       2.7 GiB   14963      0  44889                  0       0        0    447 371 KiB  93461 254 MiB        0 B         0 B
total_objects    14963
  p1 Q, h2 ~% Ntotal_used       5.8 GiB
total_avail      1.1 TiB
; m3 Q! a" Y: w) J+ @7 W. Vtotal_space      1.1 TiB
* v, g( t1 v6 L& ~- j# j; S
# rados df
  y1 ~: Q5 I! _; p7 Q7 g0 U. v! i4 swarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
POOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
vms        0 B       0      0      0                  0       0        0    447 371 KiB 108424 254 MiB        0 B         0 B
5 X+ {: V' W: ~# \1 f6 U( etotal_objects    0
total_used       3.0 GiB
total_avail      1.1 TiB
total_space      1.1 TiB

[root@compute1 ~]# rados ls -p vms
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
' v5 g- l) W( Q. _. v! `

admin

将指定文件作为对象写入到资源池 put
rados -p test_rep_pool put obj_name test.txt将test.txt以obj_name为名称
" g+ s$ h% E9 x& D; p) D#写入之前的对象数
data:
pools:   2 pools, 256 pgs
objects: 2 objects, 19B
usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
#写入之后的对象数
) C; I# j# P* X' r, tdata:
pools:   2 pools, 256 pgs
7 B& D( |6 o5 }& l* ^& o, F8 Uobjects: 3 objects, 2.78MiB
usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
: B. w# B0 q, L9 R( x5 A#查看对象列表如下
[root@node1 ~]# rados -p test_rep_pool ls
obj_name

) [& c- a6 `- @, h此外，该命令可以指定写入对象的偏移量，默认是从0开始，我可以指定具体的偏移量，单位为B
: \1 Q. Z6 v) @- G4 h1 i3 k- W" Prados -p test_rep_pool put obj_name test.txt --offset 1048576，我设置的是从起始地址偏移1M，执行结果如下
data:
pools:   2 pools, 256 pgs
objects: 3 objects, 3.78MiB #本应该是2.78M,我偏移了1M开始写，现在变为3.78M  
+ \# V$ R$ l# O9 w/ pusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
! l! L# K3 F9 L2 X& E1
" Y- {  A9 I  b$ Y8 a. F: q  L2
3
4
5
这个命令极大得方便我们去测试分析bluestore 的io流程
" a- H" a  Q0 ~1 g1 Y" v9 `7 j向指定对象追加内容append
. O. C* A! ~& z8 Zrados -p test_rep_pool append obj_name ceph-osd.16.log
9 M- ]& S" j. }1 [' ^5 z删除指定长度对象内容truncate
rados -p test_rep_pool truncate obj_name 524288 删除obj_name 对象512kb的容量
创建对象create
rados -p test_rep_pool create obj_name2这里是创建了一个空对象
% R  U$ v' q2 O# O& D2 d% S9 N( r7 I[root@node1 ~]# rados -p test_rep_pool ls
obj_name2
1 ?. `' E+ O6 ~) J! R9 Dobj_name
[root@node1 ~]# rados -p test_rep_pool stat obj_name2 #显示对象信息，包括所在资源池。修改修改时间，大小
! S8 |. _. @2 r/ W# f# d8 stest_rep_pool/obj_name2 mtime 2019-05-10 21:12:40.000000, size 0
1
5 X+ E2 b: y: E2 a4 F& m: P1 m2
3
* k3 M& V4 Q0 `. R; K1 H4
7 n8 `1 S. ~6 C5
, X' H9 I8 D0 d' j. ~/ m删除指定对象rm
+ D4 g+ i* {" p  J, r" k1 N+ Irados -p test_rep_pool rm obj_name2 或者加--force-full时强制删除一个对象，不在乎对象此时状态
拷贝对象cp
rados -p test_rep_pool cp obj_name test_cp_obj
0 M! W. C6 G- s; @[root@node1 ~]# rados -p test_rep_pool cp obj_name test_cp_obj
[root@node1 ~]# rados -p test_rep_pool ls
obj_name2
test_cp_obj
  c* w( Y3 `3 V3 Iobj_name
#查看这两个对象的信息，可以看到已经成功拷贝
[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:08:49.000000, size 524288
[root@node1 ~]# rados -p test_rep_pool stat test_cp_obj
test_rep_pool/test_cp_obj mtime 2019-05-10 21:17:29.000000, size 524288
: r4 H  m4 i! ~" J7 Y, A% n: f8 F7 U1
2
) q! b$ `' W' j/ A3
/ n3 ]9 T2 {4 L1 r. a4
5
  X* U: f( d5 Q7 ~8 p2 J6
6 ?* e* k9 U2 |9 q( U6 ^& C7
8
  w- }, t: H9 B& u. a3 y& ~9
, q. M0 ]( K+ ^0 h( k0 {- i10
& r5 X+ M$ I' i, p* b查看对象的属性 listxattr
rados -p data listxattr obj_name
获取对象指定属性getxattr
& L1 {, p- _* {3 K- x/ }) wrados -p data getxattr obj_name attr
# v# D3 a5 V0 Q4 A1 I设置对象属性值setxattr
( H! |2 I! I: p- t" `, x' |rados -p data setxattr obj_name attr val
  H( P  P* [3 a5 S0 Z删除对象指定属性rmxattr
rados -p data rmxattr obj_name attr
/ b. w* w1 P9 A- x#先设置对象属性值
% u: K6 X9 i  V/ m+ v* Jrados -p test_rep_pool setxattr obj_name test_attr true
5 \3 p. ~) ]: t: i3 nrados -p test_rep_pool setxattr obj_name test_attr2 false
#列出对象属性值
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
, k+ B4 K0 D7 H5 U% P) c& a: |test_attr
7 c  e5 C& R+ o  g6 ?  Xtest_attr2
#获取对象指定属性值
[root@node1 ~]# rados -p test_rep_pool getxattr obj_name test_attr
6 z2 x9 O  o: ztrue
. q: J8 t$ W/ h1 o  w# @* s" a#删除test_attr属性,只剩下一个属性
[root@node1 ~]# rados -p test_rep_pool rmxattr obj_name test_attr
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
test_attr2
1
$ B% O* L3 p# J+ Z( o7 D0 B2
3
1 l' ~: b4 ^4 C# G9 u# y4
6 h- s1 Y# E2 t: I* L8 x5
6
6 m1 E4 N, [& R0 i( Q9 Z4 b7
4 `& M( x6 h( d  S" y7 f8
9
% X5 s/ ]) G: N; Z10
  M2 P) H9 F- |# F11
12
13
) J, [# K, r7 c/ r! C14
可以理解这几个命令可以为对象打标，来标记我们自己操作过的对象
查看对象信息
0 I+ d% S4 ?; ~4 ^- crados -p test_rep_pool stat obj_name
- j. U5 t5 z, ]5 f: d[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:33:48.000000, size 524288
2 [- P1 r2 `: n$ m* i8 ~- K# M1
2
: n* X. f0 [5 ]  M0 ~1 S5 _" s设置对象头部内容 setomapheader
- x6 s1 D- d' w! P" s6 V$ G7 u" T[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
获取对象头部内容getomapheader
  h* V6 |+ g+ |rados -p test_rep_pool getomapheader obj_name
#设置对象头部信息为1
[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
+ @3 x, i$ X8 ?' m3 w7 R#获取对象头部信息
[root@node1 ~]# rados -p test_rep_pool getomapheader obj_name
4 K, O4 s8 G/ V9 cheader (1 bytes) :
00000000  31                                                |1|
! [& v3 a2 f5 e/ |# y4 h$ \00000001
0 ^! ~7 g- v( Q5 ~! x) v1
" j4 @6 x0 K2 A$ l2
1 f% \  N; `5 M# I' w3
4
4 M& J9 |4 j; W* V( {5
6 }# e/ s5 b8 ?: v6
7
设置对象的键值属性 setomapval
rados -p test_rep_pool setomapval obj_name key val
列出omap的键listomapkeys
' I- W. ~- T+ M0 w* m8 Rrados -p test_rep_pool listomapkeys obj_name key val
8 t, O% t  @* k列出omap的键listomapvals
rados -p test_rep_pool listomap obj_name keys
6 ~) ^* P/ j; K% l' ~* O8 F获取对象的指定键的值 getomap val
rados -p test_rep_pool getomapval obj_name key
# j1 T7 Y6 p2 d删除对象的指定键和值 rmomapkey
0 A2 O% H% P7 G( ^rados -p test_rep_pool rmomapkey obj_name key
& ?) ~2 g! p: e' ~3 T9 p+ r监控对象操作，并且向监控者发送消息 有点类似与局域网通信
$ w. ]# ]! z  A- [4 g3 S#终端一 :监听该对象
7 V7 i- X# F! G1 ][root@node1 ~]# rados -p test_rep_pool watch obj_name
press enter to exit...
0 x" l% m  ]* k; P1 t#终端二：发送消息到终端一的该对象监听者
[root@node1 ~]# rados -p test_rep_pool notify obj_name message
reply client.86788 cookie 140047050446368 : 11 bytes
- l! i3 d7 ^3 ~00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
4 W1 I# ~+ w* M# J- B0000000b
#此时终端一接收到消息如下
NOTIFY cookie 140047050446368 notify_id 940597837824 from 86797
: N; B1 t  P; j00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
3 |/ s+ k$ |- _: m" U9 l- Q9 Q0000000b
( |3 q; C7 t- k" M* D/ p. \1
" j; Y& U2 D( r9 y2
7 h# L. ?" o7 I/ K6 d9 `" S9 j3
, o( X, Q+ O5 k8 T8 M4
5
, m( B, k" D# z8 i( K9 v3 L' L% P6
# x# S  H9 y; i: q" X, q7
8
9
5 ?: o  n% ?: C9 G& q4 e' s) q10
11
12
13
14
7 H9 u# j0 j/ \8 X4 x4 c" {2 W查看有多少个对象监控者
. [0 P( u  v$ l' _/ irados -p test_rep_pool listwatchers obj_name
. Y. K  X+ ?/ r* v3 ~  g" n6 ?! ~[root@node1 ~]# rados -p test_rep_pool listwatchers obj_name
2 ^3 `! o. P! I8 v* ?$ uwatcher=192.168.122.1:0/3015025283 client.86788 cookie=140047050446368
1
2
% h0 x1 B, A, l# L. w设置一个对象的大小以及写粒度，但是目前并未分析清除该设置所起的作用
rados -p test_rep_pool set-alloc-hint 4194304 4194304大小为4M ,写粒度为4M
" n$ Q% [; v: X7 d4 f; E% R( ^& V导出资源池数据
, q* K8 c8 b" o5 f) S9 @该命令方便数据备份
6 U7 ^4 w& B* |' t9 U将资源池内容输出或者写入指定文件
rados -p test_rep_pool export pool_content
9 f' D- w) f& d因为导出的文件为数据文件，所以查看内容需使用hexdum -C pool_content格式化输出或者使用vim进入一般模式输入:%!xxd 从而将该文件转换为16进制可读文件
7 I4 {$ v# M- R6 ]
[root@node1 ~]# vim pool_content
' X* r5 f8 B9 l0000000: ceff ceff 0200 0000 1200 0000 0a00 0000  ................
0000010: 0101 0c00 0000 ceff 0a0a 0000 0000 0000  ................
( L! P  m4 v! `* @6 {& W( Q$ u' E0000020: 0000 0101 0c00 0000 ceff 0303 2701 0000  ............'...
- i9 v7 {2 c8 p9 @# R9 q0 w0000030: 0000 0000 0301 2101 0000 0403 2a00 0000  ......!.....*...
0000040: 0000 0000 0900 0000 6f62 6a5f 6e61 6d65  ........obj_name
0000050: 32fe ffff ffff ffff ff00 0000 0000 0000  2...............
4 M( U7 z" s7 e" x( o1 j# d$ }...
00001b0: ec01 010c 0000 00ce ff04 0400 0000 0000  ................
00001c0: 0000 0001 010c 0000 00ce ff03 0328 0100  .............(..
00001d0: 0000 0000 0003 0122 0100 0004 032b 0000  .......".....+..
2 b, ~/ i9 x/ _% I8 l00001e0: 0000 0000 000a 0000 006f 626a 5f63 7265  .........obj_cre
00001f0: 6174 65fe ffff ffff ffff ff00 0000 0000  ate.............
( K7 v$ X& u5 l9 A0 r6 P1 v1
- k5 S% \, s1 @" E2
3
, j( r' O+ W7 M! B4
) F) b- X$ _+ K+ w5 n5
6
7
8
5 n8 i8 o! M. Y% K) o8 y0 O0 ^+ y9
' O0 Z8 a' a& H4 B1 f10
11
12
9 v6 y- h( [+ {9 t5 X13
9 z; h, ~8 k1 h. O% \14
; v0 F* v! `$ K9 }' E* D/ |将资源文件导入指定资源池
/ X" D2 A8 Y! m. X) {8 {- ]6 Prados -p test_rep_pool import pool_content
  i& q" g, T, V0 p( v& Z导入之前，我们对以上资源池数据进行清除，操作如下
[root@node1 ~]# rados purge test_rep_pool --yes-i-really-really-mean-it
Warning: using slow linear search
2 |& f& W0 I2 s( [Removed 5 objects
8 E7 x7 e) x: ssuccessfully purged pool test_rep_pool
[root@node1 ~]# rados -p test_rep_pool import pool_content
Importing pool
. Y9 J0 n" ?3 r4 ^9 \; DWrite #-9223372036854775808:00000000:::obj_name2:head#
, M* ?. r4 |7 q2 H/ t  P5 nWrite #-9223372036854775808:00000000:::obj_create:head#
Write #-9223372036854775808:00000000:::test_cp_obj:head#
Write #-9223372036854775808:00000000:::obj_name:head#
Write #-9223372036854775808:00000000:::obj_test:head#
& h+ G) P, T. T' ]9 X: |5 }1
2
/ ?* n! G, r8 b& `2 i3
4
( K: _  N  N3 |' a. T, L5
6
$ h  v  k- s0 j  `. A! N7
8
8 g$ \" O7 i' a1 s, b1 `, [9
10
; v' s" y4 {) D, n# ?11
/ w& b  O% Q0 b, C2 b因为rados命令集较为庞大，本文主要介绍的时rados对象操作相关的命令，还有一些其他命令未介绍，各位可以通过rados -h帮助信息进行查看。
————————————————
版权声明：本文为CSDN博主「z_stand」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
0 O1 J& x" H7 }' C原文链接：https://blog.csdn.net/Z_Stand/article/details/90084858