ceph rados 相关命令以及清除pool池所有数据

admin

ceph rados 清除pool池所有数据
( L, j1 \9 r0 K% G+ @

清除资源池数据

rados purge vms --yes-i-really-really-mean-it
" Y. \- l* ^2 C# u" C. X4 i: j# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
. z4 h7 G9 m+ G0 m    health: HEALTH_OK

  services:
" E% K1 ^( O/ K1 z2 X    mon: 1 daemons, quorum controller (age 2h)
8 w/ V7 y& x/ b% P$ l9 T+ D    mgr: controller(active, since 110m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)

  data:
3 q8 H# }* ~: A% G    pools:   1 pools, 64 pgs
8 T( I; y! I! G* I6 G8 K    objects: 51.15k objects, 239 MiB
    usage:   12 GiB used, 1.1 TiB / 1.1 TiB avail
    pgs:     64 active+clean

9 P  T& M* }# z7 H6 b  io:
2 s4 {! O) l4 U3 ?/ Y    client:   0 B/s wr, 0 op/s rd, 101 op/s wr
! r$ ]) d& y/ J# }9 r8 ?% J
" R. U; [0 x3 L! R+ ^- x7 N# rados purge vms --yes-i-really-really-mean-it
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
Warning: using slow linear search
Removed 52369 objects
4 o) r5 o6 Y) Asuccessfully purged pool vms
1 _+ A: E/ P8 R# f  ?3 e[root@controller ~]#
/ H$ O, O' [9 T) C8 z, ]. f[root@controller ~]# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum controller (age 2h)
/ m+ X6 o' @% y# Z- n: g$ s    mgr: controller(active, since 113m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)

  data:
% N$ K% l, a4 m$ Z. N+ J$ L    pools:   1 pools, 64 pgs
9 W5 N- G/ H% t& H; w    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 1.1 TiB / 1.1 TiB avail
9 {( {) ~: Z- W7 u    pgs:     64 active+clean

% h9 R8 w0 }) V) @- C
( [" p  I6 C: k" t7 O: R5 w' [查看资源池信息：
5 d1 }7 h/ U) P, y$ B rados df -p pool1

-p参数是指定具体资源池，如果不加，则显示所有

( |6 O  z% r, a: q9 vrados df -p vms
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
; R! }& `+ o9 p* C7 s3 r3 o. APOOL_NAME    USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
vms       2.7 GiB   14963      0  44889                  0       0        0    447 371 KiB  93461 254 MiB        0 B         0 B
$ l( a4 T% f: I$ `2 G; Mtotal_objects    14963
9 S/ X6 f/ Y8 U. d4 A% A; ntotal_used       5.8 GiB
& D  L5 p+ A* t' stotal_avail      1.1 TiB
total_space      1.1 TiB
6 ^' S, y' w2 O8 K0 p
  o3 |/ \6 o( U, K( b8 q# rados df
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
. B# v! s: F4 o% G# JPOOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
vms        0 B       0      0      0                  0       0        0    447 371 KiB 108424 254 MiB        0 B         0 B
9 S% s$ m% K5 C) r9 y) w. rtotal_objects    0
total_used       3.0 GiB
8 ]; l1 u  J# g8 d0 m8 V) ptotal_avail      1.1 TiB
total_space      1.1 TiB
8 e# _# Q9 T5 b# b5 w: E/ O
" W9 V) a' b: D9 z7 j- i[root@compute1 ~]# rados ls -p vms
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
. Z4 b+ P/ r# P5 w

admin

将指定文件作为对象写入到资源池 put
rados -p test_rep_pool put obj_name test.txt将test.txt以obj_name为名称
- [+ V  m: u& m6 `#写入之前的对象数
data:
% S1 B6 Q( H  m9 wpools:   2 pools, 256 pgs
3 L  q- V, O  eobjects: 2 objects, 19B
6 N+ L  Z1 C! I% lusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
" j3 c( _5 \# Q: `" n* ?#写入之后的对象数
  j' D" b  s1 h: `0 Pdata:
pools:   2 pools, 256 pgs
objects: 3 objects, 2.78MiB
usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
pgs:     256 active+clean
: c7 t) h9 ^, \* G. r" {3 ?#查看对象列表如下
[root@node1 ~]# rados -p test_rep_pool ls
obj_name

- e* w) I! m) y* m此外，该命令可以指定写入对象的偏移量，默认是从0开始，我可以指定具体的偏移量，单位为B
rados -p test_rep_pool put obj_name test.txt --offset 1048576，我设置的是从起始地址偏移1M，执行结果如下
data:
pools:   2 pools, 256 pgs
objects: 3 objects, 3.78MiB #本应该是2.78M,我偏移了1M开始写，现在变为3.78M  
# ?- t. X0 h( @. ^5 U% iusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
$ |: E7 O6 L! ~! K3 N, ?pgs:     256 active+clean
/ ~" r, }, N! b1 b! X1
4 B+ e; e& j2 ]2
3
4
5
7 S6 F# J1 e% b3 L) y这个命令极大得方便我们去测试分析bluestore 的io流程
' N" D" Y8 s4 }  I; V/ L1 p向指定对象追加内容append
rados -p test_rep_pool append obj_name ceph-osd.16.log
7 J5 C3 f7 Y( N% w2 p& J& m7 y删除指定长度对象内容truncate
rados -p test_rep_pool truncate obj_name 524288 删除obj_name 对象512kb的容量
创建对象create
, z4 s4 P9 g2 R# U2 Frados -p test_rep_pool create obj_name2这里是创建了一个空对象
& i" k- K8 r- N[root@node1 ~]# rados -p test_rep_pool ls
obj_name2
obj_name
7 G( t8 W+ ]' z2 @' U- r[root@node1 ~]# rados -p test_rep_pool stat obj_name2 #显示对象信息，包括所在资源池。修改修改时间，大小
test_rep_pool/obj_name2 mtime 2019-05-10 21:12:40.000000, size 0
4 ^* }3 L  I* v& l0 I% d1
2
! Q5 J7 M/ a. }3
4
5
( R* s1 ~/ J& M6 X1 y删除指定对象rm
1 o. N9 u; l; V, j1 o6 l, q1 x4 arados -p test_rep_pool rm obj_name2 或者加--force-full时强制删除一个对象，不在乎对象此时状态
拷贝对象cp
% f, X& h  T% k! C( x8 Jrados -p test_rep_pool cp obj_name test_cp_obj
" B# E' ]7 U# h1 |6 r( g* D2 t6 R[root@node1 ~]# rados -p test_rep_pool cp obj_name test_cp_obj
[root@node1 ~]# rados -p test_rep_pool ls
. f+ e3 h$ U1 `0 vobj_name2
+ D- w7 |8 t* S! X- C5 Y) qtest_cp_obj
obj_name
#查看这两个对象的信息，可以看到已经成功拷贝
1 h% t* f0 ^$ {[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:08:49.000000, size 524288
[root@node1 ~]# rados -p test_rep_pool stat test_cp_obj
" i: [2 D6 q: k& btest_rep_pool/test_cp_obj mtime 2019-05-10 21:17:29.000000, size 524288
7 l( `. }8 b; X/ ~6 e1
+ z* Y: W7 }/ v5 R- l8 R2
6 S# o* N- g7 P" }7 y* w3
1 E& _; y) ~" E* K7 p4
" b1 w$ n' ~: f" `* [/ T& j5
& K6 A! y( h1 h* F6
7
2 i* N& N, c3 `: G" K/ F8
5 w  k2 A  M( j/ u9
: q+ J3 z0 h5 p# u1 O% u) C2 P10
& i+ J: V5 W; M1 a; `+ k查看对象的属性 listxattr
9 P  L& C' R: o+ M( t' l) v. _rados -p data listxattr obj_name
3 V9 d0 [9 `* V2 b# N获取对象指定属性getxattr
& t- Q9 G, a9 z( F# Y# P" c0 a7 Qrados -p data getxattr obj_name attr
) H; S* b4 c/ q9 w1 t. |设置对象属性值setxattr
rados -p data setxattr obj_name attr val
删除对象指定属性rmxattr
rados -p data rmxattr obj_name attr
#先设置对象属性值
! g$ @" r5 Y% E) G( N' arados -p test_rep_pool setxattr obj_name test_attr true
rados -p test_rep_pool setxattr obj_name test_attr2 false
( u) }# l0 L7 f7 U#列出对象属性值
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
& B+ \$ ^5 N; y1 [3 A* f9 Rtest_attr
3 u) K9 o  P1 d) q4 d. mtest_attr2
#获取对象指定属性值
; B* g8 [$ ~# ~. G[root@node1 ~]# rados -p test_rep_pool getxattr obj_name test_attr
true
& ~* ^; a1 y  P+ |3 C- v4 v#删除test_attr属性,只剩下一个属性
[root@node1 ~]# rados -p test_rep_pool rmxattr obj_name test_attr
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
& Z" C) T1 r  J! o! L: Ftest_attr2
1
2
# l# M8 K  y* p3
. H5 i1 Q! |! y$ Y6 b' a4
5
6 B' N- k( {9 _) x. s, ]9 y0 B1 i6
# `* H/ {8 P+ V0 j. p7
8
2 o) _$ [& Y- A3 e2 T9 R8 E9
/ m' s! V, U8 }- T  q10
' U2 P* E! l# C, v- T  G11
12
13
14
) L) B# D3 U& ]' O& J% |0 h9 y% V可以理解这几个命令可以为对象打标，来标记我们自己操作过的对象
查看对象信息
4 k* ~, _3 s3 u0 Vrados -p test_rep_pool stat obj_name
[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:33:48.000000, size 524288
1
2
设置对象头部内容 setomapheader
0 j# i  f3 r. J; s) n: A7 S[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
获取对象头部内容getomapheader
: U" D. ~: f) s- z6 b5 U- M% Prados -p test_rep_pool getomapheader obj_name
#设置对象头部信息为1
/ J* B9 K% t/ ]4 b[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
#获取对象头部信息
. _: m4 M: O9 {! Q[root@node1 ~]# rados -p test_rep_pool getomapheader obj_name
header (1 bytes) :
00000000  31                                                |1|
00000001
1 F  H. x; C9 }' @$ ^+ ?. X2 |8 ?1
2
  n: \5 l1 }1 s3
2 H8 F7 H6 ?% H" Q4
) w" d' R% ~9 g. T, Y0 ]5
6
7
设置对象的键值属性 setomapval
rados -p test_rep_pool setomapval obj_name key val
列出omap的键listomapkeys
rados -p test_rep_pool listomapkeys obj_name key val
( t6 k2 e* ~: n/ h列出omap的键listomapvals
rados -p test_rep_pool listomap obj_name keys
获取对象的指定键的值 getomap val
rados -p test_rep_pool getomapval obj_name key
删除对象的指定键和值 rmomapkey
rados -p test_rep_pool rmomapkey obj_name key
监控对象操作，并且向监控者发送消息 有点类似与局域网通信
2 }6 J6 b2 h: x  u: A7 C#终端一 :监听该对象
[root@node1 ~]# rados -p test_rep_pool watch obj_name
press enter to exit...
#终端二：发送消息到终端一的该对象监听者
$ c- y9 ~+ B0 }) b[root@node1 ~]# rados -p test_rep_pool notify obj_name message
reply client.86788 cookie 140047050446368 : 11 bytes
00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
3 r/ z2 G* n* |  j9 ]6 S2 \0000000b
#此时终端一接收到消息如下
# N- S1 n1 H/ O: ]2 m8 ^NOTIFY cookie 140047050446368 notify_id 940597837824 from 86797
2 q# G2 n  U0 b+ e00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
. Q& j+ r  s2 B0000000b
1
2
6 N7 M5 o5 `, d# d9 a. h3
4
! @5 j& g/ q4 A- o# K  Z5
5 S3 F9 o) K( M( c7 ?6
7
+ T5 P) J/ |- i1 F$ U1 h/ w8
9
10
11
, P5 m1 C  ?( }0 ]3 Q12
13
3 m/ P  M4 H; v' c2 [14
# X5 \" R8 J  q" Y查看有多少个对象监控者
rados -p test_rep_pool listwatchers obj_name
& E5 @) a5 Y) I0 a+ O5 l4 ^, r[root@node1 ~]# rados -p test_rep_pool listwatchers obj_name
9 O  H( R) v# ]# }! r; M# |' pwatcher=192.168.122.1:0/3015025283 client.86788 cookie=140047050446368
1
2
8 ^# U* v. Y9 p' q0 T* l2 d设置一个对象的大小以及写粒度，但是目前并未分析清除该设置所起的作用
rados -p test_rep_pool set-alloc-hint 4194304 4194304大小为4M ,写粒度为4M
导出资源池数据
1 X5 t9 A' w) c该命令方便数据备份
将资源池内容输出或者写入指定文件
rados -p test_rep_pool export pool_content
因为导出的文件为数据文件，所以查看内容需使用hexdum -C pool_content格式化输出或者使用vim进入一般模式输入:%!xxd 从而将该文件转换为16进制可读文件
& }. w5 M, @# A2 t
0 {* }  D! d" H8 V7 X8 W3 }; Z" C* z[root@node1 ~]# vim pool_content
: h0 f+ q( ^& @% M. i- M0000000: ceff ceff 0200 0000 1200 0000 0a00 0000  ................
0 Z) k# Q' o9 w0 c0000010: 0101 0c00 0000 ceff 0a0a 0000 0000 0000  ................
8 ]" @- d. o0 e) `0 H$ f  ?1 L0000020: 0000 0101 0c00 0000 ceff 0303 2701 0000  ............'...
0000030: 0000 0000 0301 2101 0000 0403 2a00 0000  ......!.....*...
- ~# H% _9 e1 u; d+ E# y) b0000040: 0000 0000 0900 0000 6f62 6a5f 6e61 6d65  ........obj_name
' p( E$ X% e: d5 r* G% b0000050: 32fe ffff ffff ffff ff00 0000 0000 0000  2...............
+ e6 \% t1 H3 W. g  Y9 f...
0 U& G$ C% w2 C6 I; q+ `00001b0: ec01 010c 0000 00ce ff04 0400 0000 0000  ................
00001c0: 0000 0001 010c 0000 00ce ff03 0328 0100  .............(..
00001d0: 0000 0000 0003 0122 0100 0004 032b 0000  .......".....+..
& N; m4 v! O" |( U7 _$ x00001e0: 0000 0000 000a 0000 006f 626a 5f63 7265  .........obj_cre
$ S4 q+ w: k( e00001f0: 6174 65fe ffff ffff ffff ff00 0000 0000  ate.............
1
2
( F. ~" u2 r1 ?$ q3
3 B$ d  f5 w" C, c) h4
5
+ Z* ^# R4 _5 h+ [6
7
* g! `+ C$ i" I* h/ [: N0 B8
2 K) ^# \( M7 ~9
10
11
; u# r8 |1 ?# l0 [: ?( I12
6 g) J2 y1 {& i6 ?( B8 H13
14
+ G9 S2 ~' ~* `将资源文件导入指定资源池
( \/ y6 x4 r1 n& `+ krados -p test_rep_pool import pool_content
3 s2 a- J3 m3 Q2 M0 |导入之前，我们对以上资源池数据进行清除，操作如下
[root@node1 ~]# rados purge test_rep_pool --yes-i-really-really-mean-it
Warning: using slow linear search
Removed 5 objects
' Y& V9 [" w" |; q* \8 m( nsuccessfully purged pool test_rep_pool
[root@node1 ~]# rados -p test_rep_pool import pool_content
Importing pool
Write #-9223372036854775808:00000000:::obj_name2:head#
Write #-9223372036854775808:00000000:::obj_create:head#
* [( N# I: X- h- m: i$ FWrite #-9223372036854775808:00000000:::test_cp_obj:head#
3 P) R; |- n2 R1 }Write #-9223372036854775808:00000000:::obj_name:head#
, ~$ X' c* b2 q9 }: i9 W9 s9 oWrite #-9223372036854775808:00000000:::obj_test:head#
1
# o# ]! T% P4 j+ ^- ?' p6 u2
0 l$ t6 b5 z7 k# I6 ^3
4
5
6
* P0 i& J; I4 d. P' ~0 I5 o7
8
8 B* E8 y5 g% O8 ^9
10
11
因为rados命令集较为庞大，本文主要介绍的时rados对象操作相关的命令，还有一些其他命令未介绍，各位可以通过rados -h帮助信息进行查看。
————————————————
: {# T, d4 z3 h( p0 h2 w: j版权声明：本文为CSDN博主「z_stand」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Z_Stand/article/details/90084858
# w" P* z" L' k" j. ^% U  W# ]$ y- q