ceph rados 相关命令以及清除pool池所有数据

admin

ceph rados 清除pool池所有数据

清除资源池数据

rados purge vms --yes-i-really-really-mean-it
# ceph -s
  cluster:
    id:     e0d17961-53ae-4e10-9d34-823ba882f394
* e" t) ~. y+ s9 f, J! _1 x    health: HEALTH_OK
7 M2 L7 ?# T0 s9 d- p% F  d. l, t- D
8 n3 j4 F" s! A' p+ v% H0 ~* B  services:
    mon: 1 daemons, quorum controller (age 2h)
. G. n  A3 a1 O# y. Y! \; F    mgr: controller(active, since 110m)
9 P$ y4 \" N3 a" X7 m* Y, R( h    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)
' _" [* k& |  g6 p# i
  data:
    pools:   1 pools, 64 pgs
6 u1 n& [9 \" |, c    objects: 51.15k objects, 239 MiB
* A7 f6 M$ q2 y. T+ N1 R) I    usage:   12 GiB used, 1.1 TiB / 1.1 TiB avail
( c+ p/ x/ q4 A6 m, k    pgs:     64 active+clean
1 j' V* G9 [/ B
  io:
    client:   0 B/s wr, 0 op/s rd, 101 op/s wr
/ E) I# c) ^( R  _5 c4 E8 O
# rados purge vms --yes-i-really-really-mean-it
; U# u5 z: ]/ e' W- kwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
Warning: using slow linear search
2 _3 `3 W4 d9 `: KRemoved 52369 objects
successfully purged pool vms
& O  l6 l9 i/ y/ w' ]; Z* b[root@controller ~]#
  d. E' W. w+ H  m0 R[root@controller ~]# ceph -s
  cluster:
1 K# K( l9 T) d5 u4 h& {- C    id:     e0d17961-53ae-4e10-9d34-823ba882f394
6 D; G% |) J/ ?: X    health: HEALTH_OK
- b' |( ]( @' t# E- v3 }
: I0 P+ m; N% r2 S2 W7 O  services:
  s8 O. y5 G% p: j    mon: 1 daemons, quorum controller (age 2h)
    mgr: controller(active, since 113m)
    osd: 3 osds: 3 up (since 2h), 3 in (since 2h)
0 D7 D# a$ S0 A% [: E# F( B
6 W5 f; V. f  B' e  data:
    pools:   1 pools, 64 pgs
    objects: 0 objects, 0 B
    usage:   3.0 GiB used, 1.1 TiB / 1.1 TiB avail
    pgs:     64 active+clean
6 P) p# D% }# b% b! ^: k* U% j
7 y7 Z/ j9 ~8 R+ I
查看资源池信息：
  p4 r! ]" t( K5 S( q# } rados df -p pool1

-p参数是指定具体资源池，如果不加，则显示所有

2 J: p5 h5 z6 n$ q- Vrados df -p vms
6 {5 O4 h% i' M; p9 ^/ o& Q* C' nwarning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
POOL_NAME    USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
vms       2.7 GiB   14963      0  44889                  0       0        0    447 371 KiB  93461 254 MiB        0 B         0 B
8 n* V; f1 D0 Q0 w/ Utotal_objects    14963
+ f- g$ [4 }2 a( g% F% e! }total_used       5.8 GiB
0 V3 A: R+ U- X; q; O& n$ btotal_avail      1.1 TiB
total_space      1.1 TiB

# rados df
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
$ X# i& c2 F7 |' H5 I/ UPOOL_NAME USED OBJECTS CLONES COPIES MISSING_ON_PRIMARY UNFOUND DEGRADED RD_OPS      RD WR_OPS      WR USED COMPR UNDER COMPR
: i8 v9 S. i% ]) |$ kvms        0 B       0      0      0                  0       0        0    447 371 KiB 108424 254 MiB        0 B         0 B
; [+ A, m& C; X( F- X) Atotal_objects    0
total_used       3.0 GiB
total_avail      1.1 TiB
total_space      1.1 TiB

# q; f+ L$ G$ X! v; C* x  h5 t[root@compute1 ~]# rados ls -p vms
warning: line 22: 'osd_crush_update_on_start' in section 'global' redefined
9 _, D: T) _; [3 {7 N+ y' g
; W4 `" j1 j- z( r/ E

admin

将指定文件作为对象写入到资源池 put
5 @5 ]7 P: C6 Prados -p test_rep_pool put obj_name test.txt将test.txt以obj_name为名称
#写入之前的对象数
data:
pools:   2 pools, 256 pgs
6 E+ ]0 l! T3 f: N$ `7 i2 W. Zobjects: 2 objects, 19B
5 D7 Y: k- G3 @6 yusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
- G$ h" X) {, l3 Q1 l, g7 q- ypgs:     256 active+clean
#写入之后的对象数
data:
pools:   2 pools, 256 pgs
; m8 }" j5 @8 s  G& Tobjects: 3 objects, 2.78MiB
* m, L+ o7 l8 c' L0 b# B/ o7 ~usage:   15.0GiB used, 96.4TiB / 96.4TiB avail
' @2 `7 f2 d5 w' [# h0 ^: Z* Spgs:     256 active+clean
#查看对象列表如下
[root@node1 ~]# rados -p test_rep_pool ls
4 B  L, W" k* s1 Z3 z1 ?8 }obj_name
( U& I9 x2 M! F) J$ ?( }
此外，该命令可以指定写入对象的偏移量，默认是从0开始，我可以指定具体的偏移量，单位为B
. F( y8 u3 `% I+ e# Rrados -p test_rep_pool put obj_name test.txt --offset 1048576，我设置的是从起始地址偏移1M，执行结果如下
data:
& l+ f! v/ R2 ?3 g: Opools:   2 pools, 256 pgs
objects: 3 objects, 3.78MiB #本应该是2.78M,我偏移了1M开始写，现在变为3.78M  
' s+ r! e8 r4 X8 ]/ o" O2 Tusage:   15.0GiB used, 96.4TiB / 96.4TiB avail
( C8 m* A' G8 Z# ?# M- t! Q: |% apgs:     256 active+clean
( r5 \0 N5 Q, V1
2
  u5 M" f3 M# p3
4
) P1 G$ b9 z" J. D1 G2 `5
- O- e- r2 Y9 Z5 A1 _这个命令极大得方便我们去测试分析bluestore 的io流程
* l- y1 n5 b+ D! t# @! R; N向指定对象追加内容append
3 z  }% |, ?* Z$ [  D2 Zrados -p test_rep_pool append obj_name ceph-osd.16.log
4 \& G$ d, E" G$ e' N0 w  l删除指定长度对象内容truncate
" W4 M" ]: ?3 o9 L: erados -p test_rep_pool truncate obj_name 524288 删除obj_name 对象512kb的容量
创建对象create
- O5 x9 |3 }, d0 E: f/ Arados -p test_rep_pool create obj_name2这里是创建了一个空对象
# h+ m* e# a6 B8 \- o$ ~- m[root@node1 ~]# rados -p test_rep_pool ls
obj_name2
obj_name
! M! G6 n$ H# r$ |: w: h[root@node1 ~]# rados -p test_rep_pool stat obj_name2 #显示对象信息，包括所在资源池。修改修改时间，大小
test_rep_pool/obj_name2 mtime 2019-05-10 21:12:40.000000, size 0
8 }! Q! m9 T, m# g" O1
5 O6 H1 M7 O) n9 W2
3
4
5
删除指定对象rm
. [3 h7 S1 c8 wrados -p test_rep_pool rm obj_name2 或者加--force-full时强制删除一个对象，不在乎对象此时状态
拷贝对象cp
# P6 \" F  a$ ]4 Y# grados -p test_rep_pool cp obj_name test_cp_obj
$ d8 w6 \* s9 K9 w# C[root@node1 ~]# rados -p test_rep_pool cp obj_name test_cp_obj
[root@node1 ~]# rados -p test_rep_pool ls
. Q3 T% F% m/ k, k- N+ Robj_name2
test_cp_obj
' i. @9 w- j1 e& A! w$ Qobj_name
#查看这两个对象的信息，可以看到已经成功拷贝
- M* v' b4 ~4 g+ r! r[root@node1 ~]# rados -p test_rep_pool stat obj_name
test_rep_pool/obj_name mtime 2019-05-10 21:08:49.000000, size 524288
. b( J! ]' E( o. g. v0 B( j& N% ^[root@node1 ~]# rados -p test_rep_pool stat test_cp_obj
& H1 h! w" w9 a( O4 atest_rep_pool/test_cp_obj mtime 2019-05-10 21:17:29.000000, size 524288
1
2
" i! o# v" H# _3 f1 s3
4
5
6
" _- w- W; }. |4 B" D9 a7
6 ~, i8 s! D2 T" _3 }8
9
% G* [; K8 E; e  D2 t  H* q10
1 w* J8 r  t8 f1 L- ?. M/ @$ g4 R查看对象的属性 listxattr
6 H. ]+ p/ i0 W+ grados -p data listxattr obj_name
4 q  @! T# n( A获取对象指定属性getxattr
rados -p data getxattr obj_name attr
7 g6 k  b2 [$ [4 D9 j2 l2 B2 m设置对象属性值setxattr
6 |- `7 V- X( [, _1 g( Urados -p data setxattr obj_name attr val
删除对象指定属性rmxattr
rados -p data rmxattr obj_name attr
#先设置对象属性值
rados -p test_rep_pool setxattr obj_name test_attr true
3 T$ ^. `2 \3 Rrados -p test_rep_pool setxattr obj_name test_attr2 false
# @1 s/ _+ S# \! V  h  B' b#列出对象属性值
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
test_attr
3 y! D4 t( C3 ]+ g2 a  F5 ptest_attr2
#获取对象指定属性值
+ q" `- Y% _, Q6 W" k$ {[root@node1 ~]# rados -p test_rep_pool getxattr obj_name test_attr
true
% o+ N( r% i0 U#删除test_attr属性,只剩下一个属性
; `" _/ h& O. b% W7 K& m( u4 C! _[root@node1 ~]# rados -p test_rep_pool rmxattr obj_name test_attr
[root@node1 ~]# rados -p test_rep_pool listxattr obj_name
test_attr2
$ ?: Q$ i  k5 C" a9 ^1
+ o+ a& ?  Q+ M1 Z% @  K+ M: u2
5 b  C9 q2 s$ z3
4
4 {% z7 G; Q# m5
6
% b+ j0 N2 Y* h9 e: L5 @7
8
9
2 k( B9 T7 W% F) ~5 e10
/ Y* {- `+ ^# P- k* g# Y3 V! G11
0 G8 m- \2 a" l; z+ h# b12
. P6 K1 t$ @: ?* q2 \% n. w13
14
可以理解这几个命令可以为对象打标，来标记我们自己操作过的对象
查看对象信息
4 p7 [+ X5 ?# u1 h6 b' ^rados -p test_rep_pool stat obj_name
* n6 P0 G' D4 |[root@node1 ~]# rados -p test_rep_pool stat obj_name
4 |" t/ M+ F  Z- \: R3 ftest_rep_pool/obj_name mtime 2019-05-10 21:33:48.000000, size 524288
1 `( m) P3 h) @9 v) P1
+ W: ?" {. X. I/ T" ?! s- U4 p2
设置对象头部内容 setomapheader
[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
获取对象头部内容getomapheader
  t! r- p2 [2 j- B* W" p4 ~  urados -p test_rep_pool getomapheader obj_name
#设置对象头部信息为1
3 {! v6 q: R8 c* D: J% y[root@node1 ~]# rados -p test_rep_pool setomapheader obj_name 1
) N& `0 r) T# `! h, D% }4 G. i1 j#获取对象头部信息
[root@node1 ~]# rados -p test_rep_pool getomapheader obj_name
1 R+ h+ O. b4 [+ p8 i  T- kheader (1 bytes) :
, M$ i8 T  \2 w, ^3 g00000000  31                                                |1|
00000001
1
2
3
4
0 y9 J- k4 u, j5
6
7
设置对象的键值属性 setomapval
" |1 f1 q; X0 P- @& E' Irados -p test_rep_pool setomapval obj_name key val
* K5 Y1 N$ t/ h0 q! x7 F. X列出omap的键listomapkeys
rados -p test_rep_pool listomapkeys obj_name key val
* k! F4 {) i" {' b2 V$ O% C% Z列出omap的键listomapvals
( C" e# r# x; k) D# f* jrados -p test_rep_pool listomap obj_name keys
获取对象的指定键的值 getomap val
* w: j! V3 M7 f# v/ ?& ]! Q' vrados -p test_rep_pool getomapval obj_name key
删除对象的指定键和值 rmomapkey
rados -p test_rep_pool rmomapkey obj_name key
  v% p! r1 o: l# y  F$ A监控对象操作，并且向监控者发送消息 有点类似与局域网通信
#终端一 :监听该对象
4 l" P3 F: b% z/ o6 {5 N[root@node1 ~]# rados -p test_rep_pool watch obj_name
press enter to exit...
#终端二：发送消息到终端一的该对象监听者
[root@node1 ~]# rados -p test_rep_pool notify obj_name message
reply client.86788 cookie 140047050446368 : 11 bytes
7 G% ?  S3 E! F  m; ]$ j00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
0000000b
. C3 I" ]5 k8 }7 Y4 }#此时终端一接收到消息如下
9 y) ?( r8 }% \& u& x0 F& p. k4 d9 BNOTIFY cookie 140047050446368 notify_id 940597837824 from 86797
. D5 r2 _  T2 `! r& i* d00000000  07 00 00 00 6d 65 73 73  61 67 65                 |....message|
& ?. Y: L2 ^% s8 j! u0000000b
+ M5 J- W2 A" G; Y; t, a! ]$ d: [1
) f. E2 A" M) R. f$ F2 N2 z8 R2
3
4
! K; i2 T4 w+ k; C- ^5
) j3 \9 e* a' J) O) X" m* h& H7 {6
7
8
9
10
11
12
13
7 P$ A% \, r0 a( V5 P1 i3 T& I. G% @14
% y3 |) W4 D% ~2 V! n查看有多少个对象监控者
7 b) p0 k# G" g# q4 irados -p test_rep_pool listwatchers obj_name
3 S6 |. c* U$ W  F3 k[root@node1 ~]# rados -p test_rep_pool listwatchers obj_name
- |. W+ k# |  N# D7 D. B' jwatcher=192.168.122.1:0/3015025283 client.86788 cookie=140047050446368
1
. y4 A- s- w1 I2
设置一个对象的大小以及写粒度，但是目前并未分析清除该设置所起的作用
( i) E5 p8 B) t# i  F# trados -p test_rep_pool set-alloc-hint 4194304 4194304大小为4M ,写粒度为4M
' e6 |9 D7 S, w* y, S3 c& a! R导出资源池数据
# B/ v7 j8 K$ [3 t+ o/ m该命令方便数据备份
6 D6 e1 X/ S. q; _" b; u将资源池内容输出或者写入指定文件
rados -p test_rep_pool export pool_content
因为导出的文件为数据文件，所以查看内容需使用hexdum -C pool_content格式化输出或者使用vim进入一般模式输入:%!xxd 从而将该文件转换为16进制可读文件
$ o# d% u- W- d$ p
6 Q3 [' O, ^6 ?+ E; q: f[root@node1 ~]# vim pool_content
4 d, ^# ^$ c+ l! g" c0000000: ceff ceff 0200 0000 1200 0000 0a00 0000  ................
$ R3 U* c% p5 S5 {; y0000010: 0101 0c00 0000 ceff 0a0a 0000 0000 0000  ................
0000020: 0000 0101 0c00 0000 ceff 0303 2701 0000  ............'...
0000030: 0000 0000 0301 2101 0000 0403 2a00 0000  ......!.....*...
0000040: 0000 0000 0900 0000 6f62 6a5f 6e61 6d65  ........obj_name
: S# i' A" ?$ ?0000050: 32fe ffff ffff ffff ff00 0000 0000 0000  2...............
5 M* o; r' w) t...
4 \" T  A2 r9 x1 z$ m# C! L, z00001b0: ec01 010c 0000 00ce ff04 0400 0000 0000  ................
! [( I/ {) {: \9 Y% r  f# l# h4 Q) i. Y00001c0: 0000 0001 010c 0000 00ce ff03 0328 0100  .............(..
( B* s& p* m& K1 D7 u# U  V00001d0: 0000 0000 0003 0122 0100 0004 032b 0000  .......".....+..
00001e0: 0000 0000 000a 0000 006f 626a 5f63 7265  .........obj_cre
00001f0: 6174 65fe ffff ffff ffff ff00 0000 0000  ate.............
1
. s( q: M8 W' M. ^. a) t/ A2
3
4
5
6
7
2 j+ N8 C8 {& g1 X' }8
9
10
11
12
13
14
将资源文件导入指定资源池
7 r' X7 l4 E: R& ]rados -p test_rep_pool import pool_content
9 }! ~# {' u0 f& F* w6 A导入之前，我们对以上资源池数据进行清除，操作如下
[root@node1 ~]# rados purge test_rep_pool --yes-i-really-really-mean-it
Warning: using slow linear search
Removed 5 objects
successfully purged pool test_rep_pool
! ~  Y( X8 E2 G3 I9 t8 E[root@node1 ~]# rados -p test_rep_pool import pool_content
# y4 K3 S9 n: B1 _) E" p+ mImporting pool
Write #-9223372036854775808:00000000:::obj_name2:head#
Write #-9223372036854775808:00000000:::obj_create:head#
  h2 j# d1 ?3 }, D& n0 G% YWrite #-9223372036854775808:00000000:::test_cp_obj:head#
$ J) z- t! z7 |% q4 p$ Y$ lWrite #-9223372036854775808:00000000:::obj_name:head#
" d4 k" J, v8 {& ~0 P$ a0 Z2 ZWrite #-9223372036854775808:00000000:::obj_test:head#
  R7 F6 N) g9 C! c' @* _1
$ F: b; ]  }$ H+ r2
2 g, O. i& \5 {0 V0 G# g3
4
  q' H; V+ N1 b4 s7 P5
6
7
8
+ \) d3 I% R- _& H1 }9 l. V3 K2 q9
10
11
因为rados命令集较为庞大，本文主要介绍的时rados对象操作相关的命令，还有一些其他命令未介绍，各位可以通过rados -h帮助信息进行查看。
$ e# x7 u/ J7 h————————————————
版权声明：本文为CSDN博主「z_stand」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
& X5 b0 G# |7 H& L* ~9 `( \9 i原文链接：https://blog.csdn.net/Z_Stand/article/details/90084858