找回密码
 注册
查看: 588|回复: 0

对象存储ceph s3cmds使用方法

[复制链接]

1

主题

0

回帖

12

积分

管理员

积分
12
QQ
发表于 2023-1-6 11:05:29 | 显示全部楼层 |阅读模式
1、配置,主要是 Access Key ID 和 Secret Access Key  U8 G- h+ a4 B) i% U
s3cmd --configure9 ?/ Y! p3 T. `' i! q$ C
5 l5 J$ m# h% }# F1 u
2、列举所有 Buckets。(bucket 相当于根文件夹)  b; `' J3 R2 |9 a
s3cmd ls4 V+ a$ g! r  _$ x% k  h
) m9 i8 O6 K% J- f* d" v/ E9 W
3、创建 bucket,且 bucket 名称是唯一的,不能重复,默认创建的 bucket 是公开的。7 g; ]* D( q" p! K3 \
s3cmd mb s3://my-bucket-name
" {: m% ~% e1 Y. c' ^' o. C
! d8 X9 u4 P# {$ F: F5 ~5 D4、删除空 bucket
% W& N5 k+ i+ os3cmd rb s3://my-bucket-name
; V+ L5 c; M* U! E
5 b. S1 e: A8 f$ g1 s5、列举 Bucket 中的内容
2 p- l8 W# T+ \s3cmd ls s3://my-bucket-name
8 T! k/ P4 H6 [: O
: }8 R' C2 U/ D: S6、上传5 T' d0 X+ L5 o- b( ?
s3cmd put file.txt s3://my-bucket-name/file.txt
2 }1 }1 }; H! @# I/ L6 k/ Y! D: k% u& x9 Q1 K4 C: u- d
支持批量上传,直接指定多个文件,如; _5 x2 d6 @& @
s3cmd put t.py s3://tccpoc/t.py up.py s3://tccpoc/up.py( y' Z9 j9 f" z- ~" {

" K% C$ s# B4 ^+ V9 Q# g如果上传终断,比如ctrl+c,会显示upload-id,按照指示,带上`--upload-id`就可以实现断点上传
) J7 h, ~) l8 o& q5 l+ e2 a6 `, R& n8 A9 A1 C6 b
7、上传并将权限设置为所有人可读
' W! B" O; O& o5 \2 q) ?( ys3cmd put --acl-public file.txt s3://my-bucket-name/file.txt
5 x' v+ [' E" n% W: Q3 |! H--acl-private,也可以是私有
# u# o9 \( M' F1 n3 Y/ y6 ]
4 B/ K' @- j! L3 R+ ^% B9 S8、批量上传文件
5 L4 x6 l0 e4 L/ Es3cmd put ./* s3://my-bucket-name/% H! f' }' [! K6 }% j

, o; v& L( V$ i& J' N9、下载文件: ~: u( i4 ]6 c) s. \
s3cmd get s3://my-bucket-name/file.txt file.txt2 U, }  |9 u- f& |4 ^/ ~  B

1 J3 l0 A$ x! s$ e支持批量下载,直接指定多个文件,如
+ y& N+ v% n8 l9 W, U! w+ m$ _s3cmd get s3://tccpoc/t.py s3://tccpoc/up.py
( w% b( O0 i% E8 k3 ^8 D6 e/ n* a
如果下载终断,比如ctrl+c,带上参数`--continue`,可以实现断点下载0 @# J, x4 z" N' q
5 x+ a: T' i+ r* M% E* T1 A  X
10、批量下载
: @# {# i9 m) U/ ?2 V+ o- s/ G" |s3cmd get s3://my-bucket-name/* ./
9 W; s- g7 H+ H3 m0 w) H: L- g8 N. ^2 c- \' a9 i5 i1 {# y
11、删除文件,
; U5 h, m$ C* ds3cmd del s3://my-bucket-name/file.txt
6 i1 E9 Y2 a) _; z. E8 ~: Z
. e  ?% l+ V. }: Q0 @支持批量删除,直接指定多个 bucket 对象,如
% }+ }) E# h  i( b; Ls3cmd del s3://my-bucket-name/file.txt s3://my-bucket-name/file2.txt' n: Z1 V/ e0 X/ s" U9 z& t
- \5 K: k5 [: P0 \; Z: u. p. `- N
12、来获得对应的bucket所占用的空间大小
+ a7 m3 L4 e. ls3cmd du -H s3://my-bucket-name
8 D0 K; ]" c! z- s( P6 l: i4 A
5 B9 t4 e3 s1 p2 G上传大文件时,使用 --multipart-chunk-size-mb=size 指定的分片大小必须是4的倍数,否则上传会报 400(InvalidPartOrder)
1 {3 e2 k; k' {9 {% B1 _" n# H+ R0 I3 P9 J
) v; n9 H- u$ g; w/ a
其他常用参数
  M. d' f( ]5 f5 O: Q% @! x' b% H; ]; O复制  --list-md5                 结合list一起使用,打印md5, U+ T6 y; @" J: i5 N+ N0 v2 l* `
  -H, --human-readable-sizes 人性化文件大小2 A9 ]. j% {$ W# c: O; l+ [) l
  -v, --verbose              显示详细的输出0 b" d' V( ?7 h
  -d, --debug                调试信息5 a. A9 u- y8 |3 Z4 X/ {
  --limit-rate=LIMITRATE     限速
2 q8 ^7 P: u+ D文件同步相关
6 a5 x0 j* K9 m: V' K复制  --exclude=GLOB                             通配
. S: X! B$ M. u# Y0 ?) R  --exclude-from=FILE   从文件读取排除列表
& Z/ S& E& q3 Z7 W  --rexclude=REGEXP     正则形式的匹配排除
) Y4 r5 S5 q, W2 c% C/ i9 N4 x  --rexclude-from=FILE  从文件读取正则形式的匹配排除
. k- v1 Z$ `) b% y7 q3 h8 g' ~% K- M) Y: W
  --include=GLOB        通配& _+ ^5 N0 ]' {/ j' F* \7 R: y' O
  --include-from=FILE   从文件读取文件列表; E7 F% g) n- f5 C: F$ n; R6 ?
  --rinclude=REGEXP     正则匹配+ Y( @7 y' d/ {8 _6 F
  --rinclude-from=FILE  从文件读取正则匹配5 E0 P) j5 g$ w& B
# 示例
, T& r% g* J; N! U& [( a5 G4 C; v# s3cmd sync --exclude '*' --include 'link*' images/ s3://files1 S+ \! c$ c5 f# f5 y/ A" j
upload: 'images/link.png' -> 's3://files/link.png'  [1 of 1]3 \4 R) g6 d# W
8094 of 8094   100% in    0s   206.34 kB/s  done4 @8 c* n, Z7 E6 Z# c& ~
4 o3 `/ s1 g  x) w( k
# s3cmd sync --exclude '*' --include 'link*' s3://files images20 Q( x1 K7 p- t2 y% L9 ?
download: 's3://files/link.png' -> 'images2/link.png'  [1 of 1]3 B" M4 p7 S5 ?, T
8094 of 8094   100% in    0s   323.87 kB/s  done
# K* O# J" {/ x: A% LDone. Downloaded 8094 bytes in 1.0 seconds, 7.90 kB/s.
* ]' c7 E0 h/ E2 W; E4 G4 U* BACL7 |) {; S; Q) n* C* ~5 G/ A0 P
复制# s3cmd modify s3://files/link.png --acl-private! H2 O% @' \7 Y/ L* E
# s3cmd modify s3://files/link.png --acl-public
8 |# k$ Q- j% [% d- y' [  `2 U4 Z# \3 s) O$ n- Q5 p' ]  u! n7 `

. H' i3 g) ]0 T5 a- I5 X. Z/ r8 Q, [+ y, ^
您需要登录后才可以回帖 登录 | 注册

本版积分规则

返回首页|Archiver|手机版|小黑屋|易陆发现技术论坛 ( 蜀ICP备2026014127号-1 )

GMT+8, 2026-6-12 00:06 , Processed in 0.019226 second(s), 23 queries .

Powered by Discuz! X5.0

© 2001-2026 Discuz! Team.

快速回复 返回顶部 返回列表