|
|
楼主 |
发表于 2021-11-2 16:44:31
|
显示全部楼层
命令：curl6 t5 r# k v+ S% W( R
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。% Z- K$ c1 {6 d; ~- S& D
: x$ s/ q' \* x m语法：# curl [option]
: q+ X% ~2 i, { e, Y常见参数：: v N5 j( u: p- [6 ]
y: B- }: c1 l$ B& w6 d
复制代码
) N: s7 c) m7 F8 V, x3 | Y9 S复制代码# K. z! S$ ^4 d
-A/--user-agent <string> 设置用户代理发送给服务器# @1 o3 [; w) z) G
-b/--cookie <name=string/file> cookie字符串或文件读取位置8 I. x6 C+ T6 [/ f6 Y/ [* k8 C
-c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中( {4 V3 @' m& t9 n4 u! }2 s& x' a
-C/--continue-at <offset> 断点续转1 i: k: W# {& M: S9 ^6 g5 T. T" ?, h
-D/--dump-header <file> 把header信息写入到该文件中
+ _! o$ s* x5 B$ M" t-e/--referer 来源网址& a+ j, I1 @% A
-f/--fail 连接失败时不显示http错误
4 k5 P7 N7 c% \+ }) j7 d-o/--output 把输出写到该文件中
) H) t, v: w: N9 o! \-O/--remote-name 把输出写到该文件中，保留远程文件的文件名, S" w, f7 I- T+ ]
-r/--range <range> 检索来自HTTP/1.1或FTP服务器字节范围
% E. ]+ C/ A; X# ~2 c6 M9 c j-s/--silent 静音模式。不输出任何东西
4 n. w, L+ l* {% D! y-T/--upload-file <file> 上传文件
$ S+ e7 g- C" d0 G& A-u/--user <user[:password]> 设置服务器的用户和密码
5 |7 y) X3 y$ W0 v; u-w/--write-out [format] 什么输出完成后 y& _. V8 U7 g4 d2 ~ m
-x/--proxy <host[:port]> 在给定的端口上使用HTTP代理
3 t+ \' U' R" Z. i-#/--progress-bar 进度条显示当前的传送状态3 h0 M- O$ K; x' ^, z+ m: e% m0 `
复制代码
/ J) {% P3 R( j6 b$ ^复制代码, w& b; h g+ g3 @4 V: n( |
例子：- v5 j- {- t( t9 @2 m
1、基本用法
+ Z/ ]' g8 w) n( q1 p
2 W, S+ f; E. ?+ v- q3 N# curl [url]http://www.linux.com
) Q8 ]2 l0 F$ l! Z' H0 e执行后，www.linux.com 的html就会显示在屏幕上了9 H. V" O$ C3 D8 U
Ps：由于安装linux的时候很多时候是没有安装桌面的，也意味着没有浏览器，因此这个方法也经常用于测试一台服务器是否可以到达一个网站
' S; z: H: [! w/ G8 X/ i. ] j& u# g$ q
2、保存访问的网页
0 K6 [" G$ Q# o6 A2.1:使用linux的重定向功能保存4 G) W/ ]9 K# T D; V/ ~$ q7 p! X$ _
$ I: z, A8 s) e" m) v2 I. q- B
# curl http://www.linux.com >> linux.html2 U% E4 k2 b( ]0 F2 O* _
2.2:可以使用curl的内置option:-o(小写)保存网页
5 E2 K7 }! T. R9 A
- q6 U8 w; N2 \( P5 x$ curl -o linux.html http://www.linux.com& O* D8 N+ F2 o$ }9 A2 F
执行完成后会显示如下界面，显示100%则表示保存成功0 K9 k3 V) t6 t
) l' K; I" p7 |+ U. X% w) F# d% Total % Received % Xferd Average Speed Time Time Time Current
6 u( s" L) }& u Dload Upload Total Spent Left Speed
& O7 F& f8 b4 I. q6 l! @6 f100 79684 0 79684 0 0 3437k 0 --:--:-- --:--:-- --:--:-- 7781k& D. V) l' w6 i* W% N- f
2.3:可以使用curl的内置option:-O(大写)保存网页中的文件7 r# L. x8 c' ^" _' y: T
要注意这里后面的url要具体到某个文件，不然抓不下来
& o) R! ~/ I" u0 F* i1 f* |: P2 k$ N6 R" Y x! g5 g/ m
# curl -O http://www.linux.com/hello.sh( i6 V+ T+ S$ x: I. w1 z0 l! K
3、测试网页返回值
2 }3 U% o6 r( m. y
\' r9 g! ^& A9 e# curl -o /dev/null -s -w %{http_code} www.linux.com* }$ r# ]9 ~" c/ m
Ps:在脚本中，这是很常见的测试网站是否正常的用法
, I4 x/ v; Z: x! b9 n
- [8 b/ C# y$ @4、指定proxy服务器以及其端口
$ s- |6 ~2 ^. T4 u& \% f* E- l% b很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候)，幸运的是curl通过使用内置option：-x来支持设置代理8 s) l7 G2 p& G/ o( T
* p% Z$ \" O/ w6 q% Z! Q# curl -x 192.168.100.100:1080 http://www.linux.com% ?3 C3 I/ ~/ t, m' ^1 i: v2 M
5、cookie
- Q6 }9 N+ X! u: {/ v有些网站是使用cookie来记录session信息。对于chrome这样的浏览器，可以轻易处理cookie信息，但在curl中只要增加相关参数也是可以很容易的处理cookie9 i* ^ Y7 a& l) ^7 t5 K5 b1 n% ?8 y
5.1:保存http的response里面的cookie信息。内置option:-c（小写）3 _1 ]1 r. f8 B) h
& j* N" z$ [3 b6 J9 S
# curl -c cookiec.txt http://www.linux.com
8 A+ t; N; b# m/ f执行后cookie信息就被存到了cookiec.txt里面了
+ h8 F) n* T; x4 n0 |* g/ l W! _ f! A& r
5.2:保存http的response里面的header信息。内置option: -D8 k% B2 |2 p3 i2 s! i
: \, R' K N% h' K7 Y# curl -D cookied.txt http://www.linux.com
1 j2 V9 g- n6 A8 i执行后cookie信息就被存到了cookied.txt里面了
2 P7 ~" X5 R( j, {: W9 G
; X. i" n( x& L1 G. j注意：-c(小写)产生的cookie和-D里面的cookie是不一样的。
1 Q- T7 p9 d% l9 C$ U! y8 R, ~: |
A1 B0 Z- e) f3 k( q7 G; [
5.3:使用cookie l. _* i. A9 V3 p* m, ^
很多网站都是通过监视你的cookie信息来判断你是否按规矩访问他们的网站的，因此我们需要使用保存的cookie信息。内置option: -b: M: ~9 G3 Q# R2 y0 J5 J
4 D+ v5 c" l* ~' m- g. i
# curl -b cookiec.txt http://www.linux.com
) J* J) V( N: i4 }6、模仿浏览器. E, X, ~" Q% Y8 h! B ~
有些网站需要使用特定的浏览器去访问他们，有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站
" L$ f. b) ?! w+ e6 h
% B# q$ r9 t. m; ?% J7 k4 d# curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
( o+ G* T, m/ s# p; D# N9 b- Z这样服务器端就会认为是使用IE8.0去访问的5 C5 M; v+ ?4 U U$ |; i# k
# u0 E3 ^( E( M! J
7、伪造referer（盗链）! l* O7 \! M8 k2 ~' s5 M: [
很多服务器会检查http访问的referer从而来控制访问。比如：你是先访问首页，然后再访问首页中的邮箱页面，这里访问邮箱的referer地址就是访问首页成功后的页面地址，如果服务器发现对邮箱页面访问的referer地址不是首页的地址，就断定那是个盗连了- J+ F, p2 `" _2 ?% I. z# c4 l
curl中内置option：-e可以让我们设定referer4 j) e# q( s" L# A
. G6 ?0 W3 g8 o' Y) t
# curl -e "www.linux.com" http://mail.linux.com
" A/ ^+ d/ l" F( Y这样就会让服务器其以为你是从www.linux.com点击某个链接过来的
3 W4 a( ~! I5 [: |4 }
! x4 _5 r. y/ x0 V" U8、下载文件
1 y2 n+ y* R! N4 @1 J w8.1：利用curl下载文件。4 |' v9 _; ]. r. b W
#使用内置option：-o(小写); ~6 @. j2 O; C7 J
9 H0 v3 \: F# ]* c4 @9 |
# curl -o dodo1.jpg http: , G5 Z4 |4 i4 U9 G1 `5 F# ^7 q
#使用内置option：-O（大写)# q& @8 ^4 w2 L- x& s
* ^9 }: v! `) X% s% L# curl -O 8 {) I& T) W* H3 p$ Y8 @
这样就会以服务器上的名称保存文件到本地, o: k6 ~) H1 C$ \7 f* Z
( {9 ~" S# e2 z% w1 b8.2：循环下载
7 ]# Z. k2 m: w$ J/ {2 K- E有时候下载图片可以能是前面的部分名称是一样的，就最后的尾椎名不一样 o8 X; _/ ?- E
1 \6 t1 w# B% D" j# curl -O http://www.linux.com/dodo[1-5].JPG8 X; z# E8 G. \
这样就会把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下来8 w; [1 Q: a- [' |) i$ h, u- O1 o
2 a; [; k$ V8 g, a) A3 s7 q& l/ ?
8.3：下载重命名
- x! E: h; c7 }2 h" s, B `- y1 I/ E0 c l8 t1 ~, s5 _1 G
# curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG# d0 e% V, i# Q% {% w* h/ U) I
由于下载的hello与bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下载的会把第一次下载的覆盖，这样就需要对文件进行重命名。+ K2 F8 y: L' q; X0 Z' D8 U! `/ u) q
' C- U: _, A$ {7 S2 Q) A# curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG
" Y9 W4 |0 T W* k5 X这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推，从而有效的避免了文件被覆盖$ @5 U8 |0 T' v& C
3 M$ e# \& n5 H7 n% Z/ g4 J8.4：分块下载% H% ?& L2 [' I3 I
有时候下载的东西会比较大，这个时候我们可以分段下载。使用内置option：-r
! l; V1 x6 n% W( a, [: S) `0 N6 v; Y; r- I) v
# curl -r 0-100 -o dodo1_part1.JPG 6 @6 d& X& ]. c2 T( X
# curl -r 100-200 -o dodo1_part2.JPG ) L9 q6 @* [% D# U
# curl -r 200- -o dodo1_part3.JPG
* C1 k# _+ D, [! V0 W% m0 _# cat dodo1_part* > dodo1.JPG4 V7 l, E( V- G( h& ~3 c
这样就可以查看dodo1.JPG的内容了
2 {: {0 [3 g7 m! ]/ x0 e8 Y# _, Q1 R8 t- w
8.5：通过ftp下载文件
& u4 j" l' K. {( Wcurl可以通过ftp下载文件，curl提供两种从ftp中下载的语法
. ~0 `/ X# O" V% v
" `6 B. R8 j' \$ B8 y& z# curl -O -u 用户名:密码  , D: ?+ Y( F. Z: H0 h! ]
# curl -O ftp://用户名:密码@
4 `7 f: n$ a9 }( f& y! o8.6：显示下载进度条" |& O7 y- c1 k; N1 x# T1 e
) j4 x- k# u3 `) q& U
# curl -# -O - q0 [' D2 }: o5 k
8.7：不会显示下载进度信息5 R1 W- r4 |, e
2 f0 q m# N- y1 a! e) ~# curl -s -O
6 G, ~; v2 l- o$ \9、断点续传
+ y/ b+ s5 v# ^5 I b在windows中，我们可以使用迅雷这样的软件进行断点续传。curl可以通过内置option:-C同样可以达到相同的效果# N! D7 J$ O' K, c. N i; f/ Y
如果在下载dodo1.JPG的过程中突然掉线了，可以使用以下的方式续传% D# S) S1 x$ f/ Z7 f, O: g7 ]% o
% P. t( D) f2 v9 U$ O0 E) f' L6 Z) H# curl -C -O
3 }" N! p; E; o# v6 S1 U2 {; h2 A10、上传文件
: ~( R. |1 I h$ I( o; p, Jcurl不仅仅可以下载文件，还可以上传文件。通过内置option:-T来实现) c' v0 I; @$ f6 ~ _! M
+ q- D1 {; [( c; A
# curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/8 H" _- B: B- i, d
这样就向ftp服务器上传了文件dodo1.JPG1 e' K7 K+ U$ Q) O* p W p- M& ?
8 @/ Z0 l* E* I* v4 U" n$ A8 F# B11、显示抓取错误+ I! i* j' y& q- f' z T7 y) O8 B
" \1 w3 @$ n; g; S g' ?5 }( E* f# curl -f http://www.linux.com/error
6 Z c" T- o; L7 i其他参数(此处翻译为转载)：
Q3 _; ~8 _+ |0 n3 w7 b! ]3 X- u2 ?) N% c5 A* H9 W7 o( N
复制代码* m5 w9 X+ Z# D: z
复制代码
/ K n1 p6 A( D" E7 n-a/--append 上传文件时，附加到目标文件
9 {$ g0 q5 D% U+ q# L--anyauth 可以使用“任何”身份验证方法' c$ F; S; z z. O( a. u
--basic 使用HTTP基本验证! h Z3 H+ R3 W5 ]3 \( ~$ z* m
-B/--use-ascii 使用ASCII文本传输
# m4 N1 c7 y$ [5 k-d/--data <data> HTTP POST方式传送数据! }3 C0 Z& L1 S4 b
--data-ascii <data> 以ascii的方式post数据" z& m# O1 [- Y5 S6 U3 |: P8 d
--data-binary <data> 以二进制的方式post数据
- x: |+ J: o0 g0 k* @* d" A1 k--negotiate 使用HTTP身份验证. X- F. M4 ^% V$ \! G% f# H
--digest 使用数字身份验证7 K3 Z6 [# ^3 _! X2 T* }: U" J
--disable-eprt 禁止使用EPRT或LPRT, e9 R% ^% N/ U
--disable-epsv 禁止使用EPSV, M: a7 A( e4 J0 ^
--egd-file <file> 为随机数据(SSL)设置EGD socket路径
, |% @1 e3 |: _7 e3 Q$ Z--tcp-nodelay 使用TCP_NODELAY选项% S8 i2 W# d6 y) Z
-E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)! s8 c2 o. y0 P3 _) c
--cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)" g4 ^1 d7 E# \# V
--key <key> 私钥文件名 (SSL)
( q: |, D- z2 Y# U2 K--key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)) a- l6 Z1 G; I z
--pass <pass> 私钥密码 (SSL)
! c9 \) ]) \ d" l9 b/ y3 m' ~& p--engine <eng> 加密引擎使用 (SSL). "--engine list" for list% J$ g6 v5 Z/ m8 ~1 N: O- _
--cacert <file> CA证书 (SSL)! n$ ?$ v0 ^! d; i
--capath <directory> CA目 (made using c_rehash) to verify peer against (SSL)4 X9 J5 @) @' S- d# L
--ciphers <list> SSL密码
/ J5 u: t( J7 x( h2 O) O9 Z/ \--compressed 要求返回是压缩的形势 (using deflate or gzip)
4 q- a' @( [7 `* P8 A7 ~0 I* D--connect-timeout <seconds> 设置最大请求时间4 B! y( G, c7 d
--create-dirs 建立本地目录的目录层次结构
& O. ]/ M1 Z* p! n( l--crlf 上传是把LF转变成CRLF
# R! S* u# s! i. M& G1 F--ftp-create-dirs 如果远程目录不存在，创建远程目录8 M6 h' e# e; ^, s
--ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用2 X5 Z4 g! Y# q' [0 |
--ftp-pasv 使用 PASV/EPSV 代替端口4 S) z3 ]( L1 X( L
--ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址
' K1 {+ X3 U) }--ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输# n, N! [; ^- x$ P ]
--ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输2 _, `0 N7 l( Z
-F/--form <name=content> 模拟http表单提交数据% v: A8 M* O9 |# f" U/ I
-form-string <name=string> 模拟http表单提交数据
. Y+ n# G& {+ F2 K E$ C-g/--globoff 禁用网址序列和范围使用{}和[]; _! O2 L* a4 N/ [' J7 A
-G/--get 以get的方式来发送数据
9 I0 [3 L, e1 G6 {8 d-h/--help 帮助# R% j: R$ P$ H( Y9 ?4 f8 g
-H/--header <line> 自定义头信息传递给服务器$ b' F9 t( ^# O. }) P
--ignore-content-length 忽略的HTTP头信息的长度
! P3 O% u* [/ [! C' j-i/--include 输出时包括protocol头信息
`6 Y0 c. ~4 r( M4 L-I/--head 只显示文档信息
7 ?' X9 s( {9 s! k-j/--junk-session-cookies 读取文件时忽略session cookie
. }( j8 E- o" Q, J5 `--interface <interface> 使用指定网络接口/地址
0 R, ~3 Y Z: Y' m# g: l--krb4 <level> 使用指定安全级别的krb4' P4 S* r& d- I2 q/ B
-k/--insecure 允许不使用证书到SSL站点! C1 x/ H1 E: x, X
-K/--config 指定的配置文件读取' j. }# ^+ ?1 N: e' \
-l/--list-only 列出ftp目录下的文件名称
& v& V& l# ~; P1 o--limit-rate <rate> 设置传输速度
- _8 c* O3 C1 k1 f: v& @" \6 z--local-port<NUM> 强制使用本地端口号4 ?" f X( y* z
-m/--max-time <seconds> 设置最大传输时间. P# l6 V6 g6 ~4 K" Z. V
--max-redirs <num> 设置最大读取的目录数2 X3 U$ m, c8 {5 U% O/ y. Y* x
--max-filesize <bytes> 设置最大下载的文件总量
6 C8 a5 t8 b1 q+ g- ]& n-M/--manual 显示全手动
4 W+ Z6 F) n6 A$ b) I2 a# d-n/--netrc 从netrc文件中读取用户名和密码1 g& q) x5 i* Z: v, S2 q
--netrc-optional 使用 .netrc 或者 URL来覆盖-n9 T! h0 n: a# }4 c
--ntlm 使用 HTTP NTLM 身份验证1 O' V) P* Z3 i! `8 ~: L$ J
-N/--no-buffer 禁用缓冲输出
; v% ~- g9 H p. E6 S' f-p/--proxytunnel 使用HTTP代理7 e m0 l- n9 S! ^( }
--proxy-anyauth 选择任一代理身份验证方法* _3 b+ q1 `: b# e3 N% j; k
--proxy-basic 在代理上使用基本身份验证# R; ]3 H. k F6 p" J% W+ l
--proxy-digest 在代理上使用数字身份验证
) P* |/ F0 h7 g0 O+ U/ G: U6 x--proxy-ntlm 在代理上使用ntlm身份验证
: g4 P/ m, l/ B" |, ], Y" M! O-P/--ftp-port <address> 使用端口地址，而不是使用PASV
" P3 o: a( y* U/ F-Q/--quote <cmd> 文件传输前，发送命令到服务器
" k v% {0 H" w3 {--range-file 读取（SSL）的随机文件
. t0 x- F! c( p1 M" O% B# k* {-R/--remote-time 在本地生成文件时，保留远程文件时间4 K. s; A( v/ [0 W3 c! j. F
--retry <num> 传输出现问题时，重试的次数
) ^# E. s1 G! U0 O- A! p' Q' n' o# C--retry-delay <seconds> 传输出现问题时，设置重试间隔时间$ w% ]8 ]4 X5 d
--retry-max-time <seconds> 传输出现问题时，设置最大重试时间# b {2 E6 D+ Y7 ?
-S/--show-error 显示错误
( V( O- p' _, a; p--socks4 <host[:port]> 用socks4代理给定主机和端口, U8 Q9 s( r# v# a% X, |( K& g
--socks5 <host[:port]> 用socks5代理给定主机和端口% `& @) t( W6 l0 b3 w
-t/--telnet-option <OPT=val> Telnet选项设置9 ]' s5 ^* \1 b" n3 L* v1 K, V( W
--trace <file> 对指定文件进行debug
3 R: p2 u' D' {0 P: O--trace-ascii <file> Like --跟踪但没有hex输出! _7 Y! {6 M( o! d& u
--trace-time 跟踪/详细输出时，添加时间戳
1 n \( ]6 F8 ?+ C% N N8 y--url <URL> Spet URL to work with
" z- l1 ?/ p; I a; O9 w& k- B7 M) m-U/--proxy-user <user[:password]> 设置代理用户名和密码
; _6 d( ?& n" W& x [-V/--version 显示版本信息
$ F* K: A6 w, M9 u8 s/ O6 o5 D, s6 @-X/--request <command> 指定什么命令
! f- W( T I' T: A$ R7 z4 ^1 i-y/--speed-time 放弃限速所要的时间。默认为30
! D* S1 l. c( N2 @, P& g1 Q-Y/--speed-limit 停止传输速度的限制，速度时间'秒
/ \% K7 c& ?1 m2 J3 M. n$ F-z/--time-cond 传送时间设置3 w; D- ~ |0 f7 N. v# ]
-0/--http1.0 使用HTTP 1.0 o' t% w2 W$ v! i
-1/--tlsv1 使用TLSv1（SSL）# V, S0 _# {' [3 A4 {4 I# J5 S
-2/--sslv2 使用SSLv2的（SSL）
9 l6 b1 ^# x/ l+ h1 i; K- o-3/--sslv3 使用的SSLv3（SSL） C& n# i5 z1 h& \; X
--3p-quote like -Q for the source URL for 3rd party transfer# [* E. \+ `% h+ ~4 ]' e l4 ]5 |5 I+ g
--3p-url 使用url，进行第三方传送8 ]# t9 y3 ~* |3 g3 k7 R
--3p-user 使用用户名和密码，进行第三方传送
! m4 O+ A! F8 L1 c; P9 I-4/--ipv4 使用IP4; k8 f1 r) j) G; b
-6/--ipv6 使用IP6 |
|
发表于 2021-11-2 11:28:49