curl详解

  1. 云栖社区>
  2. 博客>
  3. 正文

curl详解

技术小阿哥 2017-11-28 17:23:00 浏览775
展开阅读全文

curl:命令行下的网站访问和验证工具


常用参数如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
-c,–cookie-jar:将cookie写入到文件
-b,–cookie:从文件中读取cookie
-C,–continue-at:断点续传
-d,–data:http post方式传送数据
-D,–dump-header:把header信息写入到文件
-F,–from:模拟http表达提交数据
-s,–slient:减少输出信息
-o,–output:将信息输出到文件
-O,–remote-name:按照服务器上的文件名,存在本地
–l,–head:仅返回头部信息
-u,–user[user:pass]:设置http认证用户和密码
-T,–upload-file:上传文件
-e,–referer:指定引用地址
-x,–proxy:指定代理服务器地址和端口
-w,–write-out:输出指定格式内容
–retry:重试次数
–connect-timeout:指定尝试连接的最大时间/s

实例:

抓取页面到指定文件,如果有乱码可以使用iconv转码

1
2
# curl -o baidu.html www.baidu.com
# curl -s -o baidu.html www.baidu.com |iconv -f utf-8 #减少输出信息

模拟浏览器头(user-agent)

1
 # curl -A “Mozilla/52.0 (compatible;MSIE 8.0; Windows NT 6.0)” www.baidu.com

处理重定向页面

1
# curl –L http://172.16.1.10/301.<a href="http://www.ttlsa.com/php/" title="php"target="_blank">php</a> #默认curl是不处理重定向

模拟用户登陆,保存cookie信息到cookies.txt文件,再使用cookie登陆

1
2
# curl -c ./cookies.txt -F NAME=user -F PWD=***URL #NAME和PWD是表单属性不同,每个网站基本都不同
# curl -b ./cookies.txt –o URL

获取HTTP响应头headers

1
2
# curl -I http://www.baidu.com
# curl -D ./header.txt http://www.baidu.com #将headers保存到文件中

访问HTTP认证页面

1
# curl -u user:pass URL

通过ftp上传和下载文件

1
2
# curl -T filename ftp://user:pass@ip/docs #上传
# curl -O ftp://user:pass@ip/filename #下载

curl url

查看url的源代码

curl -I url

查看url的状态码

200

Ok

301 302

跳转

404 403 502 503


curl -X ip:port url -I

通过代理访问url查看状态

curl -Iv url

查看详细的访问过程

curl -u username:password url

访问需要用户密码的网站

curl -o 名字 url

将文件保存为命令行中指定的文件名的文件中

curl -O url

使用URL中默认的文件名保存文件到本地

curl -A 'aaa' www.aaa.com

curl在请求一个网页的时候,可以指定user_agent

curl -I www.aaa.com

只显示header信息,而不显示网页返回给我们的内容

下载单个文件,默认将输出打印到标准输出中(STDOUT)中

curl http://www.centos.org

通过-o/-O选项保存下载的文件到指定的文件中:

-o:将文件保存为命令行中指定的文件名的文件中

-O:使用URL中默认的文件名保存文件到本地

1 # 将文件下载到本地并命名为mygettext.html

1
 curl -o mygettext.html http://www.gnu.org/software/gettext/manual/gettext.html

2 # 将文件保存到本地并命名为gettext.html

1
curl -O http://www.gnu.org/software/gettext/manual/gettext.html

 3# 指定代理主机和端口

1
curl -x proxysever.test.com:3128 http://google.com

同样可以使用转向字符">"对输出进行转向输出

同时获取多个文件

1 curl -O URL1 -O URL2

若同时从同一站点下载多个文件时,curl会尝试重用链接(connection)。

通过-L选项进行重定向

默认情况下CURL不会发送HTTP Location headers(重定向).当一个被请求页面移动到另一个站点时,会发送一个HTTP Loaction header作为请求,然后将请求重定向到新的地址上。

保存与使用网站cookie信息

1 # 将网站的cookies信息保存到sugarcookies文件中
 

1
curl -D sugarcookies http://localhost/sugarcrm/index.php

2 # 使用上次保存的cookie信息

1
curl -b sugarcookies http://localhost/sugarcrm/index.php


传递请求数据

默认curl使用GET方式请求数据,这种方式下直接通过URL传递数据

可以通过--data/-d 方式指定使用POST方式传递数据


1
2
# GET
curl -u username https://api.github.com/user?access_token=XXXXXXXXXX

 

1
2
# POST
curl -u username --data "param1=value1&param2=value" https://api.github.com


也可以指定一个文件,将该文件中的内容当作数据传递给服务器端
 

1
curl --data @filename https://github.api.com/authorizations



注:默认情况下,通过POST方式传递过去的数据中若有特殊字符,首先需要将特殊字符转义在传递给服务器端,如value值中包含有空格,则需要先将空格转换成%20,如:

1
curl -d "value%201" http://hostname.com


在新版本的CURL中,提供了新的选项 --data-urlencode,通过该选项提供的参数会自动转义特殊字符。

 

1
curl --data-urlencode "value 1" http://hostname.com


除了使用GETPOST协议外,还可以通过 -X 选项指定其它协议,如:

 

1
curl -I -X DELETE https://api.github.cim


上传文件

1
 curl --form "fileupload=@filename.txt" http://hostname/resource


本文转自 喵来个鱼 51CTO博客,原文链接:http://blog.51cto.com/m51cto/1959179,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术小阿哥
+ 关注