Curl是一個功能強大的命令行工具，可以看做是命令行瀏覽器。用于與服務(wù)器進(jìn)行數(shù)據(jù)交互，支持多種數(shù)據(jù)傳輸協(xié)議，如HTTP、HTTPS、FTP等。它支持文件的上傳和下載，所以是綜合傳輸工具，但習(xí)慣稱curl為下載工具。它是一款開源軟件，在多個操作系統(tǒng)上均可運行，包括Windows、Linux、macOS等。Linux系統(tǒng)自帶curl，Windows下需要自行安裝才能使用。

一、如何安裝Curl.exe?

一般來說，Linux系統(tǒng)自帶curl，Windows下需要自行安裝才能使用。如果沒有，我們需要首先安裝 curl 。

1.下載安裝包

下載直通車：https://curl.se/windows   curl官網(wǎng)下載地址： https://curl.se/download.html

2.安裝

mac：可通過命令直接安裝 brew install curl。

windows：通過上面的資源下載地址，找到windows版本下載解壓得到.exe文件，全局使用需配置環(huán)境變量。

linux具體版本快捷安裝方式：

centos: yum -y install curl

ubuntu: sudo apt-get install curl

其他發(fā)行版，建議通過上面的資源下載地址，下載Linux版本解壓tar -xzvf xxx.tar.gz，然后安裝。

二、curl命令語法與curl命令參數(shù)詳解

1、curl命令語法

curl [options] [URL...]

2、curl命令參數(shù)詳解

由于linux curl功能十分強大，所以命令參數(shù)十分多，下表只是帥選出來的部分參數(shù)，更多參數(shù)請運行“man curl”命令查看。

四、curl使用的常用命令

1、下載(option:-o或者option:-O)

1.1、下載頁面：

curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
#要注意-O這里后面的url要具體到某個文件，不然抓不下來
curl -O http://www.linux.com/dodo1.JPG

1.2、循環(huán)下載

有時候下載圖片可以能是前面的部分名稱是一樣的，就最后的尾椎名不一樣。這樣就會把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下來
curl -O http://www.linux.com/dodo[1-5].JPG

1.3、下載重命名

在hello/dodo1.JPG的文件下載下來就會變成hello_dodo1.JPG,其他文件依此類推，從而有效的避免了文件被覆蓋
curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG
由于下載的hello與bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。因此第二次下載的會把第一次下載的覆蓋，這樣就需要對文件進(jìn)行重命名。
curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG

1.4、分塊下載(option：-r)

curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
cat dodo1_part* > dodo1.JPG  #這樣就可以查看dodo1.JPG的內(nèi)容了

1.5、通過ftp下載文件(option：-u)

curl可以通過ftp下載文件，curl提供兩種從ftp中下載的語法
curl -O -u 用戶名:密碼 ftp://www.linux.com/dodo1.JPG
curl -O ftp://用戶名:密碼@www.linux.com/dodo1.JPG

1.6、下載，顯示進(jìn)度條(option：-#)或不顯示進(jìn)度條(option：-s)

curl -# -O http://www.linux.com/dodo1.JPG  
curl -s -O http://www.linux.com/dodo1.JPG

1.7、下載，斷點續(xù)傳(-C <offset>)

斷點續(xù)轉(zhuǎn)，從文件頭的指定位置開始繼續(xù)下載/上傳；offset續(xù)傳開始的位置，如果offset值為“-”，curl會自動從文件中識別起始位置開始傳輸；
curl -# -o centos6.8.iso -C - http://mirrors.aliyun.com/centos/6.8/isos/x86_64/CentOS-6.8-x86_64-minimal.iso
curl -C -O http://www.linux.com/dodo1.JPG

2、上傳文件(option:-T)

curl -T dodo1.JPG -u 用戶名:密碼 ftp://www.linux.com/img/

3、偽造來源頁面|偽造referer|盜鏈 (option：-e)

很多服務(wù)器會檢查http訪問的referer從而來控制訪問。比如：你是先訪問首頁，然后再訪問首頁中的郵箱頁面，這里訪問郵箱的referer地址就是訪問首頁成功后的頁面地址，如果服務(wù)器發(fā)現(xiàn)對郵箱頁面訪問的referer地址不是首頁的地址，就斷定那是個盜連了
#這樣就會讓服務(wù)器其以為你是從www.linux.com點擊某個鏈接過來的
curl -e "www.linux.com" http://mail.linux.com
#告訴訪問網(wǎng)站，我是從百度來的
curl -e http://baidu.com http://linux.com

4、偽造代理設(shè)備(模仿瀏覽器)

有些網(wǎng)站需要使用特定的瀏覽器去訪問他們，有些還需要使用某些特定的版本。curl內(nèi)置option:-A可以讓我們指定瀏覽器去訪問網(wǎng)站
curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
#告訴愛E族，我是GOOGLE爬蟲蜘蛛（其實我是curl命令）
curl -A " Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" http://aiezu.com
#告訴愛E族，我用的是微信內(nèi)置瀏覽器
curl -A "Mozilla/5.0 AppleWebKit/600 Mobile MicroMessenger/6.0" http://aiezu.com

5、設(shè)置http請求

5.1、設(shè)置http請求頭(或option:-H或option:--head)

curl -H "Cache-Control:no-cache"  http://aiezu.com

5.2、指定proxy服務(wù)器以及其端口(option::-x)

#很多時候上網(wǎng)需要用到代理服務(wù)器(比如是使用代理服務(wù)器上網(wǎng)或者因為使用curl別人網(wǎng)站而被別人屏蔽IP地址的時候)，幸運的是curl通過使用內(nèi)置option：-x來支持設(shè)置代理
curl -x 192.168.100.100:1080 http://www.linux.com

6、http響應(yīng)頭

6.1、查看http響應(yīng)頭(option:-I)

# 看看本站的http頭是怎么樣的
curl -I  http://aiezu.com
輸出：
HTTP/1.1 200 OK
Date: Fri, 25 Nov 2016 16:45:49 GMT
Server: Apache
Set-Cookie: rox__Session=abdrt8vesprhnpc3f63p1df7j4; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Vary: Accept-Encoding
Content-Type: text/html; charset=utf-8

6.2、保存http的response里面的header信息(option:-D)

curl -D cookied.txt http://www.linux.com
執(zhí)行后cookie信息就被存到了cookied.txt里面了
注意：-c(小寫)產(chǎn)生的cookie和-D里面的cookie是不一樣的。

7、發(fā)送表單數(shù)據(jù)

curl -F "pic=@logo.png" -F "site=aiezu"  http://aiezu.com/

8、cookie

8.1、發(fā)送cookie(option:-b）

#有些網(wǎng)站是使用cookie來記錄session信息。對于chrome這樣的瀏覽器，可以輕易處理cookie信息，但在curl中只要增加相關(guān)參數(shù)也是可以很容易的處理cookie
curl -b "domain=aiezu.com"  http://aiezu.com
#很多網(wǎng)站都是通過監(jiān)視你的cookie信息來判斷你是否按規(guī)矩訪問他們的網(wǎng)站的，因此我們需要使用保存的cookie信息。內(nèi)置option: -b
curl -b cookiec.txt http://www.linux.com

8.2、保存http的response里面的cookie信息(option:-c）

執(zhí)行后http的response里面的cookie信息就被存到了cookiec.txt里面了
curl -c cookiec.txt  http://www.linux.com

9、測試一個網(wǎng)址

9.1、測試一個網(wǎng)址是否可達(dá)
curl -v http://www.linux.com

9.2、測試網(wǎng)頁返回值(option:-w [format])
curl -o /dev/null -s -w %{http_code} www.linux.com

10、保存訪問的網(wǎng)頁(>>)

使用linux的重定向功能保存
curl http://www.linux.com >> linux.html

11、請求方式

curl -i -v -H '' -X POST -d '' http:www.test.com/a/b
其中，-X POST -d, -X GET -d, -X PUT -d 分別等價于-F, -G -d, -P

以post請求為例：

11.1、 -X POST -d

(11.1.1)、POST application/x-www-form-urlencoded

application/x-www-form-urlencoded是默認(rèn)的
curl -X POST -d "param1=value1¶m2=value2" http://localhost:3000/data
等價于
curl -H "Content-Type:application/x-www-form-urlencoded" -X POST -d "param1=value1¶m2=value2" http://localhost:3000/data
使用數(shù)據(jù)文件
curl -X POST -d "@data.txt" http://localhost:3000/data
其中data.txt內(nèi)容如下：param1=value1¶m2=value2

(11.1.2)、POST application/json

curl -H "Content-Type:application/json" -X POST -d '{"key1":"value1","key2":"value2"}' http://localhost:3000/data
使用數(shù)據(jù)文件的話：
curl -X POST -d "@data.json" http://localhost:3000/data
其中data.json內(nèi)容如下：{"key1":"value1","key2":"value2"}
再舉個例子：
curl -H "Content-type:application/json" -X POST -d "{\"app_key\":\"$appKey\",\"time_stamp\":\"$time\"}" http://www.test.com.cn/a/b

11.2、-F

curl  -v -H "token: 222" -F "file=@/Users/fungleo/Downloads/401.png" localhost:8000/api/v1/upimg 

curl -f http://www.linux.com/error

11.3、其它舉例

(11.3.1)、

curl  -X POST "http://www.test.com/e/f" -H "Content-Type:application/x-www-form-urlencoded;charset=UTF-8" \
-d "a=b" \
-d "c=d" \
-d "e=f" \
-d "g=h"

(11.3.2)、錯誤：curl -i -G -d "a=b#1&c=d" http://www.test.com/e/f
正確：要把參數(shù)值是特殊符號的用urlencode轉(zhuǎn)換過來
curl -i -G -d "a=b%231&c=d" http://www.test.com/e/f

12、調(diào)試

curl -v可以顯示一次http通信的整個過程，包括端口連接和http request頭信息。
如果覺得還不夠，那么下面的命令可以查看更詳細(xì)的通信過程：
curl --trace output.txt www.baidu.com 或者 curl --trace-ascii output.txt www.baidu.com 
運行后，請打開output.txt文件查看。
curl --trace output.txt  http://www.baidu.com
curl --trace-ascii output2.txt  http://www.baidu.com
curl --trace output3.txt --trace-time http://www.baidu.com
curl --trace-ascii output4.txt --trace-time http://www.baidu.com

舉例:有需求每5分鐘請求一次http://www.test.com/a/b生成一個日志文件。希望一月的日志(正確的和錯誤的)能寫入一個日志文件
day=`date +%F`
logfile='/var/logs/www.test.com_'`date +%Y%m`'.log'
/usr/bin/echo -e "\n\n[${day}] Start request \n " >> ${logfile}
/bin/curl -v "http://www.test.com/a/b" -d "ccccc" 1>> ${logfile} 2>> ${logfile} --trace-time
/usr/bin/echo -e "\n\n[${day}] End request\n" >> ${logfile}

13、顯示抓取錯誤

curl -f http://www.linux.com/error

四、總結(jié)

本篇文章介紹了Curl.exe的基本使用、進(jìn)階使用和高級用法，包括發(fā)送HTTP請求、上傳文件、模擬登錄、設(shè)置請求頭、進(jìn)行文件下載、并發(fā)測試、API測試、數(shù)據(jù)分析和數(shù)據(jù)傳輸控制等方面。Curl.exe是一個非常實用的命令行工具，可以幫助開發(fā)者更好地進(jìn)行接口測試和數(shù)據(jù)分析。

到此這篇關(guān)于curl.exe安裝使用的最全參數(shù)詳解以及常用命令匯總的文章就介紹到這了,更多相關(guān)curl安裝使用的常用命令內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論