詳解Linux中的wget命令
wget命令用來從指定的URL下載文件。wget非常穩(wěn)定，它在帶寬很窄的情況下和不穩(wěn)定網(wǎng)絡(luò)中有很強的適應(yīng)性，如果是由于網(wǎng)絡(luò)的原因下載失敗，wget會不斷的嘗試，直到整個文件下載完畢。如果是服務(wù)器打斷下載過程，它會再次聯(lián)到服務(wù)器上從停止的地方繼續(xù)下載。這對從那些限定了鏈接時間的服務(wù)器上下載大文件非常有用。
語法
wget(選項)(參數(shù))
選項
-a<日志文件>：在指定的日志文件中記錄資料的執(zhí)行過程； -A<后綴名>：指定要下載文件的后綴名，多個后綴名之間使用逗號進(jìn)行分隔； -b：進(jìn)行后臺的方式運行wget； -B<連接地址>：設(shè)置參考的連接地址的基地地址； -c：繼續(xù)執(zhí)行上次終端的任務(wù)； -C<標(biāo)志>：設(shè)置服務(wù)器數(shù)據(jù)塊功能標(biāo)志on為激活，off為關(guān)閉，默認(rèn)值為on； -d：調(diào)試模式運行指令； -D<域名列表>：設(shè)置順著的域名列表，域名之間用“，”分隔； -e<指令>：作為文件“.wgetrc”中的一部分執(zhí)行指定的指令； -h：顯示指令幫助信息； -i<文件>：從指定文件獲取要下載的URL地址； -l<目錄列表>：設(shè)置順著的目錄列表，多個目錄用“，”分隔； -L：僅順著關(guān)聯(lián)的連接； -r：遞歸下載方式； -nc：文件存在時，下載文件不覆蓋原有文件； -nv：下載時只顯示更新和出錯信息，不顯示指令的詳細(xì)執(zhí)行過程； -q：不顯示指令執(zhí)行過程； -nh：不查詢主機(jī)名稱； -v：顯示詳細(xì)執(zhí)行過程； -V：顯示版本信息； --passive-ftp：使用被動模式PASV連接FTP服務(wù)器； --follow-ftp：從HTML文件中下載FTP連接文件。
參數(shù)
URL：下載指定的URL地址。
實例
使用wget下載單個文件
wget http://www.linuxde.net/testfile.zip
以下的例子是從網(wǎng)絡(luò)下載一個文件并保存在當(dāng)前目錄，在下載的過程中會顯示進(jìn)度條，包含（下載完成百分比，已經(jīng)下載的字節(jié)，當(dāng)前下載速度，剩余下載時間）。
下載并以不同的文件名保存
wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080
wget默認(rèn)會以最后一個符合/的后面的字符來命令，對于動態(tài)鏈接的下載通常文件名會不正確。
錯誤：下面的例子會下載一個文件并以名稱download.aspx?id=1080保存:
wget http://www.linuxde.net/download?id=1
即使下載的文件是zip格式，它仍然以download.php?id=1080命令。
正確：為了解決這個問題，我們可以使用參數(shù)-O來指定一個文件名：
wget -O wordpress.zip http://www.linuxde.net/download.aspx?id=1080
wget限速下載
wget --limit-rate=300k http://www.linuxde.net/testfile.zip
當(dāng)你執(zhí)行wget的時候，它默認(rèn)會占用全部可能的寬帶下載。但是當(dāng)你準(zhǔn)備下載一個大文件，而你還需要下載其它文件時就有必要限速了。
使用wget斷點續(xù)傳
wget -c http://www.linuxde.net/testfile.zip
使用wget -c重新啟動下載中斷的文件，對于我們下載大文件時突然由于網(wǎng)絡(luò)等原因中斷非常有幫助，我們可以繼續(xù)接著下載而不是重新下載一個文件。需要繼續(xù)中斷的下載時可以使用-c參數(shù)。
使用wget后臺下載
wget -b http://www.linuxde.net/testfile.zip Continuing in background, pid 1840. Output will be written to `wget-log'.
對于下載非常大的文件的時候，我們可以使用參數(shù)-b進(jìn)行后臺下載，你可以使用以下命令來察看下載進(jìn)度：
tail -f wget-log
偽裝代理名稱下載
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.linuxde.net/testfile.zip
有些網(wǎng)站能通過根據(jù)判斷代理名稱不是瀏覽器而拒絕你的下載請求。不過你可以通過--user-agent參數(shù)偽裝。
測試下載鏈接
當(dāng)你打算進(jìn)行定時下載，你應(yīng)該在預(yù)定時間測試下載鏈接是否有效。我們可以增加--spider參數(shù)進(jìn)行檢查。
wget --spider URL
如果下載鏈接正確，將會顯示:
Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 200 OK Length: unspecified [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving.
這保證了下載能在預(yù)定的時間進(jìn)行，但當(dāng)你給錯了一個鏈接，將會顯示如下錯誤:
wget --spider url Spider mode enabled. Check if remote file exists. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!!
你可以在以下幾種情況下使用--spider參數(shù)：
- 定時下載之前進(jìn)行檢查
- 間隔檢測網(wǎng)站是否可用
- 檢查網(wǎng)站頁面的死鏈接
增加重試次數(shù)
wget --tries=40 URL
如果網(wǎng)絡(luò)有問題或下載一個大文件也有可能失敗。wget默認(rèn)重試20次連接下載文件。如果需要，你可以使用--tries增加重試次數(shù)。
下載多個文件
wget -i filelist.txt
首先，保存一份下載鏈接文件：
cat > filelist.txt url1 url2 url3 url4
接著使用這個文件和參數(shù)-i下載。
鏡像網(wǎng)站
wget --mirror -p --convert-links -P ./LOCAL URL
下載整個網(wǎng)站到本地。
--miror開戶鏡像下載。-p下載所有為了html頁面顯示正常的文件。--convert-links下載后，轉(zhuǎn)換成本地的鏈接。-P ./LOCAL保存所有文件和目錄到本地指定目錄。
過濾指定格式下載
wget --reject=gif ur
下載一個網(wǎng)站，但你不希望下載圖片，可以使用這條命令。
把下載信息存入日志文件
wget -o download.log URL
不希望下載信息直接顯示在終端而是在一個日志文件，可以使用。
限制總下載文件大小
wget -Q5m -i filelist.txt
當(dāng)你想要下載的文件超過5M而退出下載，你可以使用。注意：這個參數(shù)對單個文件下載不起作用，只能遞歸下載時才有效。
下載指定格式文件
wget -r -A.pdf url
可以在以下情況使用該功能：
- 下載一個網(wǎng)站的所有圖片。
- 下載一個網(wǎng)站的所有視頻。
- 下載一個網(wǎng)站的所有PDF文件。
FTP下載
wget ftp-url wget --ftp-user=USERNAME --ftp-password=PASSWORD url
可以使用wget來完成ftp鏈接的下載。
使用wget匿名ftp下載：
wget ftp-url
使用wget用戶名和密碼認(rèn)證的ftp下載：
wget --ftp-user=USERNAME --ftp-password=PASSWORD url
總結(jié)
以上所述是小編給大家介紹的Linux中的wget命令，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
linux下利用shell在指定的行添加內(nèi)容的方法
今天小編就為大家分享一篇linux下利用shell在指定的行添加內(nèi)容的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
Shell實現(xiàn)程序造死循環(huán)的幾種方法示例
在linux下編程的程序猿都知道shell腳本，就算你不怎么熟悉，也應(yīng)該聽過的吧！那在shell腳本中的死循環(huán)該怎么寫呢？下面這篇文章就來給大家介紹了關(guān)于Shell如何實現(xiàn)讓程序造死循環(huán)的幾種方法，需要的朋友可以參考下。2017-08-08
這篇文章主要介紹了使用shc工具加密shell腳本詳解,Shc可以用來對shell腳本進(jìn)行加密，可以將shell腳本轉(zhuǎn)換為一個可執(zhí)行的二進(jìn)制文件,需要的朋友可以參考下2014-12-12
Shell腳本實現(xiàn)MySQL、Oracle、PostgreSQL數(shù)據(jù)庫備份
本文主要介紹了Shell腳本實現(xiàn)MySQL、Oracle、PostgreSQL數(shù)據(jù)庫備份,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-02-02
今天小編就為大家分享一篇關(guān)于使用shell腳本來給mysql加索引的方法，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-04-04
本篇文章主要給大家介紹linux系統(tǒng)下安裝wetty和使用說明，以及l(fā)inux tty命令學(xué)習(xí)總結(jié)，感興趣的朋友跟著小編一起學(xué)習(xí)吧2015-10-10
詳解systemctl?和?service?區(qū)別及命令
systemctl和service都是管理Linux系統(tǒng)服務(wù)的工具，但systemctl更加先進(jìn)，可以方便地管理systemd服務(wù)，而service適用于管理傳統(tǒng)的SysV服務(wù)，這篇文章主要介紹了systemctl和service區(qū)別及命令,需要的朋友可以參考下2023-07-07
這篇文章主要介紹了一個測試下載速度的shell腳本,需要的朋友可以參考下2014-03-03
正則表達(dá)式是一套由多個元字符組成的模糊查找模式，使用正則表達(dá)式可以快速查找和定位文本中指定的內(nèi)容。接下來通過本文給大家介紹Linux命令中的正則表達(dá)式，需要的朋友參考下吧2017-02-02
這篇文章主要介紹了shell腳本實現(xiàn)ftp上傳下載文件功能，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-08-08