命令行下載工具(wget)

wget 命令行下載工具,支持http/ftp 用法:(續(xù)傳用參數(shù) -C)

使用方法：
wget的使用形式是：
wget [參數(shù)列表] URL
首先來介紹一下wget的主要參數(shù)：
· -b：讓wget在后臺運行，記錄文件寫在當前目錄下"wget-log"文件中；
· -t [nuber of times]：嘗試次數(shù)，當wget無法與服務器建立連接時，嘗試連接多少次
。比如"-t
120"表示嘗試120次。當這一項為"0"的時候，指定嘗試無窮多次直到連接成功為止，這個
設置非常有用，當對方服務器突然關機或者網(wǎng)絡突然中斷的時候，可以在恢復正常后繼續(xù)
下載沒有傳完的文件；
· -c：斷點續(xù)傳，這也是個非常有用的設置，特別當下載比較大的文件的時候，如果中
途意外中斷，那么連接恢復的時候會從上次沒傳完的地方接著傳，而不是又從頭開始，使
用這一項需要遠程服務器也支持斷點續(xù)傳，一般來講，基于UNIX/Linux的Web/FTP服務器
都支持斷點續(xù)傳；
· -T [number of seconds]：超時時間，指定多長時間遠程服務器沒有響應就中斷連接
，開始下一次嘗試。比如"-T
120"表示如果120秒以后遠程服務器沒有發(fā)過來數(shù)據(jù)，就重新嘗試連接。如果網(wǎng)絡速度比
較快，這個時間可以設置的短些，相反，可以設置的長一些，一般最多不超過900，通常
也不少于60，一般設置在120左右比較合適；
· -w [number of seconds]：在兩次嘗試之間等待多少秒，比如"-w 100"表示兩次嘗試
之間等待100秒；
· -Y on/off：通過／不通過代理服務器進行連接；
· -Q [byetes]：限制下載文件的總大小最多不能超過多少，比如"-Q2k"表示不能超過2K
字節(jié)，"-Q3m"表示最多不能超過3M字節(jié)，如果數(shù)字后面什么都不加，就表示是以字節(jié)為單
位，比如"-Q200"表示最多不能超過200字節(jié)；
· -nd：不下載目錄結構，把從服務器所有指定目錄下載的文件都堆到當前目錄里；
· -x：與"-nd"設置剛好相反，創(chuàng)建完整的目錄結構，例如"wget -nd
http://www.gnu.org"將創(chuàng)建在當前目錄下創(chuàng)建"www.gnu.org"子目錄，然后按照服務器
實際的目錄結構一級一級建下去，直到所有的文件都傳完為止；
· -nH：不創(chuàng)建以目標主機域名為目錄名的目錄，將目標主機的目錄結構直接下到當前目
錄下；
· --http-user=username
· --http-passwd=password：如果Web服務器需要指定用戶名和口令，用這兩項來設定；
· --proxy-user=username
· --proxy-passwd=password：如果代理服務器需要輸入用戶名和口令，使用這兩個選項
；
· -r：在本機建立服務器端目錄結構；
· -l [depth]：下載遠程服務器目錄結構的深度，例如"-l 5"下載目錄深度小于或者等
于5以內(nèi)的目錄結構或者文件；
· -m：做站點鏡像時的選項，如果你想做一個站點的鏡像，使用這個選項，它將自動設
定其他合適的選項以便于站點鏡像；
· -np：只下載目標站點指定目錄及其子目錄的內(nèi)容。這也是一個非常有用的選項，我們
假設某個人的個人主頁里面有一個指向這個站點其他人個人主頁的連接，而我們只想下載
這個人的個人主頁，如果不設置這個選項，甚至--有可能把整個站點給抓下來，這顯然是
我們通常不希望的；
ü 如何設定wget所使用的代理服務器
wget可以使用用戶設置文件".wgetrc"來讀取很多設置，我們這里主要利用這個文件來是
設置代理服務器。使用者用什么用戶登錄，那么什么用戶主目錄下的".wgetrc"文件就起
作用。例如，"root"用戶如果想使用".wgetrc"來設置代理服務器，"/root/.wgert"就起
作用，下面給出一個".wge
trc"文件的內(nèi)容，讀者可以參照這個例子來編寫自己的"wgetrc"文件：
http-proxy = 111.111.111.111:8080
ftp-proxy = 111.111.111.111:8080
這兩行的含義是，代理服務器IP地址為：111.111.111.111，端口號為：80。第一行指定
HTTP協(xié)議所使用的代理服務器，第二行指定FTP協(xié)議所使用的代理服務器。
第二篇：
$ wget --help
GNU Wget 1.9.1，非交互式的網(wǎng)絡文件下載工具。
用法： wget [選項]... [URL]...
長選項必須用的參數(shù)在使用短選項時也是必須的。
啟動：
-V,　--version　　　　　 顯示 Wget 的版本并且退出。
-h,　--help　　　　　　　打印此幫助。
-b,　-background　　　　 啟動后進入后臺操作。
-e,　-execute=COMMAND　　運行‘.wgetrc’形式的命令。
日志記錄及輸入文件：
-o,　--output-file=文件　　 將日志消息寫入到指定文件中。
-a,　--append-output=文件　 將日志消息追加到指定文件的末端。
-d,　--debug　　　　　　　　打印調(diào)試輸出。
-q,　--quiet　　　　　　　　安靜模式(不輸出信息)。
-v,　--verbose　　　　　　　 詳細輸出模式(默認)。
-nv, --non-verbose　　　　　關閉詳細輸出模式，但不進入安靜模式。
-i,　--input-file=文件　　　下載從指定文件中找到的 URL。
-F,　--force-html　　　　　 以 HTML 方式處理輸入文件。
-B,　--base=URL　　　　　　 使用 -F -i 文件選項時，在相對鏈接前添加指定的 URL。
下載：
-t,　--tries=次數(shù)　　　　　　 配置重試次數(shù)（0 表示無限）。
--retry-connrefused　　　即使拒絕連接也重試。
-O　 --output-document=文件　 將數(shù)據(jù)寫入此文件中。
-nc, --no-clobber　　　　　　 不更改已經(jīng)存在的文件，也不使用在文件名后
添加 .#（# 為數(shù)字）的方法寫入新的文件。
-c,　--continue　　　　　　　 繼續(xù)接收已下載了一部分的文件。
--progress=方式　　　　　選擇下載進度的表示方式。
-N,　--timestamping　　　　　 除非遠程文件較新，否則不再取回。
-S,　--server-response　　　　顯示服務器回應消息。
--spider　　　　　　　　 不下載任何數(shù)據(jù)。
-T,　--timeout=秒數(shù)　　　　　 配置讀取數(shù)據(jù)的超時時間 (秒數(shù))。
-w,　--wait=秒數(shù)　　　　　　　接收不同文件之間等待的秒數(shù)。
--waitretry=秒數(shù)　　　　 在每次重試之間稍等一段時間 (由 1 秒至指定的 秒數(shù)不等)。
--random-wait　　　　　　接收不同文件之間稍等一段時間(由 0 秒至　2*WAIT 秒不等)。
-Y,　--proxy=on/off　　　　　 打開或關閉代理服務器。
-Q,　--quota=大小　　　　　　 配置接收數(shù)據(jù)的限額大小。
--bind-address=地址　　　使用本機的指定地址 (主機名稱或 IP) 進行連接。
--limit-rate=速率　　　　限制下載的速率。
--dns-cache=off　　　　　禁止查找存于高速緩存中的 DNS。
--restrict-file-names=OS 限制文件名中的字符為指定的 OS (操作系統(tǒng)) 所允許的字符。
目錄：
-nd　--no-directories　　　　　　不創(chuàng)建目錄。
-x,　--force-directories　　　　 強制創(chuàng)建目錄。
-nH, --no-host-directories　　　 不創(chuàng)建含有遠程主機名稱的目錄。
-P,　--directory-prefix=名稱　　 保存文件前先創(chuàng)建指定名稱的目錄。
--cut-dirs=數(shù)目　　　　　　 忽略遠程目錄中指定數(shù)目的目錄層。
HTTP 選項：
--http-user=用戶　　配置 http 用戶名。
--http-passwd=密碼　　配置 http 用戶密碼。
-C,　--cache=on/off　　　　(不)使用服務器中的高速緩存中的數(shù)據(jù) (默認是使用的)。
-E,　--html-extension　　　將所有 MIME 類型為 text/html 的文件都加上 .html 擴展文件名。
--ignore-length　　　 忽略“Content-Length”文件頭字段。
--header=字符串　　　　 在文件頭中添加指定字符串。
--proxy-user=用戶　 配置代理服務器用戶名。
--proxy-passwd=密碼　 配置代理服務器用戶密碼。
--referer=URL　　　　 在 HTTP 請求中包含“Referer：URL”頭。
-s,　--save-headers　　　　將 HTTP 頭存入文件。
-U,　--user-agent=AGENT　　標志為 AGENT 而不是 Wget/VERSION。
--no-http-keep-alive　禁用 HTTP keep-alive（持久性連接）。
--cookies=off　　　　 禁用 cookie。
--load-cookies=文件　 會話開始前由指定文件載入 cookie。
--save-cookies=文件　 會話結束后將 cookie 保存至指定文件。
--post-data=字符串　　使用 POST 方法，發(fā)送指定字符串。
--post-file=文件　　　使用 POST 方法，發(fā)送指定文件中的內(nèi)容。
HTTPS (SSL) 選項：
--sslcertfile=文件　　 可選的客戶段端證書。
--sslcertkey=密鑰文件　對此證書可選的“密鑰文件”。
--egd-file=文件　　　　EGD socket 文件名。
--sslcadir=目錄　　　　 CA 散列表所在的目錄。
--sslcafile=文件　　　包含 CA 的文件。
--sslcerttype=0/1　　　Client-Cert 類型 0=PEM (默認) / 1=ASN1 (DER)
--sslcheckcert=0/1　　 根據(jù)提供的 CA 檢查服務器的證書
--sslprotocol=0-3　　　選擇 SSL 協(xié)議；0=自動選擇，
1=SSLv2 2=SSLv3 3=TLSv1
FTP 選項：
-nr, --dont-remove-listing　 不刪除“.listing”文件。
-g,　--glob=on/off　　　　　 設置是否展開有通配符的文件名。
--passive-ftp　　　　　 使用“被動”傳輸模式。
--retr-symlinks　　　　 在遞歸模式中，下載鏈接所指示的文件(連至目錄
則例外）。
遞歸下載：
-r,　--recursive　　　　　遞歸下載。
-l,　--level=數(shù)字　　　　 最大遞歸深度(inf 或 0 表示無限)。
--delete-after　　　 刪除下載后的文件。
-k,　--convert-links　　　將絕對鏈接轉換為相對鏈接。
-K,　--backup-converted　 轉換文件 X 前先將其備份為 X.orig。
-m,　--mirror　　　　　　 等效于 -r -N -l inf -nr 的選項。
-p,　--page-requisites　　下載所有顯示完整網(wǎng)頁所需的文件，例如圖像。
--strict-comments　　打開對 HTML 備注的嚴格(SGML)處理選項。
遞歸下載時有關接受/拒絕的選項：
-A,　--accept=列表　　　　　　　　接受的文件樣式列表，以逗號分隔。
-R,　--reject=列表　　　　　　　　排除的文件樣式列表，以逗號分隔。
-D,　--domains=列表　　　　　　　 接受的域列表，以逗號分隔。
--exclude-domains=列表　　　 排除的域列表，以逗號分隔。
--follow-ftp　　　　　　　　 跟隨 HTML 文件中的 FTP 鏈接。
--follow-tags=列表　　　　　 要跟隨的 HTML 標記，以逗號分隔。
-G,　--ignore-tags=列表　　　　　 要忽略的 HTML 標記，以逗號分隔。
-H,　--span-hosts　　　　　　　　 遞歸時可進入其它主機。
-L,　--relative　　　　　　　　　 只跟隨相對鏈接。
-I,　--include-directories=列表　 要下載的目錄列表。
-X,　--exclude-directories=列表　 要排除的目錄列表。
-np, --no-parent　　　　　　　　　不搜索上層目錄。