```
這個(gè)命令可以以遞歸的方式下載整站,并可以將下載的頁面中的鏈接轉(zhuǎn)換為本地鏈接。
wget加上參數(shù)之后,即可成為相當(dāng)強(qiáng)大的下載工具。
wget -r -p -np -k http://xxx.com/xxx
-r, --recursive(遞歸) specify recursive download.(指定遞歸下載)
-k, --convert-links(轉(zhuǎn)換鏈接) make links in downloaded HTML point to local files.(將下載的HTML頁面中的鏈接轉(zhuǎn)換為相對鏈接即本地鏈接)
-p, --page-requisites(頁面必需元素) get all images, etc. needed to display HTML page.(下載所有的圖片等頁面顯示所需的內(nèi)容)
-np, --no-parent(不追溯至父級(jí)) don't ascend to the parent directory.
另外斷點(diǎn)續(xù)傳用-nc參數(shù) 日志 用-o參數(shù)
熟練掌握wget命令,可以幫助你方便的使用linux。
```
- wget 使用教程,整站下載 網(wǎng)站鏡像等
```
試試UC震驚部的命名方式
還是用回正常的標(biāo)題吧。
這個(gè)命令,如果你足夠聰明,應(yīng)該已經(jīng)猜到是wget了,這個(gè)我們無比熟悉的命令,我們也通常用來測試,實(shí)際上,是大材小用了,wget可是無比強(qiáng)大的。下面我們就來認(rèn)識(shí)認(rèn)識(shí)一下wget吧。
百度百科對wet的解釋:wget是一個(gè)從網(wǎng)絡(luò)上自動(dòng)下載文件的自由工具,支持通過HTTP、HTTPS、FTP三個(gè)最常見的TCP/IP協(xié)議下載,并可以使用HTTP代理。wget名稱的由來是“World Wide Web”與“get”的結(jié)合。
解釋的很膚淺,wget的優(yōu)點(diǎn)是,穩(wěn)定,如果是由于網(wǎng)絡(luò)的原因下載失敗,wget會(huì)不斷的嘗試,直到整個(gè)文件下載完畢;如果是服務(wù)器打斷下載過程,它會(huì)再次聯(lián)到服務(wù)器上從停止的地方繼續(xù)下載??偟膩碚f就是,百折不撓地下載。
wget的語法如下:
wget(選項(xiàng))(參數(shù))
下面是一些例子
下載單個(gè)文件
wget http://cachefly.cachefly.net/100mb.test
如果你想換個(gè)名稱保存,可以像這樣,文件便會(huì)保存為138vps.test了
wget -O 138vps.test http://cachefly.cachefly.net/100mb.test
因?yàn)?/span>wget默認(rèn)會(huì)以最后一個(gè)符合/的后面的字符來命名,所以如果我們的下載地址是類似這種【http://xx.com/?id=138vps】 如果不重新命名,你下載的文件名稱就是【id=138vps】,這顯然是不科學(xué)的。
wget限速下載
我們并不希望wget在下載的時(shí)候吃完我們的帶寬,尤其是我們下載超大文件的時(shí)候,所以限速下載是必須的
wget --limit-rate=300k http://cachefly.cachefly.net/100mb.test
使用wget斷點(diǎn)續(xù)傳
這個(gè)是非常實(shí)用的,由于不可控的因素,我們在wget的時(shí)候,SSH掉線了,那么我們肯定希望可以續(xù)傳了,而不是從0開始下載,尤其是大文件。
wget -c http://cachefly.cachefly.net/100mb.test
使用wget后臺(tái)下載
我們下載大文件的時(shí)候,你肯定不打算一直盯著進(jìn)度條,像干點(diǎn)別的事情,這個(gè)時(shí)候用后臺(tái)下載就很重要了,
wget -b http://cachefly.cachefly.net/100mb.test
想知道下載完了沒有,就用這個(gè)命令看吧,想退出就【ctrl+c】吧
tail -f wget-log
偽裝瀏覽器下載
有的網(wǎng)站,如果發(fā)現(xiàn)你不是用瀏覽器,就不給你下載,所以,你懂的
wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://cachefly.cachefly.net/100mb.test
同時(shí)下載多個(gè)文件
如果要同時(shí)下載多個(gè)文件,不想一個(gè)個(gè)手動(dòng)wget怎么辦?很簡單,把這些url放到一個(gè)文本文件里面,假設(shè)文件名是【138vps.txt】,一行一個(gè)地址然后一個(gè)命令就搞定了
wget -i 138vps.txt
下載ftp
其實(shí)wget是支持直接下載ftp的,如果是匿名,那么就
wget ftpurl
如果需要用戶名跟密碼,那么就
wget --ftp-user=USERNAME --ftp-password=PASSWORD ftpurl
鏡像網(wǎng)站
有了wget還要什么整站下載器呢?直接把整個(gè)網(wǎng)站跟wget下來就好啦。
wget --mirror -p --convert-links -P ./ http://soft.138vps.com
--miror開始鏡像下載。
--convert-links下載后,轉(zhuǎn)換成本地的鏈接。
-P 保存所有文件和目錄到本地指定目錄。
-r 遞歸下載,下載指定網(wǎng)頁某一目錄下(包括子目錄)的所有文件
-np 遞歸下載時(shí)不搜索上層目錄
-L 遞歸時(shí)不進(jìn)入其它主機(jī),如果你下載的主機(jī)有其他網(wǎng)站的友情鏈接,這會(huì)很麻煩
如果你只想下載圖片:
wget -r -A.jpg,.png,.gif http://soft.138vps.com
如果你只不想下載圖片
wget --reject=jpg http://soft.138vps.com
結(jié)語
wget下載有的資源時(shí)必須用選項(xiàng) --no-check-certificate,否則會(huì)提示沒有認(rèn)證不允許下載。
比如https。
wget --no-check-certificate url
```