深入nodejs中流(stream)的理解
nodejs的fs模塊并沒有提供一個(gè)copy的方法，但我們可以很容易的實(shí)現(xiàn)一個(gè)，比如：
var source = fs.readFileSync('/path/to/source', {encoding: 'utf8'});
fs.writeFileSync('/path/to/dest', source);
這種方式是把文件內(nèi)容全部讀入內(nèi)存，然后再寫入文件，對(duì)于小型的文本文件，這沒有多大問題，比如grunt-file-copy就是這樣實(shí)現(xiàn)的。但是對(duì)于體積較大的二進(jìn)制文件，比如音頻、視頻文件，動(dòng)輒幾個(gè)GB大小，如果使用這種方法，很容易使內(nèi)存“爆倉”。理想的方法應(yīng)該是讀一部分，寫一部分，不管文件有多大，只要時(shí)間允許，總會(huì)處理完成，這里就需要用到流的概念。
如上面高大上的圖片所示，我們把文件比作裝水的桶，而水就是文件里的內(nèi)容，我們用一根管子(pipe)連接兩個(gè)桶使得水從一個(gè)桶流入另一個(gè)桶，這樣就慢慢的實(shí)現(xiàn)了大文件的復(fù)制過程。
Stream在nodejs中是EventEmitter的實(shí)現(xiàn)，并且有多種實(shí)現(xiàn)形式，例如：
- http responses request
- fs read write streams
- zlib streams
- tcp sockets
- child process stdout and stderr
上面的文件復(fù)制可以簡(jiǎn)單實(shí)現(xiàn)一下：
var fs = require('fs');
var readStream = fs.createReadStream('/path/to/source');
var writeStream = fs.createWriteStream('/path/to/dest');
readStream.on('data', function(chunk) { // 當(dāng)有數(shù)據(jù)流出時(shí)，寫入數(shù)據(jù)
writeStream.write(chunk);
});
readStream.on('end', function() { // 當(dāng)沒有數(shù)據(jù)時(shí)，關(guān)閉數(shù)據(jù)流
writeStream.end();
});
上面的寫法有一些問題，如果寫入的速度跟不上讀取的速度，有可能導(dǎo)致數(shù)據(jù)丟失。正常的情況應(yīng)該是，寫完一段，再讀取下一段，如果沒有寫完的話，就讓讀取流先暫停，等寫完再繼續(xù)，于是代碼可以修改為：
var fs = require('fs');
var readStream = fs.createReadStream('/path/to/source');
var writeStream = fs.createWriteStream('/path/to/dest');
readStream.on('data', function(chunk) { // 當(dāng)有數(shù)據(jù)流出時(shí)，寫入數(shù)據(jù)
if (writeStream.write(chunk) === false) { // 如果沒有寫完，暫停讀取流
readStream.pause();
}
});
writeStream.on('drain', function() { // 寫完后，繼續(xù)讀取
readStream.resume();
});
readStream.on('end', function() { // 當(dāng)沒有數(shù)據(jù)時(shí)，關(guān)閉數(shù)據(jù)流
writeStream.end();
});
或者使用更直接的pipe
// pipe自動(dòng)調(diào)用了data,end等事件
fs.createReadStream('/path/to/source').pipe(fs.createWriteStream('/path/to/dest'));
下面是一個(gè)更加完整的復(fù)制文件的過程
var fs = require('fs'),
path = require('path'),
out = process.stdout;
var filePath = '/Users/chen/Movies/Game.of.Thrones.S04E07.1080p.HDTV.x264-BATV.mkv';
var readStream = fs.createReadStream(filePath);
var writeStream = fs.createWriteStream('file.mkv');
var stat = fs.statSync(filePath);
var totalSize = stat.size;
var passedLength = 0;
var lastSize = 0;
var startTime = Date.now();
readStream.on('data', function(chunk) {
passedLength += chunk.length;
if (writeStream.write(chunk) === false) {
readStream.pause();
}
});
readStream.on('end', function() {
writeStream.end();
});
writeStream.on('drain', function() {
readStream.resume();
});
setTimeout(function show() {
var percent = Math.ceil((passedLength / totalSize) * 100);
var size = Math.ceil(passedLength / 1000000);
var diff = size - lastSize;
lastSize = size;
out.clearLine();
out.cursorTo(0);
out.write('已完成' + size + 'MB, ' + percent + '%, 速度：' + diff * 2 + 'MB/s');
if (passedLength < totalSize) {
setTimeout(show, 500);
} else {
var endTime = Date.now();
console.log();
console.log('共用時(shí)：' + (endTime - startTime) / 1000 + '秒。');
}
}, 500);
可以把上面的代碼保存為copy.js試驗(yàn)一下
我們添加了一個(gè)遞歸的setTimeout（或者直接使用setInterval）來做一個(gè)旁觀者，每500ms觀察一次完成進(jìn)度，并把已完成的大小、百分比和復(fù)制速度一并寫到控制臺(tái)上，當(dāng)復(fù)制完成時(shí)，計(jì)算總的耗費(fèi)時(shí)間，效果如圖：
我們復(fù)制了一集1080p的權(quán)利的游戲第四季第7集，大概3.78G大小，由于使用了SSD，可以看到速度還是非常不錯(cuò)的，哈哈哈~ 復(fù)制完成后，顯示總花費(fèi)時(shí)間
結(jié)合nodejs的readline， process.argv等模塊，我們可以添加覆蓋提示、強(qiáng)制覆蓋、動(dòng)態(tài)指定文件路徑等完整的復(fù)制方法，有興趣的可以實(shí)現(xiàn)一下，實(shí)現(xiàn)完成，可以
ln -s /path/to/copy.js /usr/local/bin/mycopy
這樣就可以使用自己寫的mycopy命令替代系統(tǒng)的cp命令
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
NodeJS設(shè)計(jì)模式總結(jié)【單例模式,適配器模式,裝飾模式,觀察者模式】
這篇文章主要介紹了NodeJS設(shè)計(jì)模式,結(jié)合實(shí)例形式總結(jié)分析了nodejs單例模式,適配器模式,裝飾模式,觀察者模式的概念、原理與具體實(shí)現(xiàn)技巧,需要的朋友可以參考下2017-09-09
這篇文章主要介紹了Node.js如何提取文件中的中文字符，本文介紹了在Node.js開發(fā)中如何使用代碼提取文件中的中文字符，幫助開發(fā)者更好地處理中文文本數(shù)據(jù)，提高開發(fā)效率2023-05-05
NodeJS實(shí)現(xiàn)微信公眾號(hào)關(guān)注后自動(dòng)回復(fù)功能
這篇文章主要為大家詳細(xì)介紹了NodeJS實(shí)現(xiàn)微信公眾號(hào)關(guān)注后自動(dòng)回復(fù)功能，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-05-05
morgan是express默認(rèn)的日志中間件，這篇文章主要介紹了express默認(rèn)日志組件morgan的方法,小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-04-04
npm?install總是卡住不動(dòng)問題的解決辦法
在我們安裝完Node.js之后,需要使用npm命令來安裝一些工具,下面這篇文章主要給大家介紹了關(guān)于npm?install總是卡住不動(dòng)問題的解決辦法,需要的朋友可以參考下2022-05-05
本篇文章主要介紹了node安裝--linux下的快速安裝教程，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-03-03
這篇文章主要介紹了node.js中的fs.fchmod方法使用說明,本文介紹了fs.fchmod的方法說明、語法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
這篇文章主要介紹了nodejs中的process進(jìn)程，非常不錯(cuò)，具有參考借鑒價(jià)值，需要的朋友參考下2017-03-03
node.js中的querystring.stringify方法使用說明
這篇文章主要介紹了node.js中的querystring.stringify方法使用說明,本文介紹了querystring.stringify的方法說明、語法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
Nodejs+express+html5 實(shí)現(xiàn)拖拽上傳
文件上傳是一個(gè)比較常見的功能，傳統(tǒng)的選擇方式的上傳比較麻煩，需要先點(diǎn)擊上傳按鈕，然后再找到文件的路徑，然后上傳。給用戶體驗(yàn)帶來很大問題。html5開始支持拖拽上傳的需要的api。nodejs也是一個(gè)最近越來越流行的技術(shù)，這也是自己第一次接觸nodejs。2014-08-08