Node.js從字符串生成文件流的實現(xiàn)方法
一.背景
在文件相關(guān)的數(shù)據(jù)加工等場景下,經(jīng)常面臨生成的物理文件應(yīng)該如何處理的問題,比如:
生成的文件放到哪里,路徑存在不存在?
臨時文件何時清理,如何解決命名沖突,防止覆蓋?
并發(fā)場景下的讀寫順序如何保證?
……
對于讀寫物理文件帶來的這些問題,最好的解決辦法就是 不寫文件 。然而,一些場景下想要不寫文件可不那么容易,比如文件上傳
二.問題
文件上傳一般通過表單提交來實現(xiàn),例如:
var FormData = require('form-data'); var fs = require('fs'); var form = new FormData(); form.append('my_file', fs.createReadStream('/foo/bar.jpg')); form.submit('example.org/upload', function(err, res) { console.log(res.statusCode); });
(摘自 Form-Data )
不想寫物理文件的話,可以這樣做:
const FormData = require('form-data'); const filename = 'my-file.txt'; const content = 'balalalalala...變身'; const formData = new FormData(); // 1.先將字符串轉(zhuǎn)換成Buffer const fileContent = Buffer.from(content); // 2.補上文件meta信息 formData.append('file', fileContent, { filename, contentType: 'text/plain', knownLength: fileContent.byteLength });
也就是說,文件流除了能夠提供數(shù)據(jù)外,還具有一些 meta 信息,如文件名、文件路徑等 ,而這些信息是普通 Stream 所不具備的。那么,有沒有辦法憑空創(chuàng)建一個“真正的”文件流?
三.思路
要想創(chuàng)建出“真正的”文件流,至少有正反 2 種思路:
給普通流添上文件相關(guān)的 meta 信息
先拿到一個真正的文件流,再改掉其數(shù)據(jù)和 meta 信息
顯然,前者更靈活一些,并且實現(xiàn)上能夠做到完全不依賴文件
文件流的生產(chǎn)過程
沿著憑空創(chuàng)造的思路,探究 fs.createReadStream API 的 內(nèi)部實現(xiàn) 之后發(fā)現(xiàn),生產(chǎn)文件流的關(guān)鍵過程如下:
function ReadStream(path, options) { // 1.打開path指定的文件 if (typeof this.fd !== 'number') this.open(); } ReadStream.prototype.open = function() { fs.open(this.path, this.flags, this.mode, (er, fd) => { // 2.拿到文件描述符并持有 this.fd = fd; this.emit('open', fd); this.emit('ready'); // 3.開始流式讀取數(shù)據(jù) // read來自父類Readable,主要調(diào)用內(nèi)部方法_read // ref: https://github.com/nodejs/node/blob/v10.16.3/lib/_stream_readable.js#L390 this.read(); }); }; ReadStream.prototype._read = function(n) { // 4.從文件中讀取一個chunk fs.read(this.fd, pool, pool.used, toRead, this.pos, (er, bytesRead) => { let b = null; if (bytesRead > 0) { this.bytesRead += bytesRead; b = thisPool.slice(start, start + bytesRead); } // 5.(通過觸發(fā)data事件)吐出一個chunk,如果還有數(shù)據(jù),process.nextTick再次this.read,直至this.push(null)觸發(fā)'end'事件 // ref: https://github.com/nodejs/node/blob/v10.16.3/lib/_stream_readable.js#L207 this.push(b); }); };
P.S.其中第 5 步相對復(fù)雜, this.push(buffer) 既能觸發(fā)下一個 chunk 的讀?。?nbsp;this.read() ),也能在數(shù)據(jù)讀完之后(通過 this.push(null) )觸發(fā) 'end' 事件,具體見 node/lib/_stream_readable.js
重新實現(xiàn)文件流
既然已經(jīng)摸清了文件流的生產(chǎn)過程,下一步自然是 替換掉所有文件操作,直至文件流的實現(xiàn)完全不依賴文件 ,例如:
// 從文件中讀取一個chunk fs.read(this.fd, pool, pool.used, toRead, this.pos, (er, bytesRead) => { /* ... */ }); // 換成 this._fakeReadFile(this.fd, pool, pool.used, toRead, this.pos, (bytesRead) => { /* ... */ }); // 從輸入字符串對應(yīng)的Buffer中copy出一個chunk ReadStream.prototype._fakeReadFile = function(_, buffer, offset, length, position, cb) { position = position || this.input._position; // fake read file async setTimeout(() => { let bytesRead = 0; if (position < this.input.byteLength) { bytesRead = this.input.copy(buffer, offset, position, position + length - 1); this.input._position += bytesRead; } cb(bytesRead); }, 0); }
即從中剔除文件操作,用基于字符串的操作去替代它們
四.解決方案
如此這般,就有了 ayqy/string-to-file-stream ,用來憑空創(chuàng)建文件流:
string2fileStream('string-content') === fs.createReadStream(/* path to a text file with content 'string-content' */)`
例如:
const string2fileStream = require('string-to-file-stream'); const input = 'Oh, my great data!'; const s = string2fileStream(input); s.on('data', (chunk) => { assert.equal(chunk.toString(), input); }); 生成的流同樣能夠具有文件 meta 信息: const string2fileStream = require('string-to-file-stream'); const formData = new FormData(); formData.append('file', string2fileStream('my-string-data', { path: './abc.txt' })); form.submit('example.org/upload', function(err, res) { console.log(res.statusCode); });
足夠以假亂真
參考資料
fs.createReadStream(path[, options])
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
- Node.js Streams文件讀寫操作詳解
- node.js基于fs模塊對系統(tǒng)文件及目錄進行讀寫操作的方法詳解
- 基于node.js的fs核心模塊讀寫文件操作(實例講解)
- Node.js實戰(zhàn)之Buffer和Stream模塊系統(tǒng)深入剖析詳解
- Node.js數(shù)據(jù)流Stream之Duplex流和Transform流用法
- Node.js數(shù)據(jù)流Stream之Readable流和Writable流用法
- node.js中stream流中可讀流和可寫流的實現(xiàn)與使用方法實例分析
- node.js使用stream模塊實現(xiàn)自定義流示例
- 深入淺出了解Node.js Streams
- Node.js中你不可不精的Stream(流)
- Node.js fs模塊(文件模塊)創(chuàng)建、刪除目錄(文件)讀取寫入文件流的方法
- node.js同步/異步文件讀寫-fs,Stream文件流操作實例詳解
相關(guān)文章
詳解Nodejs中自動化瀏覽器操作神器Puppeteer的使用
Puppeteer是一個JavaScript庫,它提供了一種方式來通過DevTools協(xié)議控制無頭瀏覽器,本文主要為大家介紹了Puppeteer的主要特性和使用方法,感興趣的可以了解下2024-01-01DevEco?Studio設(shè)置Nodejs提示路徑只能包含英文、數(shù)字、下劃線等解決辦法
這篇文章主要給大家介紹了關(guān)于DevEco?Studio設(shè)置Nodejs提示路徑只能包含英文、數(shù)字、下劃線等的解決辦法,文中通過圖文介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考借鑒價值,需要的朋友可以參考下2024-01-01Express URL跳轉(zhuǎn)(重定向)的實現(xiàn)方法
Express是一個基于Node.js實現(xiàn)的Web框架,其響應(yīng)HTTP請求的response對象中有兩個用于URL跳轉(zhuǎn)方法res.location()和res.redirect(),使用它們可以實現(xiàn)URL的301或302重定向。2017-04-04node.js解決客戶端請求數(shù)據(jù)里面中文亂碼的事件方法
本文主要介紹了node.js解決客戶端請求數(shù)據(jù)里面中文亂碼的事件方法,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-12-12Mongoose中document與object的區(qū)別示例詳解
這篇文章主要給大家介紹了關(guān)于Mongoose中document與object區(qū)別的相關(guān)資料,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考借鑒,下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-09-09