Node.js中使用Buffer編碼、解碼二進(jìn)制數(shù)據(jù)詳解
JavaScript很擅長處理字符串,但是因?yàn)樗畛醯脑O(shè)計(jì)是用來處理HTML文檔,因此它并不太擅長處理二進(jìn)制數(shù)據(jù)。JavaScript沒有byte類型,沒有結(jié)構(gòu)化的類型(structured types),甚至沒有字節(jié)數(shù)組,只有數(shù)字和字符串。(原文:JavaScript doesn't have a byte type — it just has numbers — or structured types, or http://skylitecellars.com/ even byte arrays: It just has strings.)
因?yàn)镹ode基于JavaScript,它自然可以處理類似HTTP這樣的文本協(xié)議,但是你也可以用它來跟數(shù)據(jù)庫交互,處理圖片或文件上傳等,可以想象,如果僅僅用字符串來做這些事得有多困難。早些時(shí)候,Node通過將byte編碼成文本字符來處理二進(jìn)制數(shù)據(jù),但這種方式后來被證明并不可行,既浪費(fèi)資源,又緩慢,又不靈活,而且難以維護(hù)。
Node有一個(gè)二進(jìn)制緩沖實(shí)現(xiàn)Buffer,這個(gè)偽類(pseudo-class)提供了一系列處理二進(jìn)制數(shù)據(jù)的API,簡化了那些需要處理二進(jìn)制數(shù)據(jù)的任務(wù)。緩沖的長度由字節(jié)數(shù)據(jù)的長度決定,而且你可以隨機(jī)的設(shè)置和獲取緩沖內(nèi)的字節(jié)數(shù)據(jù)。
注意:Buffer類有一個(gè)特殊的地方,緩沖內(nèi)的字節(jié)數(shù)據(jù)所占用的內(nèi)存不是分配在JavaScrp
It VM內(nèi)存堆上的,也就是說這些對象不會被JavaScript的垃圾回收算法處理,取而代之的是一個(gè)不會被修改的永久內(nèi)存地址,這也避免了因緩沖內(nèi)容的內(nèi)存復(fù)制所造成的CPU浪費(fèi)。
創(chuàng)建緩沖
你可以用一個(gè)UTF-8字符串創(chuàng)建緩沖,像這樣:
var buf = new Buffer(‘Hello World!');
也可以用指定編碼的字符串創(chuàng)建緩沖:
var buf = new Buffer('8b76fde713ce', 'base64');
可接受的字符編碼和標(biāo)識如下:
1.ascii——ASCI,僅適用于ASCII字符集。
2.utf8——UTF-8,這種可變寬編碼適用于Unicode字符集的任何字符,它已經(jīng)成了Web世界的首選編碼,也是Node的默認(rèn)編碼類型。
3.base64——Base64,這種編碼基于64個(gè)可打印ASCII字符來表示二進(jìn)制數(shù)據(jù),Base64通常用于在字符文檔內(nèi)嵌入可以被轉(zhuǎn)化成字符串的二進(jìn)制數(shù)據(jù),在需要時(shí)又可以完整無損的轉(zhuǎn)換回原來的二進(jìn)制格式。
如果沒有數(shù)據(jù)來初始化緩沖,可以用指定的容量大小來創(chuàng)建一個(gè)空緩沖:
var buf = new Buffer(1024); // 創(chuàng)建一個(gè)1024字節(jié)的緩沖
獲取和設(shè)置緩沖數(shù)據(jù)
創(chuàng)建或接收一個(gè)緩沖對象后,你可能要查看或者修改它的內(nèi)容,可以通過[]操作符來訪問緩沖的某個(gè)字節(jié):
var buf = new Buffer('my buffer content');
// 訪問緩沖內(nèi)第10個(gè)字節(jié)
console.log(buf[10]); // -> 99
注意:當(dāng)你(使用緩沖容量大小來)創(chuàng)建一個(gè)已初始化的緩沖時(shí),一定要注意,緩沖的數(shù)據(jù)并沒有被初始化成0,而是隨機(jī)數(shù)據(jù)。
var buf = new Buffer(1024);
console.log(buf[100]); // -> 5 (某個(gè)隨機(jī)值)
你可以這樣修改緩沖里任何位置的數(shù)據(jù):
buf[99] = 125; // 把第100個(gè)字節(jié)的值設(shè)置為125
注意:在某些情況下,一些緩沖操作并不會產(chǎn)生錯(cuò)誤,比如:
1.緩沖內(nèi)的字節(jié)最大值為255,如果某個(gè)字節(jié)被賦予大于256的數(shù)字,將會用256對其取模,然后將結(jié)果賦給這個(gè)字節(jié)。
2.如果將緩沖的某個(gè)字節(jié)賦值為256,它的實(shí)際值將會是0(譯者注:其實(shí)跟第一條重復(fù),256%256=0)
3.如果用浮點(diǎn)數(shù)給緩沖內(nèi)某個(gè)字節(jié)賦值,比如100.7,實(shí)際值將會是浮點(diǎn)數(shù)的整數(shù)部分——100
4.如果你嘗試給一個(gè)超出緩沖容量的位置賦值,賦值操作將會失敗,緩沖不做任何修改。
你可以用length屬性獲取緩沖的長度:
var buf = new Buffer(100);
console.log(buf.length); // -> 100
還可以使用緩沖長度迭代緩沖的內(nèi)容,來讀取或設(shè)置每個(gè)字節(jié):
var buf = new Buffer(100);
for(var i = 0; i < buf.length; i++) {
buf[i] = i;
}
上面代碼新建了一個(gè)包含100個(gè)字節(jié)的緩沖,并從0到99設(shè)置了緩沖內(nèi)每個(gè)字節(jié)。
切分緩沖數(shù)據(jù)
一旦創(chuàng)建或者接收了一個(gè)緩沖,你可能需要提取緩沖數(shù)據(jù)的一部分,可以通過指定起始位置來切分現(xiàn)有的緩沖,從而創(chuàng)建另外一個(gè)較小的緩沖:
var buffer = new Buffer("this is the content of my buffer");
var smallerBuffer = buffer.slice(8, 19);
console.log(smallerBuffer.toString()); // -> "the content"
注意,當(dāng)切分一個(gè)緩沖的時(shí)候并沒有新的內(nèi)存被分配或復(fù)制,新的緩沖使用父緩沖的內(nèi)存,它只是父緩沖某段數(shù)據(jù)(由起始位置指定)的引用。這段話含有幾個(gè)意思。
首先,如果你的程序修改了父緩沖的內(nèi)容,這些修改也會影響相關(guān)的子緩沖,因?yàn)楦妇彌_和子緩沖是不同的JavaScript對象,因此很容易忽略這個(gè)問題,并導(dǎo)致一些潛在的bug。
其次,當(dāng)你用這種方式從父緩沖創(chuàng)建一個(gè)較小的子緩沖時(shí),父緩沖對象在操作結(jié)束后依然會被保留,并不會被垃圾回收,如果不注意的話,很容易會造成內(nèi)存泄露。
注意:如果你擔(dān)心因此產(chǎn)生內(nèi)存泄露問題,你可以使用copy方法來替代slice操作,下面將會介紹copy。
復(fù)制緩沖數(shù)據(jù)
你可以像這樣用copy將緩沖的一部分復(fù)制到另外一個(gè)緩沖:
var buffer1 = new Buffer("this is the content of my buffer");
var buffer2 = new Buffer(11);
var targetStart = 0;
var sourceStart = 8;
var sourceEnd = 19;
buffer1.copy(buffer2, targetStart, sourceStart, sourceEnd);
console.log(buffer2.toString()); // -> "the content"
上面代碼,復(fù)制源緩沖的第9到20個(gè)字節(jié)到目標(biāo)緩沖的開始位置。
解碼緩沖數(shù)據(jù)
緩沖數(shù)據(jù)可以這樣轉(zhuǎn)換成一個(gè)UTF-8字符串:
var str = buf.toString();
還可以通過指定編碼類型來將緩沖數(shù)據(jù)解碼成任何編碼類型的數(shù)據(jù)。比如,你想把一個(gè)緩沖解碼成base64字符串,可以這么做:
var b64Str = buf.toString("base64");
使用toString函數(shù),你還可以把一個(gè)UTF-8字符串轉(zhuǎn)碼成base64字符串:
var utf8String = 'my string';
var buf = new Buffer(utf8String);
var base64String = buf.toString('base64')
小結(jié)
有時(shí)候,你不得不跟二進(jìn)制數(shù)據(jù)打交道,但是原生JavaScript又沒有明確的方式來做這件事,于是Node提供了Buffer類,封裝了一些針對連續(xù)內(nèi)存塊的操作。你可以在兩個(gè)緩沖之間切分或復(fù)制內(nèi)存數(shù)據(jù)。
你也可以把一個(gè)緩沖轉(zhuǎn)換成某種編碼的字符串,或者反過來,把一個(gè)字符串轉(zhuǎn)化成緩沖,來訪問或處理每個(gè)bit。
相關(guān)文章
Visual?Studio?Code中npm腳本找不到圖文解決辦法
這篇文章主要給大家介紹了關(guān)于Visual?Studio?Code中npm腳本找不到的圖文解決辦法,做前端開發(fā)如果項(xiàng)目達(dá)到了一定的規(guī)模就離不開npm了,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-07-07用NodeJS實(shí)現(xiàn)批量查詢地理位置的經(jīng)緯度接口
最近要實(shí)現(xiàn)一個(gè)顯示各個(gè)城市信息的功能,后臺一看包含一堆城市的excel,發(fā)現(xiàn)不僅有每個(gè)省的直轄市,還有二三線等的城市,數(shù)量還不少,一個(gè)個(gè)去查還挺浪費(fèi)時(shí)間的,那為什么不寫個(gè)腳本去實(shí)現(xiàn)批量查詢呢。2016-08-08Node.js node-schedule定時(shí)任務(wù)隔多少分鐘執(zhí)行一次的方法
這篇文章主要介紹了Node.js node-schedule定時(shí)任務(wù)隔多少分鐘執(zhí)行一次的方法,本文給出了每隔 15 分鐘、 30 分鐘執(zhí)行一次任務(wù)的編碼實(shí)例,需要的朋友可以參考下2015-02-02Node.js中package.json中庫的版本號(~和^)
這篇文章主要介紹了Node.js中package.json中庫的版本號(~和^),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-04-04Node.js動手?jǐn)]一個(gè)靜態(tài)資源服務(wù)器的方法
這篇文章主要介紹了Node.js動手?jǐn)]一個(gè)靜態(tài)資源服務(wù)器的方法,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-03-03