快捷導(dǎo)航

老生常談計算機中的編碼問題(必看篇)

更新時間：2017年07月21日 08:48:52 投稿：jingxian

下面小編就為大家?guī)硪黄仙Ｕ動嬎銠C中的編碼問題(必看篇)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

計算機中的編碼問題

因為計算機只能處理數(shù)字，如果要處理文本，就必須先把文本轉(zhuǎn)換為數(shù)字才能處理。最早的計算機在設(shè)計時采用8個比特（bit）作為一個字節(jié)（byte），所以，一個字節(jié)能表示的最大的整數(shù)就是255（二進制11111111=十進制255），如果要表示更大的整數(shù)，就必須用更多的字節(jié)。比如兩個字節(jié)可以表示的最大整數(shù)是65535，4個字節(jié)可以表示的最大整數(shù)是4294967295。

一、目前常用的編碼

ASCII編碼：由于計算機是美國人發(fā)明的，因此，最早只有127個字母被編碼到計算機里，也就是大小寫英文字母、數(shù)字和一些符號，這個編碼表被稱為ASCII編碼，比如大寫字母A的編碼是65，小寫字母z的編碼是122。

GB系列編碼：但是要處理中文顯然一個字節(jié)是不夠的，至少需要兩個字節(jié)，而且還不能和ASCII編碼沖突，所以，中國制定了GB2312編碼，用來把中文編進去。進而全世界有上百種語言，日本把日文編到Shift_JIS里，韓國把韓文編到Euc-kr里，各國有各國的標準，就會不可避免地出現(xiàn)沖突，結(jié)果就是，在多語言混合的文本中，顯示出來會有亂碼。GB系列編碼是我國的國標編碼，用來存儲漢字，分為GB2312，GBK，GB18030，基本都能向前兼容，其中GBK是目前最通用的。

Unicode編碼：Unicode把所有語言都統(tǒng)一到一套編碼里，這樣就不會再有亂碼問題了。Unicode標準也在不斷發(fā)展，但最常用的是用兩個字節(jié)表示一個字符（如果要用到非常偏僻的字符，就需要4個字節(jié)）?，F(xiàn)代操作系統(tǒng)和大多數(shù)編程語言都直接支持Unicode。不過他只規(guī)定了字符的編碼，卻沒有規(guī)定字符以何種方式存儲或者傳輸。所以UTF系列編碼規(guī)定了Unicode編碼的存儲和傳輸方式。

UTF編碼系列：目前最常用的UTF編碼分為3種，UTF-8，UTF-16和UTF-32，我們知道計算機是以8位為一個字節(jié)來存儲數(shù)據(jù)的，而UTF-16，UTF-32分別用2字節(jié)和4字節(jié)來表示一個字符，所以這里就涉及到字節(jié)的存儲順序，是低位在前還是高位在前，這樣，BOM就產(chǎn)生了。

BOM是文本文件開頭的一個特殊標記，用一組特殊數(shù)字來標記文本文件的字節(jié)序。雖然UTF-8字節(jié)順序是固定的，但為了兼容UTF-16和UTF-32也規(guī)定了UTF-8的BOM，用于標記UTF-8編碼。不過UTF-8的BOM在不同平臺的規(guī)定不同，要小心使用。

BOM規(guī)定如下：

UTF-8 EF BB BF

UTF-16(LE) FF FE

UTF-16(BE) FE FF

UTF-32(LE) FF FE 00 00

UTF-32(BE) 00 00 FE FF

UTF-8編碼：如果統(tǒng)一成Unicode編碼，亂碼問題從此消失了。但是，如果你寫的文本基本上全部是英文的話，用Unicode編碼比ASCII編碼需要多一倍的存儲空間，在存儲和傳輸上就十分不劃算。所以，本著節(jié)約的精神，又出現(xiàn)了把Unicode編碼轉(zhuǎn)化為“可變長編碼”的UTF-8編碼。UTF-8編碼把一個Unicode字符根據(jù)不同的數(shù)字大小編碼成1-6個字節(jié)，常用的英文字母被編碼成1個字節(jié)，漢字通常是3個字節(jié)，只有很生僻的字符才會被編碼成4-6個字節(jié)。如果你要傳輸?shù)奈谋景罅坑⑽淖址肬TF-8編碼就能節(jié)省空間：

字符	ASCII	Unicode	UTF-8
A	01000001	00000000 01000001	01000001
中	X	01001110 00101101	11100100 10111000 10101101

二、計算機系統(tǒng)中的編碼應(yīng)用

在計算機內(nèi)存中，統(tǒng)一使用Unicode編碼，當需要保存到硬盤或者需要傳輸?shù)臅r候，就轉(zhuǎn)換為UTF-8編碼；用記事本編輯的時候，從文件讀取的UTF-8字符被轉(zhuǎn)換為Unicode字符到內(nèi)存里，編輯完成后，保存的時候再把Unicode轉(zhuǎn)換為UTF-8保存到文件：

瀏覽網(wǎng)頁的時候，服務(wù)器會把動態(tài)生成的Unicode內(nèi)容轉(zhuǎn)換為UTF-8再傳輸?shù)綖g覽器：

所以你看到很多網(wǎng)頁的源碼上會有類似<meta charset="UTF-8" />的信息，表示該網(wǎng)頁正是用的UTF-8編碼。

三、Java中的編碼問題

直接寫一個demo來看看eclipse中java項目的編碼是怎么樣的吧。

1、字符串轉(zhuǎn)為字節(jié)序列

public class EncodeDemo {

 public static void main(String[] args) {
  // TODO Auto-generated method stub
  String s="云開de立夏";
  byte[] bytes1=s.getBytes();//這是把字符串轉(zhuǎn)換成字符數(shù)組，轉(zhuǎn)換成的字節(jié)序列用的是項目默認的編碼
  for(byte b: bytes1)
  //toHexString這個函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進制的方式顯示
  System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個0去掉只留下后八位
 }

}

運行結(jié)果：

分析：可以看到這個java項目的默認編碼中，漢字用2個字節(jié)表示，英文用一個字節(jié)表示。

通過查看項目的默認編碼為GBK。

如果不想用項目默認的編碼格式，可以用下面這種方法指定字符串轉(zhuǎn)化為想要的編碼格式：

byte[] bytes2=s.getBytes("utf-8");//轉(zhuǎn)換成utf-8編碼
  for(byte b: bytes2)
   //toHexString這個函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進制的方式顯示
   System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個0去掉只留下后八位
  System.out.println();
  byte[] bytes3=s.getBytes("utf-16be");//轉(zhuǎn)換成java雙字節(jié)編碼，utf-16be編碼
  for(byte b: bytes3)
   //toHexString這個函數(shù)是把字節(jié)（轉(zhuǎn)換成了Int）以16進制的方式顯示
   System.out.print(Integer.toHexString(b & 0xff)+" ");// & 0xff是為了把前面的24個0去掉只留下后八位

運行結(jié)果：

分析：兩個結(jié)果對比可以得出，

gbk編碼： 中文占用兩個字節(jié)，英文占用一個字節(jié)。

utf-8編碼：中文占用三個字節(jié)，英文占用一個字節(jié)。

utf-16be編碼：中文占用兩個字節(jié)，英文占用兩個字節(jié)。

注意：java是雙字節(jié)編碼，是utf-16be編碼。即java中的一個字符（char）占用兩個字節(jié)！

2、字節(jié)序列轉(zhuǎn)為字符串

當你的字節(jié)序列是某種編碼時，這個時候想把字節(jié)序列變成字符串，也需要用這種編碼方式，否則會出現(xiàn)亂碼。

String str1=new String(bytes1);//這時會使用項目默認的編碼來轉(zhuǎn)換，可能出現(xiàn)亂碼
  System.out.println(str1);
  String str2=new String(bytes2);
  System.out.println(str2);
  String str3=new String(bytes2,"utf-8");
  System.out.println(str3);

運行結(jié)果：