字符集是多個字符的集合，字符集種類較多，每個字符集包含的字符個數(shù)不同，常見字符集名稱：ASCII字符集、GB2312字符集、BIG5字符集、 GB 18030字符集、Unicode字符集等。計算機(jī)要準(zhǔn)確的處理各種字符集文字，需要進(jìn)行字符編碼，以便計算機(jī)能夠識別和存儲各種文字。

中文文字?jǐn)?shù)目大，而且還分為簡體中文和繁體中文兩種不同書寫規(guī)則的文字，而計算機(jī)最初是按英語單字節(jié)字符設(shè)計的，因此，對中文字符進(jìn)行編碼，是中文信息交流的技術(shù)基礎(chǔ)。本文將按照字符集的時間順序討論幾種典型的字符集，選取幾種代表性的中文字符集，研究歷史由來、特點(diǎn)、技術(shù)特征。

　　ASCII 字符集

　　1.名稱的由來

　　ASCII(American Standard Code for Information Interchange，美國信息互換標(biāo)準(zhǔn)代碼)是基于羅馬字母表的一套電腦編碼系統(tǒng)。

　　2.特點(diǎn)

　　它主要用于顯示現(xiàn)代英語和其他西歐語言。它是現(xiàn)今最通用的單字節(jié)編碼系統(tǒng)，并等同于國際標(biāo)準(zhǔn)ISO 646。

　　3.包含內(nèi)容

　　控制字符：回車鍵、退格、換行鍵等。

　　可顯示字符：英文大小寫字符、阿拉伯?dāng)?shù)字和西文符號

　　4.技術(shù)特征

　　7位(bits)表示一個字符，共128字符

　　5.ASCII擴(kuò)展字符集

　　7位編碼的字符集只能支持128個字符，為了表示更多的歐洲常用字符對ASCII進(jìn)行了擴(kuò)展，ASCII擴(kuò)展字符集使用8位(bits)表示一個字符，共256字符。

　　ASCII擴(kuò)展字符集比ASCII字符集擴(kuò)充出來的符號包括表格符號、計算符號、希臘字母和特殊的拉丁符號。

　　GB2312 字符集

　　1.名稱的由來

　　GB2312又稱為GB2312-80字符集，全稱為《信息交換用漢字編碼字符集·基本集》，由原中國國家標(biāo)準(zhǔn)總局發(fā)布，1981年5月1日實(shí)施。

　　2.特點(diǎn)

　　GB2312是中國國家標(biāo)準(zhǔn)的簡體中文字符集。它所收錄的漢字已經(jīng)覆蓋99.75%的使用頻率，基本滿足了漢字的計算機(jī)處理需要。在中國大陸和新加坡獲廣泛使用。

　　3.包含內(nèi)容

　　GB2312收錄簡化漢字及一般符號、序號、數(shù)字、拉丁字母、日文假名、希臘字母、俄文字母、漢語拼音符號、漢語注音字母，共 7445 個圖形字符。其中包括6763個漢字，其中一級漢字3755個，二級漢字3008個;包括拉丁字母、希臘字母、日文平假名及片假名字母、俄語西里爾字母在內(nèi)的682個全角字符。

　　4.技術(shù)特征

　　(1)分區(qū)表示：

　　GB2312中對所收漢字進(jìn)行了“分區(qū)”處理，每區(qū)含有94個漢字/符號。這種表示方式也稱為區(qū)位碼。

　　各區(qū)包含的字符如下：01-09區(qū)為特殊符號;16-55區(qū)為一級漢字，按拼音排序;56-87區(qū)為二級漢字，按部首/筆畫排序;10-15區(qū)及88-94區(qū)則未有編碼。

　　(2)雙字節(jié)表示

　　兩個字節(jié)中前面的字節(jié)為第一字節(jié)，后面的字節(jié)為第二字節(jié)。習(xí)慣上稱第一字節(jié)為“高字節(jié)” ，而稱第二字節(jié)為“低字節(jié)”。

　　“高位字節(jié)”使用了0xA1-0xF7(把01-87區(qū)的區(qū)號加上0xA0)，“低位字節(jié)”使用了0xA1-0xFE(把01-94加上0xA0)。

　　5.編碼舉例

　　以GB2312字符集的第一個漢字“啊”字為例，它的區(qū)號16，位號01，則區(qū)位碼是1601，在大多數(shù)計算機(jī)程序中，高字節(jié)和低字節(jié)分別加0xA0得到程序的漢字處理編碼0xB0A1。計算公式是：0xB0=0xA0+16, 0xA1=0xA0+1。

　　BIG5 字符集

　　1.名稱的由來

　　又稱大五碼或五大碼，1984年由臺灣財團(tuán)法人信息工業(yè)策進(jìn)會和五間軟件公司宏碁 (Acer)、神通 (MiTAC)、佳佳、零壹 (Zero One)、大眾 (FIC)創(chuàng)立，故稱大五碼。

　　Big5碼的產(chǎn)生，是因?yàn)楫?dāng)時臺灣不同廠商各自推出不同的編碼，如倚天碼、IBM PS55、王安碼等，彼此不能兼容;另一方面，臺灣政府當(dāng)時尚未推出官方的漢字編碼，而中國大陸的GB2312編碼亦未有收錄繁體中文字。

　　2.特點(diǎn)

　　Big5字符集共收錄13,053個中文字，該字符集在中國臺灣使用。耐人尋味的是該字符集重復(fù)地收錄了兩個相同的字：“?！?0xA461及0xC94A)、“嗀”(0xDCD1及0xDDFC)。

　　3.字符編碼方法

　　Big5碼使用了雙字節(jié)儲存方法，以兩個字節(jié)來編碼一個字。第一個字節(jié)稱為“高位字節(jié)”，第二個字節(jié)稱為“低位字節(jié)”。高位字節(jié)的編碼范圍0xA1-0xF9，低位字節(jié)的編碼范圍0x40-0x7E及0xA1-0xFE。

　　各編碼范圍對應(yīng)的字符類型如下：0xA140-0xA3BF為標(biāo)點(diǎn)符號、希臘字母及特殊符號，另外于0xA259-0xA261，存放了雙音節(jié)度量衡單位用字：兙兛兞兝兡兣嗧瓩糎;0xA440-0xC67E為常用漢字，先按筆劃再按部首排序;0xC940-0xF9D5為次常用漢字，亦是先按筆劃再按部首排序。

　　4.Big5 的局限性

　　盡管Big5碼內(nèi)包含一萬多個字符，但是沒有考慮社會上流通的人名、地名用字、方言用字、化學(xué)及生物科等用字，沒有包含日文平假名及片假名字母。

　　例如臺灣視“著”為“著”的異體字，故沒有收錄“著”字?？滴踝值渲械囊恍┎渴子米?如“亠”、“疒”、“辵”、“癶”等)、常見的人名用字(如“堃”、“煊”、“栢”、“喆”等) 也沒有收錄到Big5之中。

　　GB18030 字符集

　　1.名稱的由來

　　GB 18030的全稱是GB18030-2000《信息交換用漢字編碼字符集基本集的擴(kuò)充》，是我國政府于2000年3月17日發(fā)布的新的漢字編碼國家標(biāo)準(zhǔn)，2001年8月31日后在中國市場上發(fā)布的軟件必須符合本標(biāo)準(zhǔn)

　　2.特點(diǎn)

　　GB 18030字符集標(biāo)準(zhǔn)的出臺經(jīng)過廣泛參與和論證，來自國內(nèi)外知名信息技術(shù)行業(yè)的公司，信息產(chǎn)業(yè)部和原國家質(zhì)量技術(shù)監(jiān)督局聯(lián)合實(shí)施。

　　GB 18030字符集標(biāo)準(zhǔn)解決漢字、日文假名、朝鮮語和中國少數(shù)民族文字組成的大字符集計算機(jī)編碼問題。該標(biāo)準(zhǔn)的字符總編碼空間超過150萬個編碼位，收錄了27484個漢字，覆蓋中文、日文、朝鮮語和中國少數(shù)民族文字。滿足中國大陸、香港、臺灣、日本和韓國等東亞地區(qū)信息交換多文種、大字量、多用途、統(tǒng)一編碼格式的要求。并且與Unicode 3.0版本兼容，填補(bǔ)Unicode擴(kuò)展字符字匯“統(tǒng)一漢字?jǐn)U展A”的內(nèi)容。并且與以前的國家字符編碼標(biāo)準(zhǔn)(GB2312，GB13000.1)兼容。

　　3.編碼方法

　　GB 18030標(biāo)準(zhǔn)采用單字節(jié)、雙字節(jié)和四字節(jié)三種方式對字符編碼。單字節(jié)部分使用0×00至0×7F碼(對應(yīng)于ASCII碼的相應(yīng)碼)。雙字節(jié)部分，首字節(jié)碼從0×81至0×FE，尾字節(jié)碼位分別是0×40至0×7E和0×80至0×FE。四字節(jié)部分采用GB/T 11383未采用的0×30到0×39作為對雙字節(jié)編碼擴(kuò)充的后綴，這樣擴(kuò)充的四字節(jié)編碼，其范圍為0×81308130到0×FE39FE39。其中第一、三個字節(jié)編碼碼位均為0×81至0×FE，第二、四個字節(jié)編碼碼位均為0×30至0×39。

　　4.包含的內(nèi)容

　　雙字節(jié)部分收錄內(nèi)容主要包括GB13000.1全部CJK漢字20902個、有關(guān)標(biāo)點(diǎn)符號、表意文字描述符13個、增補(bǔ)的漢字和部首/構(gòu)件80個、雙字節(jié)編碼的歐元符號等?！　∷淖止?jié)部分收錄了上述雙字節(jié)字符之外的，包括CJK統(tǒng)一漢字?jǐn)U充A在內(nèi)的GB 13000.1中的全部字符。

　　Unicode字符集

　　1.名稱的由來

　　Unicode字符集編碼是Universal Multiple-Octet Coded Character Set 通用多八位編碼字符集的簡稱，是由一個名為 Unicode 學(xué)術(shù)學(xué)會(Unicode Consortium)的機(jī)構(gòu)制訂的字符編碼系統(tǒng)，支持現(xiàn)今世界各種不同語言的書面文本的交換、處理及顯示。該編碼于1990年開始研發(fā)，1994年正式公布，最新版本是2005年3月31日的Unicode 4.1.0。

　　2.特征

　　Unicode是一種在計算機(jī)上使用的字符編碼。它為每種語言中的每個字符設(shè)定了統(tǒng)一并且唯一的二進(jìn)制編碼，以滿足跨語言、跨平臺進(jìn)行文本轉(zhuǎn)換、處理的要求。

　　3.編碼方法

　　Unicode 標(biāo)準(zhǔn)始終使用十六進(jìn)制數(shù)字，而且在書寫時在前面加上前綴“U+”，例如字母“A”的編碼為 004116 和字符“?”的編碼為 20AC16。所以“A”的編碼書寫為“U+0041”。

　　4.UTF-8 編碼

　　UTF-8是Unicode的其中一個使用方式。 UTF是 Unicode Translation Format，即把Unicode轉(zhuǎn)做某種格式的意思。

　　UTF-8便于不同的計算機(jī)之間使用網(wǎng)絡(luò)傳輸不同語言和編碼的文字，使得雙字節(jié)的Unicode能夠在現(xiàn)存的處理單字節(jié)的系統(tǒng)上正確傳輸。

　　UTF-8使用可變長度字節(jié)來儲存 Unicode字符，例如ASCII字母繼續(xù)使用1字節(jié)儲存，重音文字、希臘字母或西里爾字母等使用2字節(jié)來儲存，而常用的漢字就要使用3字節(jié)。輔助平面字符則使用4字節(jié)。

　　5.UTF-16 和 UTF-32 編碼

　　UTF-32、UTF-16 和 UTF-8 是 Unicode 標(biāo)準(zhǔn)的編碼字符集的字符編碼方案，UTF-16 使用一個或兩個未分配的 16 位代碼單元的序列對 Unicode 代碼點(diǎn)進(jìn)行編碼;UTF-32 即將每一個 Unicode 代碼點(diǎn)表示為相同值的 32 位整數(shù)。

　　php 各種應(yīng)用亂碼問題的解決方法

　　1) 使用 標(biāo)簽設(shè)置頁面編碼

　　這個標(biāo)簽的作用是聲明客戶端的瀏覽器用什么字符集編碼顯示該頁面，xxx 可以為 GB2312、GBK、UTF-8(和 MySQL 不同，MySQL 是 UTF8)等等。因此，大部分頁面可以采用這種方式來告訴瀏覽器顯示這個頁面的時候采用什么編碼，這樣才不會造成編碼錯誤而產(chǎn)生亂碼。但是有的時候我們會發(fā)現(xiàn)有了這句還是不行，不管 xxx 是哪一種，瀏覽器采用的始終都是一種編碼，這個情況我后面會談到。

　　請注意， 是屬于 HTML 信息的，僅僅是一個聲明，僅表明服務(wù)器已經(jīng)把 HTML 信息傳到了瀏覽器。

　　2) header("content-type:text/html; charset=xxx");

　　這個函數(shù) header() 的作用是把括號里面的信息發(fā)到 http 標(biāo)頭。如果括號里面的內(nèi)容為文中所說那樣，那作用和 標(biāo)簽基本相同，大家對照第一個看發(fā)現(xiàn)字符都差不多的。但是不同的是如果有這段函數(shù)，瀏覽器就會永遠(yuǎn)采用你所要求的 xxx 編碼，絕對不會不聽話，因此這個函數(shù)是很有用的。為什么會這樣呢?那就得說說 http 標(biāo)頭和 HTML信息的差別了：

　　http 標(biāo)頭是服務(wù)器以 http 協(xié)議傳送 HTML 信息到瀏覽器前所送出的字串。而 標(biāo)簽是屬于 HTML 信息的，所以 header() 發(fā)送的內(nèi)容先到達(dá)瀏覽器，通俗點(diǎn)就是 header() 的優(yōu)先級高于 (不知道可不可以這樣講)。假如一個 php 頁面既有header("content-type:text/html;charset=xxx")，又有，瀏覽器就只認(rèn)前者 http 標(biāo)頭而不認(rèn) meta 了。當(dāng)然這個函數(shù)只能在 php 頁面內(nèi)使用。

　　同樣也留有一個問題，為什么前者就絕對起作用，而后者有時候就不行呢?這就是接下來要談的Apache 的原因了。

　　3) AddDefaultCharset

　　Apache 根目錄的 conf 文件夾里，有整個 Apache 的配置文檔 httpd.conf。

　　用文本編輯器打開 httpd.conf，第 708 行(不同版本可能不同)有 AddDefaultCharset xxx，xxx為編碼名稱。這行代碼的意思：設(shè)置整個服務(wù)器內(nèi)的網(wǎng)頁文件 http 標(biāo)頭里的字符集為你默認(rèn)的 xxx字符集。有這行，就相當(dāng)于給每個文件都加了一行 header("content-type:text/html; charset=xxx")。這下就明白為什么明明 設(shè)置了是 utf-8，可瀏覽器始終采用 gb2312 的原因。

　　如果網(wǎng)頁里有 header("content-type:text/html; charset=xxx")，就把默認(rèn)的字符集改為你設(shè)置的字符集，所以這個函數(shù)永遠(yuǎn)有用。如果把 AddDefaultCharset xxx 前面加個"#"，注釋掉這句，而且頁面里不含 header("content-type…")，那這個時候就輪到 meta 標(biāo)簽起作用了。

　　下面列出以上的優(yōu)先順序：

　　header("content-type:text/html; charset=xxx")

　　.. AddDefaultCharset xxx

　　..

　　如果你是 web 程序員，建議給你的每個頁面都加個header("content-type:text/html;charset=xxx")，這樣就可以保證它在任何服務(wù)器都能正確顯示，可移植性也比較強(qiáng)。

　　4) php.ini 中的 default_charset 配置：

　　php.ini 中的 default_charset = "gb2312" 定義了 php 的默認(rèn)語言字符集。一般推薦注釋掉此行，讓瀏覽器根據(jù)網(wǎng)頁頭中的 charset 來自動選擇語言而非做一個強(qiáng)制性的規(guī)定，這樣就可以在同臺服務(wù)器上提供多種語言的網(wǎng)頁服務(wù)。

最新評論