一.漢字轉(zhuǎn)拼音的現(xiàn)狀

首先應(yīng)該說，漢字轉(zhuǎn)拼音是個強需求，比如聯(lián)系人按拼音字母排序／篩選；比如目的地（典型如機票購買）
按拼音首字母分類等等。但是這個需求的解決方案，但好像沒聽過什么巧妙的實現(xiàn)（特別是瀏覽器端），大概都需要一個龐大的字典。
具體到JavaScript，查查github和npm，比較優(yōu)秀的處理漢字轉(zhuǎn)拼音的庫有pinyin
和pinyinjs，可以看到，兩者都自帶了龐大的字典。
這些字典動輒幾十上百KB（有的甚至幾MB），想在瀏覽器端使用還是需要一些勇氣的。所以當我們碰到漢字轉(zhuǎn)拼音的需求，也不怪我們第一反應(yīng)就是拒絕需求（或者服務(wù)端實現(xiàn)）。
現(xiàn)在，如果我告訴你可以瀏覽器端300行代碼實現(xiàn)漢字轉(zhuǎn)拼音，是不是不可置信？

二.從安卓4.2.2聯(lián)系人代碼說起

再次強調(diào)這篇博客——利用Android源碼，輕松實現(xiàn)漢字轉(zhuǎn)拼音功能。
今天和大家分享一個從Android系統(tǒng)源代碼提取出來的漢字轉(zhuǎn)成拼音實現(xiàn)方案，只要一個類，560多行代碼就可以讓你輕松實現(xiàn)漢字轉(zhuǎn)成拼音的功能，且無需其他任何第三方依賴。
是不是打破了你的思維定勢：難道有什么強大的算法可以拋棄字典？
第一遍看完博客，稍有些失望，并沒有什么算法解析，只是介紹了從安卓代碼發(fā)現(xiàn)的這幾百行代碼。第二遍時帶著移植到JavaScript的想法閱讀代碼，算是弄懂了原理，于是開始了踩坑的移植之旅。

三.手把手教你300行JavaScript代碼實現(xiàn)漢字轉(zhuǎn)拼音

首先直指核心：為什么有漢字轉(zhuǎn)拼音必須有龐大字典的思維定勢？
因為漢字的排布和拼音并有什么關(guān)聯(lián)，比如在漢字區(qū)間\u4E00-\u9FFF，前一個可能是ha，后一個可能就是ze，沒有辦法從漢字的unicode關(guān)聯(lián)到拼音，所以只能有一個龐大的字典記錄每個漢字（或常用漢字）的拼音。
但是，假設(shè)我們可以把所有漢字按拼音排序，比如按'A','AI','AN','ANG','AO','BA',...,'ZUI','ZUN','ZUO'排序，那么，我們只需要記住每個相同拼音的漢字隊列的第一個漢字就好了。那么，所需要的字典就會很小（覆蓋所有拼音即可，拼音數(shù)量本身不多）。
現(xiàn)在，難點就是把漢字按拼音排序了。很幸運，ICU/本地化相關(guān)的API提供了這個排序API（如果沒有方便的排序／比較方法，那么本篇文章可能就不會出現(xiàn)了）。

所以，這就是為什么300行可以實現(xiàn)漢字轉(zhuǎn)拼音：Intl.CollatorAPI：Intl.Collator內(nèi)部實現(xiàn)了本土化相關(guān)的字符串排序。我們通過Intl.Collator.prototype.compare可以把所有漢字基本按照拼音來排序。
邊界漢字表：記錄了排序的邊界點。該漢字表的每個漢字都是排序后相同拼音的漢字集合的首個漢字（Eachunihansisthefirstonewithinsamepinyinwhencollatoriszh_CN）。
說到這里，可能仍然有沒說清楚的地方，所以直接上一段代碼：

有興趣的同學可以執(zhí)行node--icu-data-dir=node_modules/full-icu上面的腳本.js看看，然后看看是不是得到了基本按照拼音排序的漢字表。

這里有幾點要注意：

我再次加粗了“基本”，因為我們得到的漢字列表并沒有完全按照拼音來排序，中間偶爾有一些其它拼音的漢字插入，這點在制作邊界表時要額外注意。
上面腳本里得出的表是所有漢字的排序，其中有些和安卓代碼里HanziToPinyin.java的表有不同，所以需要更新HanziToPinyin.java的表。（從Java轉(zhuǎn)到JavaScript的最大的坑和工作量：更正邊界表）
相信大家都看到了核心代碼：constCOLLATOR=newIntl.Collator(['zh-Hans-CN'])，Intl.Collator
（這里指定locale是中國zh-Hans-CN）正是能把漢字按拼音排序的關(guān)鍵，它是按locale-specific順序，排序字符串的InternationalizationAPI。
執(zhí)行腳本時請先npmifull-icu，這個依賴會自動安裝缺失的中文支持并提示如何指定ICU數(shù)據(jù)文件來執(zhí)行腳本。
1.ICUICU即InternationalComponentsforUnicode，為應(yīng)用提供Unicode和國際化支持。
ICUisamature,widelyusedsetofC/C++andJavalibrariesprovidingUnicodeandGlobalizationsupportforsoftwareapplications.ICUiswidelyportableandgivesapplicationsthesameresultsonallplatformsandbetweenC/C++andJavasoftware.
并且ICU提供了本地化字符串比較服務(wù)（UnicodeCollationAlgorithm+本地特定的比較規(guī)則）：
Collation:Comparestringsaccordingtotheconventionsandstandardsofaparticularlanguage,regionorcountry.ICU'scollationisbasedontheUnicodeCollationAlgorithmpluslocale-specificcomparisonrulesfromtheCommonLocaleDataRepository,acomprehensivesourceforthistypeofdata.
在現(xiàn)代瀏覽器上，一般ICU內(nèi)置了對用戶本地語言的支持，我們直接使用即可。
但對node.js來說，通常情況下，ICU只包含了一個子集（通常是英語），所以我們需要自行添加對中文的支持。一般來說，可以通過npminstallfull-icu安裝full-icu
來安裝缺失的中文支持。(參見上面node--icu-data-dir=node_modules/full-icu）。
2.IntlAPI上一小節(jié)應(yīng)該基本講清楚了國際化/本地化相關(guān)的知識，這里再補充一下內(nèi)置API的使用。怎么查看用戶語言和Runtime是否支持這個語言？Intl.Collator.supportedLocalesOf(array|string)
返回包含支持（不用回退到默認locale）的locales的數(shù)組，參數(shù)可以是數(shù)組或字符串，為想要測試的locales（即BCP47languagetag）。

構(gòu)造Collator對象和排序字符串

通過Intl.Collator.prototype.compare，我們可以按語言指定的順序來排序字符串。而中文中，這個排序恰好絕大多數(shù)都是按拼音的順序來的，'A','AI','AN','ANG','AO','BA','BAI','BAN','BANG','BAO','BEI','BEN','BENG','BI','BIAN','BIAO','BIE','BIN','BING','BO','BU','CA','CAI','CAN',...
，這正是我們上面提到的漢字轉(zhuǎn)拼音的關(guān)鍵。

四.邊界表更正

 顯然，這個邊界表是有問題的，需要更正。
我們可看到，大部分的漢字被轉(zhuǎn)成了qing，可見，qing這個拼音對應(yīng)的漢字有問題。
找到這個漢字，是'\u72c5'/'狅'，加上前后各一個字，['\u4eb2','\u72c5','\u828e']/["親","狅","芎"]
。
搜索，'\u72c5'/'狅'可以讀qing，但現(xiàn)在多讀kuang，這應(yīng)該就是錯誤的原因了。
根據(jù)最初得到那張所有漢字的排序表，qing的第一個漢字是'\u9751'/'靑'。
改動后，轉(zhuǎn)換失敗的只剩104了。

最新評論