快捷導(dǎo)航

PHP中使用正則表達式提取中文實現(xiàn)筆記

更新時間：2015年01月20日 09:16:06 投稿：junjie

這篇文章主要介紹了PHP中使用正則表達式提取中文實現(xiàn)筆記,本文還講解了韓文、日文的正則表達式,并同時給出實現(xiàn)代碼和使用示例,需要的朋友可以參考下

最近老板叫做一個數(shù)據(jù)查重的小練習(xí)，涉及從一個包含中文字段的文件中提取出其中的中文字段并存儲，使用php開發(fā)。中間涉及到php正則表達式中文匹配的問題，網(wǎng)上搜羅一大片，但是也很亂沒有一個準(zhǔn)信兒，經(jīng)過自己的代碼的修改和檢驗，先將extract函數(shù)寫下。

首先要注意到的是，雙字節(jié)字符的編碼問題，這里我們以后還可能會遇到像韓文、日文等編碼問題，與中文理解上是一個意思。

1. GBK (GB2312/GB18030)

復(fù)制代碼代碼如下:

\x00-\xff GBK雙字節(jié)編碼范圍   

\x20-\x7f ASCII   

\xa1-\xff 中文 gb2312   

\x80-\xff 中文 gbk

2. UTF-8 (Unicode)

復(fù)制代碼代碼如下:

 
\u4e00-\u9fa5 (中文)   

\x3130-\x318F (韓文   

\xAC00-\xD7A3 (韓文)   

\u0800-\u4e00 (日文)

在Notepad++下面，我們可以首先進行測試我們的正則書寫的錯誤與否。第一個表達式我是使用[\u4e00-\u9fa5]+來檢驗的，+號表示不止一個

匹配符。結(jié)果與預(yù)期相同，那么，是否在腳本中就可以使用這個正則了呢？

我們測試一下，我們使用preg_match_all(‘/[\u4e00-\u9fa5]+/', $subject,$matches)調(diào)用，然后你卻看到了這么一個結(jié)果：Compilation failed: PCRE does not support \L, \l, \N{name}, \U, or \u at offset 2。。。。是不是很頭大？？這究竟是什么原因？

查閱了很多資料后發(fā)現(xiàn)，u (PCRE_UTF8)，就是上面的PCRE，這是是一個Perl庫，包括 perl 兼容的正規(guī)表達式庫。此修正符啟用了一個 PCRE 中與 Perl 不兼容的額外功能。模式字符串被當(dāng)成 UTF-8。本修正符在 Unix 下自 PHP 4.1.0 起可用，在 win32 下自 PHP 4.2.3 起可用。而php正則表達式對于十六進制數(shù)據(jù)的表達方式上也有所不同，在php中，是用\x表示十六進制數(shù)據(jù)的。下面我們就將代碼優(yōu)化一下，檢測函數(shù)變?yōu)椋?/p>

復(fù)制代碼代碼如下:

 class storeDataAdapter extends Store{   

        private $dsData;   

        /**  

         * 數(shù)據(jù)轉(zhuǎn)換函數(shù)，調(diào)用preg_match_all根據(jù)$pattern正則來進行數(shù)值匹配，并將返回的結(jié)果以數(shù)組形式存儲在$matches中，  

         * $matches[0]將包含與整個模式匹配的文本，$matches[1] 將包含與第一個捕獲的括號中的子模式所匹配的文本，以此類推  

         * @see Store::data_convert()  

         */  

        public function data_convert($pattern,$subject) {   

            $matches=array();   

            if (preg_match_all($pattern, $subject,$matches)){   

                return $matches[0];   

            }else    

            {   

                return null;   

            }   

        }   

    }

調(diào)用的時候變?yōu)椋?/p>

復(fù)制代碼代碼如下:

 $store=new storeDataAdapter($txtContent);   

    $match=array();   

    $dsName=$store-&gt;data_convert(‘/[\x7f-\xff]+/',$txtContent);   

    foreach ($dsName as $val){   

        echo $val."&lt;br&gt;";   

    }

輸入文件為：