欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

php 一元分詞算法

 更新時間:2009年11月30日 21:09:39   作者:  
php 一元分詞算法

復(fù)制代碼 代碼如下:


/**
* 一元分詞算法
* UTF8編碼下一個字符如果首字符ASCII碼不大于192則只占1個字節(jié)
* 如果首字符ASCII碼大于192小于224則占用2個字節(jié),否則占用3個字節(jié)
* 一元分詞需要在mysql的my.ini文件中增加 ft_min_word_len=1
* 可以使用mysql查詢語句 show variables like '%ft%' 查看mysql全文搜索相關(guān)設(shè)置
*
* @access global
* @param string $str
* @param boolean $unique 是否去除重復(fù)值
* @param boolean $merge 是否合并附加值
* @return array
*/
function seg_word($str,$unique=false,$merge=true)
{
$str = trim(strip_tags($str));
$strlen = strlen($str);
if($strlen == 0) return array();
$spc = ' ';
//按需增加需要過濾的字符
$search = array(',', '/', '\\', '.', ';', ':', '\'', '!', '~','"', '`', '^', '(', ')', '?', '-', "\t", "\n", '\'', '<', '>', "\r", "\r\n", '\$', '&', '%', '#', '@', '+', '=', '{', '}', '[', ']', ')', '(', '.', '。', ',', '!', ';', '“', '”', '‘', ''', '[', ']', '、', '—', ' ', '《', '》', '-', '…', '【', '】',':');
$numpairs = array('1'=>'一','2'=>'二','3'=>'三','4'=>'四','5'=>'五','6'=>'六','7'=>'七','8'=>'八','9'=>'九','0'=>'零');
$str = alab_num($str);
$str = str_replace($search,' ',$str);
$ord = $i = $k = 0;
$prechar = 0;// 0-空白 1-英文和符號 2-中文
$result = array();
$annex = array();

while($ord = ord($str[$i]))
{
//1字節(jié)字符
if ($ord <= 0xC0 )
{
//去除空字符串
if($ord < 33) {
$prechar=0;
$i++;
$k++;
continue;
}
//附加中文大寫數(shù)字轉(zhuǎn)換
if(isset($numpairs[$str[$i]])) {
$annex[]=$numpairs[$str[$i]];
}
//如果前面是中文
if( $prechar == 2 ){
$result[++$k] = $str[$i];
}
else {
$result[$k] .= $str[$i];
}
$prechar = 1;
$i++;
}
else //2-3字節(jié)字符(中文)
{
if($ord < 0xE0)
$step = 2;
else
$step = 3;
$c = substr($str,$i,$step);
if(false !== $key = array_search($c,$numpairs)){
$annex[] = $key;
}
if ($prechar != 0) {
$result[++$k] = $c;
}
else {
$result[$k] .= $c;
}

$prechar = 2;
$i+=$step;
}
}
$result = $merge ? array_merge($result,$annex) : $result ;
return $unique ? array_unique($result) : $result ;
}

相關(guān)文章

  • PHP比較運算符的詳細(xì)介紹

    PHP比較運算符的詳細(xì)介紹

    運算符是告訴編譯程序執(zhí)行特定算術(shù)或邏輯操作的符號,通常與操作數(shù)一起構(gòu)成一個表達(dá)式,我們經(jīng)常看到它會參與數(shù)學(xué)運算或邏輯運算。PHP也包涵了很多的運算符,這篇文章詳細(xì)解讀一下其中很重要的比較運算符。
    2015-09-09
  • php創(chuàng)建多級目錄代碼

    php創(chuàng)建多級目錄代碼

    php的多級目錄實現(xiàn)代碼比其它的asp要方便
    2008-06-06
  • PHP的變量類型和作用域詳解

    PHP的變量類型和作用域詳解

    什么是變量的作用域?變量的作用域是指在腳本的一次生命周期內(nèi)變量的有效范圍。一般來說有全局和局部之分
    2014-03-03
  • php session的應(yīng)用詳細(xì)介紹

    php session的應(yīng)用詳細(xì)介紹

    這篇文章主要介紹了php session的應(yīng)用詳細(xì)介紹的相關(guān)資料,需要的朋友可以參考下
    2017-03-03
  • PHP數(shù)組操作——獲取數(shù)組最后一個值的方法

    PHP數(shù)組操作——獲取數(shù)組最后一個值的方法

    這篇文章主要介紹了PHP數(shù)組操作——獲取數(shù)組最后一個值的方法,需要的朋友可以參考下
    2015-04-04
  • php實現(xiàn)的替換敏感字符串類實例

    php實現(xiàn)的替換敏感字符串類實例

    這篇文章主要介紹了php實現(xiàn)的替換敏感字符串類,包括了常見的非法字符串檢測、白名單、黑名單及字符替換等功能,非常實用,需要的朋友可以參考下
    2014-09-09
  • PHP實現(xiàn)的自定義數(shù)組排序函數(shù)與排序類示例

    PHP實現(xiàn)的自定義數(shù)組排序函數(shù)與排序類示例

    這篇文章主要介紹了PHP實現(xiàn)的自定義數(shù)組排序函數(shù)與排序類,結(jié)合實例形式分析了php自定義二維數(shù)組排序函數(shù)與排序類的相關(guān)實現(xiàn)技巧,需要的朋友可以參考下
    2016-11-11
  • ThinkPHP采用模塊和操作分析

    ThinkPHP采用模塊和操作分析

    ThinkPHP采用模塊和操作的方式來執(zhí)行,首先,用戶的請求會通過入口文件生成一個應(yīng)用實例,應(yīng)用控制器(我們稱之為核心控制器)會管理整個用戶執(zhí)行的過程,并負(fù)責(zé)模塊的調(diào)度和操作的執(zhí)行,并且在最后銷毀該應(yīng)用實例。
    2011-04-04
  • PHP 刪除一個目錄及目錄下的所有文件的函數(shù)代碼

    PHP 刪除一個目錄及目錄下的所有文件的函數(shù)代碼

    PHP刪除一個目錄及目錄下的文件代碼,即刪除目錄或刪除文件。
    2010-05-05
  • 如何打開php的gd2庫

    如何打開php的gd2庫

    本文主要介紹了如何打開php的gd2庫的步驟方法。具有很好的參考價值,下面跟著小編一起來看下吧
    2017-02-02

最新評論