Java實(shí)戰(zhàn)之敏感詞過濾器
一、導(dǎo)包
本文的敏感詞過濾器用在SpringBoot項(xiàng)目中,因此,首先需要在pom.xml文件中導(dǎo)入如下依賴
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-aop</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-thymeleaf</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-lang3</artifactId> <version>3.9</version> </dependency>
二、敏感詞文件
在resources目錄下,創(chuàng)建sensitive-word.txt,里面填入需要過濾的敏感詞信息。
三、前綴樹的實(shí)現(xiàn)
前綴樹TrieNode以一個(gè)空節(jié)點(diǎn)為頭結(jié)點(diǎn),每個(gè)節(jié)點(diǎn)下包含若干子節(jié)點(diǎn),不同節(jié)點(diǎn)代表不同字符。TrieNode 由兩部分組成,首先是一個(gè)boolean變量,表示該結(jié)點(diǎn)是否為一個(gè)關(guān)鍵詞的終結(jié)點(diǎn)。其次是該結(jié)點(diǎn)的子節(jié)點(diǎn)集合,在本文中,用HashMap存儲(chǔ)子節(jié)點(diǎn),key存儲(chǔ)結(jié)點(diǎn)代表的字符,類型為Character,value為TrieNode,表示子節(jié)點(diǎn)。實(shí)現(xiàn)的代碼如下。
//前綴樹 private class TrieNode{ //關(guān)鍵詞結(jié)束標(biāo)識(shí) private boolean isKeywordEnd = false; //子節(jié)點(diǎn) private Map<Character,TrieNode> subNodes = new HashMap<>(); //isKeywordEnd的get、set方法 public boolean isKeywordEnd() { return isKeywordEnd; } public void setKeywordEnd(boolean keywordEnd) { isKeywordEnd = keywordEnd; } //添加子節(jié)點(diǎn) public void addSubNode(Character c,TrieNode node){ subNodes.put(c,node); } //獲取子節(jié)點(diǎn) public TrieNode getSubNode(Character c){ return subNodes.get(c); } }
四、敏感詞過濾器的實(shí)現(xiàn)
@Component public class SensitiveFilter { // 替換符 private static final String REPLACEMENT = "***"; //根節(jié)點(diǎn) private TrieNode rootNode = new TrieNode(); //bean的初始化方法,服務(wù)一啟動(dòng),容器自動(dòng)給bean執(zhí)行此方法完成初始化 //此方法的目的是讀取敏感詞文件,構(gòu)建敏感詞前綴樹 @PostConstruct public void init(){ try( InputStream is = this.getClass().getClassLoader().getResourceAsStream("sensitive-words.txt"); BufferedReader reader = new BufferedReader(new InputStreamReader(is)); ){ String keyword; while((keyword=reader.readLine())!=null){ this.addKeyword(keyword); } }catch (IOException e){ logger.error("加載敏感詞文件失敗: " + e.getMessage()); } } //將一個(gè)敏感詞添加到前綴樹 private void addKeyword(String keyword){ TrieNode tempNode = rootNode; for (int i = 0; i <keyword.length() ; i++) { char c = keyword.charAt(i); TrieNode subNode = tempNode.getSubNode(c); if(subNode==null){ //初始化子節(jié)點(diǎn) subNode = new TrieNode(); tempNode.addSubNode(c,subNode); } //指向子節(jié)點(diǎn),進(jìn)入下一輪循環(huán) tempNode = subNode; //設(shè)置結(jié)束標(biāo)志 if(i==keyword.length()-1){ tempNode.setKeywordEnd(true); } } } /** * 過濾敏感詞 * * @param text 待過濾的文本 * @return 過濾后的文本 */ public String filter(String text){ if(StringUtils.isBlank(text)){ return null; } //指針1 TrieNode tempNode = rootNode; //指針2 int begin = 0; //指針3 int position = 0; //結(jié)果 StringBuilder sb = new StringBuilder(); while(position<text.length()){ char c = text.charAt(position); /* 跳過符號(hào) 情況一:符號(hào)在敏感詞前面,將符號(hào)寫入結(jié)果,如 ☆敏感詞 情況二:符號(hào)在敏感詞中間,則將符號(hào)與敏感詞一起替換,如敏☆感☆詞 */ if(isSymbol(c)){ //若指針1處于根節(jié)點(diǎn),對(duì)應(yīng)情況一,將符號(hào)計(jì)入結(jié)果,讓指針2向下走一步 if(tempNode==rootNode){ sb.append(c); begin++; } //無(wú)論符號(hào)在開頭還是敏感詞中間,指針3都向下走一步 position++; continue; } //檢查下級(jí)節(jié)點(diǎn) tempNode = tempNode.getSubNode(c); if(tempNode==null){ //以begin開頭的的字符串不是敏感詞 sb.append(text.charAt(begin)); //指針2和指針3共同指向指針2的下一個(gè)位置 position = ++begin; //指針1重新指向根節(jié)點(diǎn) tempNode = rootNode; }else if(tempNode.isKeywordEnd()){ //發(fā)現(xiàn)敏感詞,將begin~position字符串替換 sb.append(REPLACEMENT); //進(jìn)入下一個(gè)位置 begin = ++position; //指針1重新指向根節(jié)點(diǎn) tempNode = rootNode; }else { //檢查下一個(gè)字符 position++; } } //將最后一批字符計(jì)入結(jié)果 sb.append(text.substring(begin)); return sb.toString(); } //判斷是否為符號(hào) private boolean isSymbol(Character c){ // 0x2E80~0x9FFF 是東亞文字范圍 return !CharUtils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF); } }
到此這篇關(guān)于Java實(shí)戰(zhàn)之敏感詞過濾器的文章就介紹到這了,更多相關(guān)Java敏感詞過濾器內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
springboot2.2 集成 activity6實(shí)現(xiàn)請(qǐng)假流程(示例詳解)
這篇文章主要介紹了springboot2.2 集成 activity6實(shí)現(xiàn)請(qǐng)假完整流程示例詳解,本文通過示例代碼圖文相結(jié)合給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-07-07手把手教你搭建第一個(gè)Spring Batch項(xiàng)目的步驟
這篇文章主要介紹了手把手教你搭建第一個(gè)Spring Batch項(xiàng)目的步驟,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09SpringBoot項(xiàng)目Pom文件的基本配置方式
這篇文章主要介紹了SpringBoot項(xiàng)目Pom文件的基本配置方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06Java?@Autowired報(bào)錯(cuò)原因分析和4種解決方案
這篇文章主要介紹了Java?@Autowired報(bào)錯(cuò)原因分析和4種解決方案,文章圍繞主題展開詳細(xì)內(nèi)容介紹,具有一定的參考價(jià)值,需要的小伙伴可以參考以一下2022-05-05使用SpringBoot簡(jiǎn)單了解Druid的監(jiān)控系統(tǒng)的配置方法
這篇文章主要介紹了使用SpringBoot簡(jiǎn)單了解Druid的監(jiān)控系統(tǒng)的配置,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-06-06Java基于Lock的生產(chǎn)者消費(fèi)者模型示例
這篇文章主要介紹了Java基于Lock的生產(chǎn)者消費(fèi)者模型,結(jié)合實(shí)例形式分析了java基于鎖機(jī)制的生產(chǎn)者消費(fèi)者模型相關(guān)實(shí)現(xiàn)與使用技巧,需要的朋友可以參考下2018-08-08淺談Java內(nèi)部類——靜態(tài)內(nèi)部類
這篇文章主要介紹了Java靜態(tài)內(nèi)部類的相關(guān)資料,幫助大家更好的理解和學(xué)習(xí)Java內(nèi)部類的相關(guān)知識(shí),感興趣的朋友可以了解下2020-08-08SpringBoot利用自定義注解實(shí)現(xiàn)多數(shù)據(jù)源
這篇文章主要為大家詳細(xì)介紹了SpringBoot如何利用自定義注解實(shí)現(xiàn)多數(shù)據(jù)源效果,文中的示例代碼講解詳細(xì),具有一定的借鑒價(jià)值,需要的可以了解一下2022-10-10淺析SpringBoot自動(dòng)化配置原理實(shí)現(xiàn)
這篇文章主要介紹了淺析SpringBoot自動(dòng)化配置原理實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06