SpringBoot?熱搜與不雅文字過濾的實現(xiàn)
更新時間：2022年07月13日 09:37:47 作者：魅Lemon
本文主要介紹了SpringBoot?熱搜與不雅文字過濾的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
一、前言
這里主要講springboot整合redis的個人搜索記錄與熱搜、敏感詞過濾與替換兩個功能，下面進(jìn)行環(huán)境準(zhǔn)備，引入相關(guān)maven依賴
<dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-test</artifactId> ? ? <scope>test</scope> </dependency> <!-- https://mvnrepository.com/artifact/org.springframework.boot/spring-boot-starter-data-redis --> <dependency> ? ? <groupId>org.springframework.boot</groupId> ? ? <artifactId>spring-boot-starter-data-redis</artifactId> ? ? <version>2.7.0</version> </dependency> <!-- https://mvnrepository.com/artifact/org.apache.commons/commons-lang3 --> <dependency> ? ? <groupId>org.apache.commons</groupId> ? ? <artifactId>commons-lang3</artifactId> ? ? <version>3.12.0</version> </dependency>
application.yml配置為
spring:
redis:
#數(shù)據(jù)庫索引
database: 0
host: 192.168.31.28
port: 6379
password: 123456
lettuce:
pool:
#最大連接數(shù)
max-active: 8
#最大阻塞等待時間(負(fù)數(shù)表示沒限制)
max-wait: -1
#最大空閑
max-idle: 8
#最小空閑
min-idle: 0
#連接超時時間
timeout: 10000最后敏感詞文本文件放在resources/static目錄下，取名為word.txt，敏感詞文本網(wǎng)上很多，這里就隨便貼一個：github敏感詞
二、不雅文字過濾
1、實現(xiàn)原理
簡單原理如下圖所示，使用了DFA算法，創(chuàng)建結(jié)點(diǎn)類，里面包含是否是敏感詞結(jié)束符，以及一個HashMap，哈希里key值存儲的是敏感詞的一個詞，value指向下一個結(jié)點(diǎn)（即指向下一個詞），一個哈希表中可以存放多個值，比如賭博、賭黃這兩個都是敏感詞。
2、實現(xiàn)方法
2.1 敏感詞庫初始化
敏感詞庫的初始化，這里主要工作是讀取敏感詞文件，在內(nèi)存中構(gòu)建好敏感詞的Map節(jié)點(diǎn)
/**
?* @author shawn
?* @version 1.0
?* @ClassName SensitiveWordInit
?* Description:屏蔽一些無關(guān)緊要的警告。使開發(fā)者能看到一些他們真正關(guān)心的警告。從而提高開發(fā)者的效率
?* 屏蔽敏感詞初始化
?* @date 2022/6/22 18:20
?*/
@Configuration
@SuppressWarnings({ "rawtypes", "unchecked" })
public class SensitiveWordInit {
? ? // 字符編碼
? ? private String ENCODING = "UTF-8";
? ? // 初始化敏感字庫
? ? public Map initKeyWord() throws IOException {
? ? ? ? // 讀取敏感詞庫 ,存入Set中
? ? ? ? Set<String> wordSet = readSensitiveWordFile();
? ? ? ? // 將敏感詞庫加入到HashMap中//確定有窮自動機(jī)DFA
? ? ? ? return addSensitiveWordToHashMap(wordSet);
? ? }
? ? // 讀取敏感詞庫 ,存入HashMap中
? ? private Set<String> readSensitiveWordFile() throws IOException {
? ? ? ? Set<String> wordSet = null;
? ? ? ? ClassPathResource classPathResource = new ClassPathResource("static/word.txt");
? ? ? ? InputStream inputStream = classPathResource.getInputStream();
? ? ? ? //敏感詞庫
? ? ? ? try {
? ? ? ? ? ? // 讀取文件輸入流
? ? ? ? ? ? InputStreamReader read = new InputStreamReader(inputStream, ENCODING);
? ? ? ? ? ? // 文件是否是文件 和 是否存在
? ? ? ? ? ? wordSet = new HashSet<String>();
? ? ? ? ? ? // StringBuffer sb = new StringBuffer();
? ? ? ? ? ? // BufferedReader是包裝類，先把字符讀到緩存里，到緩存滿了，再讀入內(nèi)存，提高了讀的效率。
? ? ? ? ? ? BufferedReader br = new BufferedReader(read);
? ? ? ? ? ? String txt = null;
? ? ? ? ? ? // 讀取文件，將文件內(nèi)容放入到set中
? ? ? ? ? ? while ((txt = br.readLine()) != null) {
? ? ? ? ? ? ? ? wordSet.add(txt);
? ? ? ? ? ? }
? ? ? ? ? ? br.close();
? ? ? ? ? ? // 關(guān)閉文件流
? ? ? ? ? ? read.close();
? ? ? ? } catch (Exception e) {
? ? ? ? ? ? e.printStackTrace();
? ? ? ? }
? ? ? ? return wordSet;
? ? }
? ? // 將HashSet中的敏感詞,存入HashMap中
? ? private Map addSensitiveWordToHashMap(Set<String> wordSet) {
? ? ? ? // 初始化敏感詞容器，減少擴(kuò)容操作
? ? ? ? Map wordMap = new HashMap(wordSet.size());
? ? ? ? for (String word : wordSet) {
? ? ? ? ? ? Map nowMap = wordMap;
? ? ? ? ? ? for (int i = 0; i < word.length(); i++) {
? ? ? ? ? ? ? ? // 轉(zhuǎn)換成char型
? ? ? ? ? ? ? ? char keyChar = word.charAt(i);
? ? ? ? ? ? ? ? // 獲取
? ? ? ? ? ? ? ? Object tempMap = nowMap.get(keyChar);
? ? ? ? ? ? ? ? // 如果存在該key，直接賦值
? ? ? ? ? ? ? ? if (tempMap != null) {
? ? ? ? ? ? ? ? ? ? nowMap = (Map) tempMap;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? // 不存在則，則構(gòu)建一個map，同時將isEnd設(shè)置為0，因為他不是最后一個
? ? ? ? ? ? ? ? else {
? ? ? ? ? ? ? ? ? ? // 設(shè)置標(biāo)志位
? ? ? ? ? ? ? ? ? ? Map<String, String> newMap = new HashMap<String, String>();
? ? ? ? ? ? ? ? ? ? newMap.put("isEnd", "0");
? ? ? ? ? ? ? ? ? ? // 添加到集合
? ? ? ? ? ? ? ? ? ? nowMap.put(keyChar, newMap);
? ? ? ? ? ? ? ? ? ? nowMap = newMap;
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? // 最后一個
? ? ? ? ? ? ? ? if (i == word.length() - 1) {
? ? ? ? ? ? ? ? ? ? nowMap.put("isEnd", "1");
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return wordMap;
? ? }
}2.2 敏感詞過濾器
敏感詞過濾器，主要功能是初始化敏感詞庫，敏感詞的過濾以及替換
/**
?* @author shawn
?* @version 1.0
?* @ClassName SensitiveFilter
?* Description:敏感詞過濾器：利用DFA算法 ?進(jìn)行敏感詞過濾
?* @date 2022/6/22 18:19
?*/
@Component
public class SensitiveFilter {
? ? /**
? ? ?* 敏感詞過濾器：利用DFA算法 ?進(jìn)行敏感詞過濾
? ? */
? ? private Map sensitiveWordMap = null;
? ? /**
? ? ?* 最小匹配規(guī)則，如：敏感詞庫["中國","中國人"]，語句："我是中國人"，匹配結(jié)果：我是[中國]人
? ? */
? ? public static int minMatchType = 1;
? ? /**
? ? ?* 最大匹配規(guī)則，如：敏感詞庫["中國","中國人"]，語句："我是中國人"，匹配結(jié)果：我是[中國人]
? ? */
? ? public static int maxMatchType = 2;
? ? /**
? ? ?* 敏感詞替換詞
? ? ?*/
? ? public static String placeHolder = "**";
? ? // 單例
? ? private static SensitiveFilter instance = null;
? ? /**
? ? ?* 構(gòu)造函數(shù)，初始化敏感詞庫
? ? */
? ? private SensitiveFilter() throws IOException {
? ? ? ? sensitiveWordMap = new SensitiveWordInit().initKeyWord();
? ? }
? ? /**
? ? ?* 獲取單例
? ? */
? ? public static SensitiveFilter getInstance() throws IOException {
? ? ? ? if (null == instance) {
? ? ? ? ? ? instance = new SensitiveFilter();
? ? ? ? }
? ? ? ? return instance;
? ? }
? ? /**
? ? ?* 獲取文字中的敏感詞
? ? */
? ? public Set<String> getSensitiveWord(String txt, int matchType) {
? ? ? ? Set<String> sensitiveWordList = new HashSet<>();
? ? ? ? for (int i = 0; i < txt.length(); i++) {
? ? ? ? ? ? // 判斷是否包含敏感字符
? ? ? ? ? ? int length = CheckSensitiveWord(txt, i, matchType);
? ? ? ? ? ? // 存在,加入list中
? ? ? ? ? ? if (length > 0) {
? ? ? ? ? ? ? ? sensitiveWordList.add(txt.substring(i, i + length));
? ? ? ? ? ? ? ? // 減1的原因，是因為for會自增
? ? ? ? ? ? ? ? i = i + length - 1;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return sensitiveWordList;
? ? }
? ? /**
? ? ?* 替換敏感字字符,使用了默認(rèn)的替換符合，默認(rèn)最小匹配規(guī)則
? ? ?*/
? ? public String replaceSensitiveWord(String txt) {
? ? ? ? return replaceSensitiveWord(txt, minMatchType ,placeHolder);
? ? }
? ? /**
? ? ?* 替換敏感字字符,使用了默認(rèn)的替換符合
? ? ?*/
? ? public String replaceSensitiveWord(String txt, int matchType) {
? ? ? ? return replaceSensitiveWord(txt, matchType,placeHolder);
? ? }
? ? /**
? ? ?* 替換敏感字字符
? ? */
? ? public String replaceSensitiveWord(String txt, int matchType,
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?String replaceChar) {
? ? ? ? String resultTxt = txt;
? ? ? ? // 獲取所有的敏感詞
? ? ? ? Set<String> set = getSensitiveWord(txt, matchType);
? ? ? ? Iterator<String> iterator = set.iterator();
? ? ? ? String word = null;
? ? ? ? String replaceString = null;
? ? ? ? while (iterator.hasNext()) {
? ? ? ? ? ? word = iterator.next();
? ? ? ? ? ? replaceString = getReplaceChars(replaceChar, word.length());
? ? ? ? ? ? resultTxt = resultTxt.replaceAll(word, replaceString);
? ? ? ? }
? ? ? ? return resultTxt;
? ? }
? ? /**
? ? ?* 獲取替換字符串
? ? ?*/
? ? private String getReplaceChars(String replaceChar, int length) {
? ? ? ? StringBuilder resultReplace = new StringBuilder(replaceChar);
? ? ? ? for (int i = 1; i < length; i++) {
? ? ? ? ? ? resultReplace.append(replaceChar);
? ? ? ? }
? ? ? ? return resultReplace.toString();
? ? }
? ? /**
? ? ?* 檢查文字中是否包含敏感字符，檢查規(guī)則如下：<br>
? ? ?* 如果存在，則返回敏感詞字符的長度，不存在返回0
? ? ?* 核心
? ? ?*/
? ? public int CheckSensitiveWord(String txt, int beginIndex, int matchType) {
? ? ? ? // 敏感詞結(jié)束標(biāo)識位：用于敏感詞只有1的情況結(jié)束
? ? ? ? boolean flag = false;
? ? ? ? // 匹配標(biāo)識數(shù)默認(rèn)為0
? ? ? ? int matchFlag = 0;
? ? ? ? Map nowMap = sensitiveWordMap;
? ? ? ? for (int i = beginIndex; i < txt.length(); i++) {
? ? ? ? ? ? char word = txt.charAt(i);
? ? ? ? ? ? // 獲取指定key
? ? ? ? ? ? nowMap = (Map) nowMap.get(word);
? ? ? ? ? ? // 存在，則判斷是否為最后一個
? ? ? ? ? ? if (nowMap != null) {
? ? ? ? ? ? ? ? // 找到相應(yīng)key，匹配標(biāo)識+1
? ? ? ? ? ? ? ? matchFlag++;
? ? ? ? ? ? ? ? // 如果為最后一個匹配規(guī)則,結(jié)束循環(huán)，返回匹配標(biāo)識數(shù)
? ? ? ? ? ? ? ? if ("1".equals(nowMap.get("isEnd"))) {
? ? ? ? ? ? ? ? ? ? // 結(jié)束標(biāo)志位為true
? ? ? ? ? ? ? ? ? ? flag = true;
? ? ? ? ? ? ? ? ? ? // 最小規(guī)則，直接返回,最大規(guī)則還需繼續(xù)查找
? ? ? ? ? ? ? ? ? ? if (SensitiveFilter.minMatchType == matchType) {
? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? // 不存在，直接返回
? ? ? ? ? ? else {
? ? ? ? ? ? ? ? break;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? // 匹配長度如果匹配上了最小匹配長度或者最大匹配長度
? ? ? ? if (SensitiveFilter.maxMatchType == matchType || SensitiveFilter.minMatchType == matchType){
? ? ? ? ? ? //長度必須大于等于1，為詞，或者敏感詞庫還沒有結(jié)束(匹配了一半)，flag為false
? ? ? ? ? ? if(matchFlag < 2 || !flag){
? ? ? ? ? ? ? ? matchFlag = 0;
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return matchFlag;
? ? }
}2.3 測試使用
最后進(jìn)行測試，這里有兩種方式可以獲取，因為容器初始化時會默認(rèn)執(zhí)行無參構(gòu)造
@RestController
public class SensitiveController {
? ? private static Logger logger = LoggerFactory.getLogger(SensitiveController.class);
? ? @Autowired
? ? SensitiveFilter sensitiveFilter;
? ? @GetMapping("/sensitive")
? ? public String sensitive(String keyword){
? ? ? ? String s = sensitiveFilter.replaceSensitiveWord(keyword);
? ? ? ? return s;
? ? }
? ? // 兩種方式都可以
? ? public static void main(String[] args) throws IOException {
? ? ? ? String searchKey = "傻逼h";
? ? ? ? String placeholder = "***";
? ? ? ? //非法敏感詞匯判斷
? ? ? ? SensitiveFilter filter = SensitiveFilter.getInstance();
? ? ? ? String s = filter.replaceSensitiveWord(searchKey, 1, placeholder);
? ? ? ? System.out.println(s);
? ? ? ? int n = filter.CheckSensitiveWord(searchKey,0,2);
? ? ? ? //存在非法字符
? ? ? ? if(n > 0){
? ? ? ? ? ? logger.info("這個人輸入了非法字符--> {},不知道他到底要查什么~ userid--> {}",searchKey,1);
? ? ? ? }
? ? }
}三、Redis搜索欄熱搜
1、前言
使用java和redis實現(xiàn)一個簡單的熱搜功能，具備以下功能：
- 搜索欄展示當(dāng)前登陸的個人用戶的搜索歷史記錄，刪除個人歷史記錄
- 用戶在搜索欄輸入某字符，則將該字符記錄下來 以zset格式存儲的redis中，記錄該字符被搜索的個數(shù)以及當(dāng)前的時間戳 （用了DFA算法）
- 每當(dāng)用戶查詢了已在redis存在了的字符時，則直接累加個數(shù)， 用來獲取平臺上最熱查詢的十條數(shù)據(jù)。（可以自己寫接口或者直接在redis中添加一些預(yù)備好的關(guān)鍵詞）
- 最后還要做不雅文字過濾功能。
代碼實現(xiàn)熱搜與個人搜索記錄功能，主要controller層下幾個方法就行了 ：
- 向redis 添加熱搜詞匯(添加的時候使用下面不雅文字過濾的方法來過濾下這個詞匯，合法再去存儲
- 每次點(diǎn)擊給相關(guān)詞熱度 +1
- 根據(jù)key搜索相關(guān)最熱的前十名
- 插入個人搜索記錄
- 查詢個人搜索記錄
2、代碼實現(xiàn)
2.1 創(chuàng)建RedisKeyUtils 工具類
管理redis的鍵，防止太亂了
public class RedisKeyUtils {
? ? /**
? ? ?* 分隔符號
? ? */
? ? private static final String SPLIT = ":";
? ? private static final String SEARCH = "search";
? ? private static final String SEARCH_HISTORY = "search-history";
? ? private static final String HOT_SEARCH = "hot-search";
? ? private static final String SEARCH_TIME = "search-time";
? ? /**
? ? ?* 每個用戶的個人搜索記錄hash
? ? */
? ? public static String getSearchHistoryKey(String userId){
? ? ? ? return SEARCH + SPLIT + SEARCH_HISTORY + SPLIT + userId;
? ? }
? ? /**
? ? ?* 總的熱搜zset
? ? ?*/
? ? public static String getHotSearchKey(){
? ? ? ? return SEARCH + SPLIT + HOT_SEARCH;
? ? }
? ? /**
? ? ?* 每個搜索記錄的時間戳記錄：key-value
? ? ?*/
? ? public static String getSearchTimeKey(String searchKey){
? ? ? ? return SEARCH + SPLIT + SEARCH_TIME + SPLIT + searchKey;
? ? }
? ??
}2.2 核心搜索文件
兩個文件是一起的
@Service("redisService")
public class RedisService {
? ? private Logger logger = LoggerFactory.getLogger(RedisService.class);
? ? /**
? ? ?* 取熱搜前幾名返回
? ? */
? ? private static final Integer HOT_SEARCH_NUMBER = 9;
? ? /**
? ? ?* 多少時間內(nèi)的搜索記錄胃熱搜
? ? ?*/
? ? private static final Long HOT_SEARCH_TIME = 30 * 24 * 60 * 60L;
? ??
? ??
? ? @Resource
? ? private StringRedisTemplate redisSearchTemplate;
? ? /**
? ? ?* 新增一條該userid用戶在搜索欄的歷史記錄
? ? */
? ? public Long addSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? try{
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 如果存在這個key
? ? ? ? ? ? boolean b = Boolean.TRUE.equals(redisSearchTemplate.hasKey(redisKey));
? ? ? ? ? ? if (b) {
? ? ? ? ? ? ? ? // 獲取這個關(guān)鍵詞hash的值，有就返回，沒有就新增
? ? ? ? ? ? ? ? Object hk = redisSearchTemplate.opsForHash().get(redisKey, searchKey);
? ? ? ? ? ? ? ? if (hk != null) {
? ? ? ? ? ? ? ? ? ? return 1L;
? ? ? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? ? ? redisSearchTemplate.opsForHash().put(redisKey, searchKey, "1");
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? // 沒有這個關(guān)鍵詞就新增
? ? ? ? ? ? ? ? redisSearchTemplate.opsForHash().put(redisKey, searchKey, "1");
? ? ? ? ? ? }
? ? ? ? ? ? return 1L;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
? ? /**
? ? ?* 刪除個人歷史數(shù)據(jù)
? ? */
? ? public Long delSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? try {
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 刪除這個用戶的關(guān)鍵詞記錄
? ? ? ? ? ? return redisSearchTemplate.opsForHash().delete(redisKey, searchKey);
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
? ? /**
? ? ?* 獲取個人歷史數(shù)據(jù)列表
? ? */
? ? public List<String> getSearchHistoryByUserId(String userId) {
? ? ? ? try{
? ? ? ? ? ? List<String> stringList = null;
? ? ? ? ? ? String redisKey = RedisKeyUtils.getSearchHistoryKey(userId);
? ? ? ? ? ? // 判斷存不存在
? ? ? ? ? ? boolean b = Boolean.TRUE.equals(redisSearchTemplate.hasKey(redisKey));
? ? ? ? ? ? if(b){
? ? ? ? ? ? ? ? stringList = new ArrayList<>();
? ? ? ? ? ? ? ? // 逐個掃描，ScanOptions.NONE為獲取全部鍵對，ScanOptions.scanOptions().match("map1").build() 匹配獲取鍵位map1的鍵值對,不能模糊匹配
? ? ? ? ? ? ? ? Cursor<Map.Entry<Object, Object>> cursor = redisSearchTemplate.opsForHash().scan(redisKey, ScanOptions.NONE);
? ? ? ? ? ? ? ? while (cursor.hasNext()) {
? ? ? ? ? ? ? ? ? ? Map.Entry<Object, Object> map = cursor.next();
? ? ? ? ? ? ? ? ? ? String key = map.getKey().toString();
? ? ? ? ? ? ? ? ? ? stringList.add(key);
? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? return stringList;
? ? ? ? ? ? }
? ? ? ? ? ? return null;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return null;
? ? ? ? }
? ? }
? ? /**
? ? ?* 根據(jù)searchKey搜索其相關(guān)最熱的前十名 (如果searchKey為null空，則返回redis存儲的前十最熱詞條)
? ? */
? ? public List<String> getHotList(String searchKey) {
? ? ? ? try {
? ? ? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ? ? List<String> result = new ArrayList<>();
? ? ? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? ? ? Set<String> value = zSetOperations.reverseRangeByScore(RedisKeyUtils.getHotSearchKey(), 0, Double.MAX_VALUE);
? ? ? ? ? ? //key不為空的時候 推薦相關(guān)的最熱前十名
? ? ? ? ? ? if(StringUtils.isNotEmpty(searchKey)){
? ? ? ? ? ? ? ? for (String val : value) {
? ? ? ? ? ? ? ? ? ? if (StringUtils.containsIgnoreCase(val, searchKey)) {
? ? ? ? ? ? ? ? ? ? ? ? //只返回最熱的前十名
? ? ? ? ? ? ? ? ? ? ? ? if (result.size() > HOT_SEARCH_NUMBER) {
? ? ? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? ? ? Long time = Long.valueOf(Objects.requireNonNull(valueOperations.get(val)));
? ? ? ? ? ? ? ? ? ? ? ? //返回最近一個月的數(shù)據(jù)
? ? ? ? ? ? ? ? ? ? ? ? if ((now - time) < HOT_SEARCH_TIME) {
? ? ? ? ? ? ? ? ? ? ? ? ? ? result.add(val);
? ? ? ? ? ? ? ? ? ? ? ? } else {//時間超過一個月沒搜索就把這個詞熱度歸0
? ? ? ? ? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), val, 0);
? ? ? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }else{
? ? ? ? ? ? ? ? for (String val : value) {
? ? ? ? ? ? ? ? ? ? //只返回最熱的前十名
? ? ? ? ? ? ? ? ? ? if (result.size() > HOT_SEARCH_NUMBER) {
? ? ? ? ? ? ? ? ? ? ? ? break;
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? ? ? Long time = Long.valueOf(Objects.requireNonNull(valueOperations.get(val)));
? ? ? ? ? ? ? ? ? ? //返回最近一個月的數(shù)據(jù)
? ? ? ? ? ? ? ? ? ? if ((now - time) < HOT_SEARCH_TIME) {
? ? ? ? ? ? ? ? ? ? ? ? result.add(val);
? ? ? ? ? ? ? ? ? ? } else {
? ? ? ? ? ? ? ? ? ? ? ? //時間超過一個月沒搜索就把這個詞熱度歸0
? ? ? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), val, 0);
? ? ? ? ? ? ? ? ? ? }
? ? ? ? ? ? ? ? }
? ? ? ? ? ? }
? ? ? ? ? ? return result;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return null;
? ? ? ? }
? ? }
}接上一個
@Service("redisService")
public class RedisService {
? ? private Logger logger = LoggerFactory.getLogger(RedisService.class);
? ? @Resource
? ? private StringRedisTemplate redisSearchTemplate;
? ? /**
? ? ?* 新增一條熱詞搜索記錄，將用戶輸入的熱詞存儲下來
? ? */
? ? public int incrementScoreByUserId(String searchKey) {
? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? List<String> title = new ArrayList<>();
? ? ? ? title.add(searchKey);
? ? ? ? for (int i = 0, length = title.size(); i < length; i++) {
? ? ? ? ? ? String tle = title.get(i);
? ? ? ? ? ? try {
? ? ? ? ? ? ? ? if (zSetOperations.score(RedisKeyUtils.getHotSearchKey(), tle) <= 0) {
? ? ? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), tle, 0);
? ? ? ? ? ? ? ? ? ? valueOperations.set(RedisKeyUtils.getSearchTimeKey(tle), String.valueOf(now));
? ? ? ? ? ? ? ? }
? ? ? ? ? ? } catch (Exception e) {
? ? ? ? ? ? ? ? zSetOperations.add(RedisKeyUtils.getHotSearchKey(), tle, 0);
? ? ? ? ? ? ? ? valueOperations.set(RedisKeyUtils.getSearchTimeKey(tle), String.valueOf(now));
? ? ? ? ? ? }
? ? ? ? }
? ? ? ? return 1;
? ? }
? ? /**
? ? ?* 每次點(diǎn)擊給相關(guān)詞searchKey熱度 +1
? ? */
? ? public Long incrementScore(String searchKey) {
? ? ? ? try{
? ? ? ? ? ? Long now = System.currentTimeMillis();
? ? ? ? ? ? ZSetOperations<String, String> zSetOperations = redisSearchTemplate.opsForZSet();
? ? ? ? ? ? ValueOperations<String, String> valueOperations = redisSearchTemplate.opsForValue();
? ? ? ? ? ? // 沒有的話就插入，有的話的直接更新；add是有就覆蓋，沒有就插入
? ? ? ? ? ? zSetOperations.incrementScore(RedisKeyUtils.getHotSearchKey(), searchKey, 1);
? ? ? ? ? ? valueOperations.getAndSet(RedisKeyUtils.getSearchTimeKey(searchKey), String.valueOf(now));
? ? ? ? ? ? return 1L;
? ? ? ? }catch (Exception e){
? ? ? ? ? ? logger.error("redis發(fā)生異常，異常原因：",e);
? ? ? ? ? ? return 0L;
? ? ? ? }
? ? }
}2.3 測試使用
以下只是簡單的測試，上面的核心函數(shù)可以自己組合，一般組合加上敏感詞過濾
@RestController
public class SearchHistoryController {
? ? @Autowired
? ? RedisService redisService;
? ? @GetMapping("/add")
? ? public String addSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? redisService.addSearchHistoryByUserId(userId, searchKey);
? ? ? ? redisService.incrementScore(searchKey);
? ? ? ? return null;
? ? }
? ? /**
? ? ?* 刪除個人歷史數(shù)據(jù)
? ? ?*/
? ? @GetMapping("/del")
? ? public Long delSearchHistoryByUserId(String userId, String searchKey) {
? ? ? ? return redisService.delSearchHistoryByUserId(userId, searchKey);
? ? }
? ? /**
? ? ?* 獲取個人歷史數(shù)據(jù)列表
? ? ?*/
? ? @GetMapping("/getUser")
? ? public List<String> getSearchHistoryByUserId(String userId) {
? ? ? ? return redisService.getSearchHistoryByUserId(userId);
? ? }
? ? /**
? ? ?* 根據(jù)searchKey搜索其相關(guān)最熱的前十名 (如果searchKey為null空，則返回redis存儲的前十最熱詞條)
? ? ?*/
? ? @GetMapping("/getHot")
? ? public List<String> getHotList(String searchKey) {
? ? ? ? return redisService.getHotList(searchKey);
? ? }
}參考文章
到此這篇關(guān)于SpringBoot 熱搜與不雅文字過濾的實現(xiàn)的文章就介紹到這了,更多相關(guān)SpringBoot 熱搜與不雅文字過濾內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
當(dāng)使用@Autowired注解時,它可以自動注入依賴項,例如其他類的實例,本文就來詳細(xì)的介紹一下,具有一定的參考價值,感興趣的可以了解一下2023-09-09
這篇文章主要介紹了Java高級特性之反射的相關(guān)知識，文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-06-06
Java List的remove()方法陷阱以及性能優(yōu)化
Java List在進(jìn)行remove（）方法是通常容易踩坑，本文就詳細(xì)的介紹一下陷阱以及性能優(yōu)化，感興趣的可以了解一下2021-10-10
這篇文章主要給大家介紹了關(guān)于Java中加鎖方式的相關(guān)資料,我們平時開發(fā)的過程中難免遇到多線程操作共享資源的時候,這時候一般可以通過加鎖的方式保證操作的安全性,需要的朋友可以參考下2023-09-09
SpringBoot security安全認(rèn)證登錄的實現(xiàn)方法
這篇文章主要介紹了SpringBoot security安全認(rèn)證登錄的實現(xiàn)方法，也就是使用默認(rèn)用戶和密碼登錄的操作方法，本文結(jié)合實例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-02-02
Spring中ApplicationEvent事件機(jī)制源碼詳解
這篇文章主要介紹了Spring中ApplicationEvent事件機(jī)制源碼詳解,Spring中與事件有關(guān)的接口和類主要包括ApplicationEvent、ApplicationListener,下面來看一下Spring中事件的具體應(yīng)用,需要的朋友可以參考下2023-09-09
這篇文章主要給大家介紹了關(guān)于Java讀取文件的幾種方式,文中通過代碼示例將幾種方式介紹的非常詳細(xì),對大家學(xué)習(xí)或者使用Java具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2023-08-08
JAVA基于SnakeYAML實現(xiàn)解析與序列化YAML
這篇文章主要介紹了JAVA基于SnakeYAML實現(xiàn)解析與序列化YAML,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-12-12
這篇文章主要給大家介紹了關(guān)于Java中淺拷貝與深拷貝的相關(guān)資料,拷貝對象是java中經(jīng)常會遇到的問題,文中通過代碼示例介紹的非常詳細(xì),需要的朋友可以參考下2023-09-09
這篇文章主要介紹了原生Java操作兔子隊列RabbitMQ，MQ全稱為Message?Queue，即消息隊列，“消息隊列”是在消息的傳輸過程中保存消息的容器,需要的朋友可以參考下2023-05-05