Java實現(xiàn)去重的方法詳解

更新時間：2023年06月06日 08:23:53 作者：Java3y

austin支持兩種去重的類型：N分鐘相同內(nèi)容達到N次去重和一天內(nèi)N次相同渠道頻次去重，這篇文章就來和大家講講這兩種去重的具體實現(xiàn)，需要的可以參考一下

在最開始，我的第一版實現(xiàn)是這樣的：

public void duplication(TaskInfo taskInfo) {
 ? ?// 配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}
 ? ?JSONObject property = JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY, AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));
 ? ?JSONObject contentDeduplication = property.getJSONObject(CONTENT_DEDUPLICATION);
 ? ?JSONObject frequencyDeduplication = property.getJSONObject(FREQUENCY_DEDUPLICATION);
?
 ? ?// 文案去重
 ? ?DeduplicationParam contentParams = DeduplicationParam.builder()
 ? ? ?  .deduplicationTime(contentDeduplication.getLong(TIME))
 ? ? ?  .countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo)
 ? ? ?  .anchorState(AnchorState.CONTENT_DEDUPLICATION)
 ? ? ?  .build();
 ? ?contentDeduplicationService.deduplication(contentParams);
?
?
 ? ?// 運營總規(guī)則去重(一天內(nèi)用戶收到最多同一個渠道的消息次數(shù))
 ? ?Long seconds = (DateUtil.endOfDay(new Date()).getTime() - DateUtil.current()) / 1000;
 ? ?DeduplicationParam businessParams = DeduplicationParam.builder()
 ? ? ?  .deduplicationTime(seconds)
 ? ? ?  .countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo)
 ? ? ?  .anchorState(AnchorState.RULE_DEDUPLICATION)
 ? ? ?  .build();
 ? ?frequencyDeduplicationService.deduplication(businessParams);
}

那時候很簡單，基本主體邏輯都寫在這個入口上了，應該都能看得懂。后來，群里滴滴哥表示這種代碼不行，不能一眼看出來它干了什么。于是怒提了一波pull request重構了一版，入口是這樣的：

public void duplication(TaskInfo taskInfo) {
 ? ?// 配置樣例：{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}
 ? ?String deduplication = config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY, AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);
 ? ?//去重
 ? ?DEDUPLICATION_LIST.forEach(
 ? ? ? ?key -> {
 ? ? ? ? ? ?DeduplicationParam deduplicationParam = builderFactory.select(key).build(deduplication, key);
 ? ? ? ? ? ?if (deduplicationParam != null) {
 ? ? ? ? ? ? ? ?deduplicationParam.setTaskInfo(taskInfo);
 ? ? ? ? ? ? ? ?DeduplicationService deduplicationService = findService(key + SERVICE);
 ? ? ? ? ? ? ? ?deduplicationService.deduplication(deduplicationParam);
 ? ? ? ? ?  }
 ? ? ?  }
 ?  );
}

我猜想他的思路就是把構建去重參數(shù)和選擇具體的去重服務給封裝起來了，在最外層的代碼看起來就很簡潔了。后來又跟他聊了下，他的設計思路是這樣的：考慮到以后會有其他規(guī)則的去重就把去重邏輯單獨封裝起來了，之后用策略模版的設計模式進行了重構，重構后的代碼模版不變，支持各種不同策略的去重，擴展性更高更強更簡潔

確實牛逼。

我基于上面的思路微改了下入口，代碼最終演變成這樣：

public void duplication(TaskInfo taskInfo) {
 ? ?// 配置樣例：{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}
 ? ?String deduplicationConfig = config.getProperty(DEDUPLICATION_RULE_KEY, CommonConstant.EMPTY_JSON_OBJECT);
?
 ? ?// 去重
 ? ?List<Integer> deduplicationList = DeduplicationType.getDeduplicationList();
 ? ?for (Integer deduplicationType : deduplicationList) {
 ? ? ? ?DeduplicationParam deduplicationParam = deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig, taskInfo);
 ? ? ? ?if (Objects.nonNull(deduplicationParam)) {
 ? ? ? ? ? ?deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);
 ? ? ?  }
 ?  }
}

到這，應該大多數(shù)人還能跟上吧？在講具體的代碼之前，我們先來簡單看看去重功能的代碼結構（這會對后面看代碼有幫助）

去重的邏輯可以統(tǒng)一抽象為：在X時間段內(nèi)達到了Y閾值，還記得我曾經(jīng)說過：「去重」的本質(zhì)：「業(yè)務Key」+「存儲」。那么去重實現(xiàn)的步驟可以簡單分為（我這邊存儲就用的Redis）：

通過Key從Redis獲取記錄
判斷該Key在Redis的記錄是否符合條件
符合條件的則去重，不符合條件的則重新塞進Redis更新記錄

為了方便調(diào)整去重的參數(shù)，我把X時間段和Y閾值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有兩種去重的具體實現(xiàn)：

1、5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容，則應該被過濾掉

2、一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次，則應該被過濾掉

從配置中心拿到配置信息了以后，Builder就是根據(jù)這兩種類型去構建出DeduplicationParam，就是以下代碼：

DeduplicationParam deduplicationParam = deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig, taskInfo);

Builder和DeduplicationService都用了類似的寫法（在子類初始化的時候指定類型，在父類統(tǒng)一接收，放到Map里管理）

而統(tǒng)一管理著這些服務有個中心的地方，我把這取名為DeduplicationHolder

/**
 * @author huskey
 * @date 2022/1/18
 */
@Service
public class DeduplicationHolder {
?
 ? ?private final Map<Integer, Builder> builderHolder = new HashMap<>(4);
 ? ?private final Map<Integer, DeduplicationService> serviceHolder = new HashMap<>(4);
?
 ? ?public Builder selectBuilder(Integer key) {
 ? ? ? ?return builderHolder.get(key);
 ?  }
?
 ? ?public DeduplicationService selectService(Integer key) {
 ? ? ? ?return serviceHolder.get(key);
 ?  }
?
 ? ?public void putBuilder(Integer key, Builder builder) {
 ? ? ? ?builderHolder.put(key, builder);
 ?  }
?
 ? ?public void putService(Integer key, DeduplicationService service) {
 ? ? ? ?serviceHolder.put(key, service);
 ?  }
}

前面提到的業(yè)務Key，是在AbstractDeduplicationService的子類下構建的：

而具體的去重邏輯實現(xiàn)則都在LimitService下，{一天內(nèi)相同的用戶如果已經(jīng)收到某渠道內(nèi)容5次}是在SimpleLimitService中處理使用mget和pipelineSetEX就完成了實現(xiàn)。而{5分鐘內(nèi)相同用戶如果收到相同的內(nèi)容}是在SlideWindowLimitService中處理，使用了lua腳本完成了實現(xiàn)。