java集合List快速實現(xiàn)重復(fù)判斷的方法小結(jié)

更新時間：2024年12月31日 08:21:37 作者：熒光石

在java編寫代碼中經(jīng)常會遇到某些重復(fù)判定或者去重的操作,本文主要為大家介紹了幾個常用方法,感興趣的小伙伴可以跟隨不想一起學(xué)習(xí)一下

數(shù)據(jù)清洗：從數(shù)據(jù)庫或其他來源獲取的數(shù)據(jù)可能包含重復(fù)項，需要去重。
用戶輸入：前段傳入的數(shù)據(jù)可能存在重復(fù)，需要校驗去除重來避免處理時出現(xiàn)錯誤或不一致。
列表合并：將多個列表合并后，可能會產(chǎn)生重復(fù)元素，去重也是合并后常見的操作。

以下是用來記錄會用到的去重操作，以防忘記：

1、使用流式 API

使用流式 API，通過流式 API 優(yōu)雅地檢查重復(fù)數(shù)據(jù)(推薦)

import java.util.Arrays;
import java.util.List;
import java.util.Set;
import java.util.stream.Collectors;

public class CheckDuplicate {
    public static void main(String[] args) {
        List<String> list = Arrays.asList("A", "B", "C", "A");

        // 找到重復(fù)元素
        Set<String> duplicates = list.stream()
                .filter(item -> list.stream().filter(item::equals).count() > 1)
                .collect(Collectors.toSet());

        System.out.println("重復(fù)元素: " + duplicates);
        System.out.println("是否存在重復(fù)數(shù)據(jù): " + !duplicates.isEmpty());
    }
}

stream 是一種功能非常強大的方式，可以很便利的使用聲明式方法對集合進(jìn)行處理，不需要顯式地操作集合中的元素。它提供了一個更加函數(shù)式的編程模型，允許你進(jìn)行過濾、轉(zhuǎn)換、收集等操作，同時鏈?zhǔn)秸{(diào)用，提高了代碼的可讀性和簡潔性。

相比下forEach 是集合類的一個方法，用于對集合中的每個元素執(zhí)行一個操作，通常是遍歷操作。并不提供流式的轉(zhuǎn)換或過濾功能，更多是為了逐個訪問元素并執(zhí)行某些操作。forEach 的典型用法是遍歷集合，但不適合用于流式的處理，在這里 forEach 需要顯式地在內(nèi)部寫邏輯來計算元素的出現(xiàn)情況。

2、使用原生 Set 快速檢查

使用原生 Set 快速檢查，可以直接使用 HashSet 或 LinkedHashSet 來判斷

import java.util.Arrays;
import java.util.HashSet;
import java.util.List;
import java.util.Set;

public class CheckDuplicate {
    public static void main(String[] args) {
        List<String> list = Arrays.asList("A", "B", "C", "A");

        Set<String> seen = new HashSet<>();
        boolean hasDuplicate = list.stream().anyMatch(item -> !seen.add(item));

        System.out.println("是否存在重復(fù)數(shù)據(jù): " + hasDuplicate);
    }
}

!seen.add(item) 會返回：

true--重復(fù)元素,
false--非重復(fù)元素，第一次添加

anyMatch會匹配所有的流元素，一旦出現(xiàn)符合條件的重復(fù)元素就會自動結(jié)束流，僅適合判斷是否會有重復(fù)元素。

3、使用new HashSet<>(list)

使用new HashSet<>(list)，最后判斷兩個list間size大小判斷是否重復(fù)

import cn.hutool.core.collection.CollUtil;

import java.util.Arrays;
import java.util.List;
import java.util.Set;

public class CheckDuplicate {
    public static void main(String[] args) {
        List<String> list = Arrays.asList("A", "B", "C", "A");

        // 使用 Hutool 的工具方法創(chuàng)建 HashSet
        Set<String> set = new HashSet<>(list);
        boolean hasDuplicate = set.size() != list.size();

        System.out.println("是否存在重復(fù)數(shù)據(jù): " + hasDuplicate);
    }
}

比較兩個集合size大小就可判斷是否存在重復(fù)元素，因為Set下的集合是自動去重的，如果存在重復(fù)則集合大小會縮減

4、使用CollUtil.countMap()方法

如果有hutool工具，可以使用CollUtil.countMap()方法

import cn.hutool.core.collection.CollUtil;

import java.util.Arrays;
import java.util.List;
import java.util.Map;

public class CheckDuplicate {
    public static void main(String[] args) {
        List<String> list = Arrays.asList("A", "B", "C", "A", "B");

        // 統(tǒng)計每個元素出現(xiàn)的次數(shù)
        Map<String, Integer> countMap = CollUtil.countMap(list);
        
        // 打印重復(fù)元素
        countMap.forEach((key, value) -> {
            if (value > 1) {
                System.out.println("重復(fù)元素: " + key + "，出現(xiàn)次數(shù): " + value);
            }
        });
    }
}

Collutil.countMap()方法不僅可以統(tǒng)計出現(xiàn)的重復(fù)的元素，還可以統(tǒng)計出現(xiàn)的頻次，返回結(jié)果如下: