為什么需要 Stream

Stream 作為 Java 8 的一大亮點，它與 java.io 包里的 InputStream 和 OutputStream 是完全不同的概念。它也不同于 StAX 對 XML 解析的 Stream，也不是 Amazon Kinesis 對大數(shù)據(jù)實時處理的 Stream。Java 8 中的 Stream 是對集合（Collection）對象功能的增強，它專注于對集合對象進行各種非常便利、高效的聚合操作（aggregate operation），或者大批量數(shù)據(jù)操作 (bulk data operation)。Stream API 借助于同樣新出現(xiàn)的 Lambda 表達式，極大的提高編程效率和程序可讀性。同時它提供串行和并行兩種模式進行匯聚操作，并發(fā)模式能夠充分利用多核處理器的優(yōu)勢，使用 fork/join 并行方式來拆分任務(wù)和加速處理過程。通常編寫并行代碼很難而且容易出錯, 但使用 Stream API 無需編寫一行多線程的代碼，就可以很方便地寫出高性能的并發(fā)程序。所以說，Java 8 中首次出現(xiàn)的 java.util.stream 是一個函數(shù)式語言+多核時代綜合影響的產(chǎn)物。

什么是流

Stream不是集合元素，它不是數(shù)據(jù)結(jié)構(gòu)并不保存數(shù)據(jù)，它是有關(guān)算法和計算的，它更像一個高級版本的 Iterator。原始版本的 Iterator，用戶只能顯式地一個一個遍歷元素并對其執(zhí)行某些操作；高級版本的 Stream，用戶只要給出需要對其包含的元素執(zhí)行什么操作，比如 “過濾掉長度大于 10 的字符串”、“獲取每個字符串的首字母”等，Stream 會隱式地在內(nèi)部進行遍歷，做出相應(yīng)的數(shù)據(jù)轉(zhuǎn)換。Stream 就如同一個迭代器（Iterator），單向，不可往復(fù)，數(shù)據(jù)只能遍歷一次，遍歷過一次后即用盡了，就好比流水從面前流過，一去不復(fù)返。而和迭代器又不同的是，Stream 可以并行化操作，迭代器只能命令式地、串行化操作。顧名思義，當使用串行方式去遍歷時，每個 item 讀完后再讀下一個 item。而使用并行去遍歷時，數(shù)據(jù)會被分成多個段，其中每一個都在不同的線程中處理，然后將結(jié)果一起輸出。Stream 的并行操作依賴于 Java7 中引入的 Fork/Join 框架（JSR166y）來拆分任務(wù)和加速處理過程。Java 的并行 API 演變歷程基本如下：

• 1.0-1.4 中的 java.lang.Thread
• 5.0 中的 java.util.concurrent
• 6.0 中的 Phasers 等
• 7.0 中的 Fork/Join 框架
• 8.0 中的 Lambda

Stream 的另外一大特點是，數(shù)據(jù)源本身可以是無限的。

1、一般進行批處理時會將數(shù)據(jù)加入到一個臨時的集合中，當數(shù)據(jù)量達到一定大小后進行下一步操作，數(shù)據(jù)量不足時需要進行額外的判斷；

2、若使用Java8的Stream流中的 skip + limit 則可以讓我們對集合方便快捷的操作，其中：
（1）skip(x)：返回丟棄流中的前x個元素后剩下元素組成的新流；若原流中包含的元素個數(shù)小于x，則返回空流。
（2）limit(x): 對一個Stream流進行截斷操作，獲取其前x個元素；若原流中包含的元素個數(shù)小于x，那就獲取其所有的元素；

3、實例代碼如下：

public static void main(String[] args) {
        List<Integer> list = new ArrayList<>();
        for (int i = 10; i < 36; i++) {
            list.add(i);
        }
        int limit = 10;
        for (int offset = 0; offset < list.size(); offset += limit) {
            List<Integer> subList = list.stream()
                                        .skip(offset)
                                        .limit(limit)
                                        .collect(Collectors.toList());
            System.out.println(subList);
        }
}

輸出結(jié)果：

[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
[30, 31, 32, 33, 34, 35]

3、通過結(jié)果也可以看出 skip 配合 limit 操作使用時, limit 是最多取出限制的大小，不用再判斷最后一批數(shù)據(jù)量大小不夠限定的大小時的處理。

改進版

int j = 0, size = list.size(), batchSize = 100;
while (j < size) {
    batchList = list.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
    j += batchSize;
}

到此這篇關(guān)于使用Java8 Stream流的skip + limit實現(xiàn)批處理的文章就介紹到這了,更多相關(guān)Java8 Stream流批處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論