近年來，流處理變得越來越流行。作為高度創(chuàng)新的開源流處理器，F(xiàn)link擁有諸多優(yōu)勢，包括容錯性、高吞吐、低延遲，以及同時支持流處理和批處理的能力。本書分為6章，側(cè)重于介紹Flink的核心設(shè)計理念、功能和用途，內(nèi)容涉及事件時間和處理時間、窗口和水印機制、檢查點機制、性能測評，以及Flink如何實現(xiàn)批處理。 本書面向有興趣學習如何分析大規(guī)模流數(shù)據(jù)的讀者。

目錄

前言 ix
第 1章　為何選擇Flink 1
1．1　流處理欠佳的后果 2
1．1．1　零售業(yè)和市場營銷 2
1．1．2　物聯(lián)網(wǎng) 3
1．1．3　電信業(yè) 5
1．1．4　銀行和金融業(yè) 5
1．2　連續(xù)事件處理的目標 6
1．3　流處理技術(shù)的演變 6
1．4　初探Flink 9
1．5　生產(chǎn)環(huán)境中的Flink 12
1．5．1　布衣格電信 13
1．5．2　其他案例 14
1．6　Flink的適用場景 15
第 2章　流處理架構(gòu) 17
2．1　傳統(tǒng)架構(gòu)與流處理架構(gòu) 17
2．2　消息傳輸層和流處理層 18
2．3　消息傳輸層的理想功能 19
2．3．1　兼具高性能和持久性 20
2．3．2　將生產(chǎn)者和消費者解耦 20
2．4　支持微服務(wù)架構(gòu)的流數(shù)據(jù) 21
2．4．1　數(shù)據(jù)流作為中心數(shù)據(jù)源 22
2．4．2　欺詐檢測：流處理架構(gòu)用例 22
2．4．3　給開發(fā)人員帶來的靈活性 24
2．5　不限于實時應(yīng)用程序 24
2．6　流的跨地域復(fù)制 26
第3章　Flink 的用途 29
3．1　不同類型的正確性 29
3．1．1　符合產(chǎn)生數(shù)據(jù)的自然規(guī)律 29
3．1．2　事件時間 31
3．1．3　發(fā)生故障后仍保持準確 32
3．1．4　及時給出所需結(jié)果 33
3．1．5　使開發(fā)和運維更輕松 33
3．2　分階段采用Flink 34
第4章　對時間的處理 35
4．1　采用批處理架構(gòu)和Lambda 架構(gòu)計數(shù) 35
4．2　采用流處理架構(gòu)計數(shù) 38
4．3　時間概念 40
4．4　窗口 41
4．4．1　時間窗口 41
4．4．2　計數(shù)窗口 43
4．4．3　會話窗口 43
4．4．4　觸發(fā)器 44
4．4．5　窗口的實現(xiàn) 44
4．5　時空穿梭 44
4．6　水印 45
4．7　真實案例：愛立信公司的Kappa 架構(gòu) 47
第5章　有狀態(tài)的計算 49
5．1　一致性 50
5．2　檢查點：保證exactly-once 51
5．3　保存點：狀態(tài)版本控制 59
5．4　端到端的一致性和作為數(shù)據(jù)庫的流處理器 62
5．5　Flink 的性能 65
5．5．1　Yahoo! Streaming Benchmark 65
5．5．2　變化1：使用Flink 狀態(tài) 66
5．5．3　變化2：改進數(shù)據(jù)生成器并增加吞吐量 67
5．5．4　變化3：消除網(wǎng)絡(luò)瓶頸 68
5．5．5　變化4：使用MapR Streams 69
5．5．6　變化5：增加key 基數(shù) 69
5．6　結(jié)論 71
第6章　批處理：一種特殊的流處理 73
6．1　批處理技術(shù) 75
6．2　案例研究：Flink 作為批處理器 76
附錄　其他資源 79
關(guān)于作者 84