end-to-end exactly-once

exactly-once只能保證Flink內(nèi)部狀態(tài)的一致性。而這個(gè)語(yǔ)義主要依賴Checkpoint機(jī)制。

在外部交互的一致性則無(wú)法保證，端到端的Exactly-Once問(wèn)題是分布式系統(tǒng)領(lǐng)域最具挑戰(zhàn)性的問(wèn)題之一，很多框架都在試圖攻克這個(gè)難題。

Flink的exactly-once主要依賴Source和Sink提供的一些功能。Source需要支持重發(fā)功能，Sink需要采用一定的數(shù)據(jù)寫(xiě)入技術(shù)，比如冪等寫(xiě)或事務(wù)寫(xiě)。

對(duì)于Source重發(fā)功能，只要我們記錄了輸入的偏移量Offset，故障重啟后數(shù)據(jù)發(fā)送方從該Offset重新開(kāi)始發(fā)送數(shù)據(jù)即可。Kafka的Producer除了發(fā)送數(shù)據(jù)，還會(huì)將數(shù)據(jù)持久化寫(xiě)到日志文件中。如果下游應(yīng)用重啟，Producer根據(jù)下游提供的Offset，從持久化的文件中定位到數(shù)據(jù)，可以重新開(kāi)始向下游發(fā)送數(shù)據(jù)。

Source的重發(fā)會(huì)導(dǎo)致一條數(shù)據(jù)被處理多次，為了保證只對(duì)下游系統(tǒng)產(chǎn)生一次影響，還需要依賴Sink的冪等寫(xiě)或事務(wù)寫(xiě)。

富函數(shù)

“富函數(shù)”是DataStream API提供的一個(gè)函數(shù)類的接口，所有Flink函數(shù)類都有其Rich版本。它與常規(guī)函數(shù)的不同在于，可以獲取運(yùn)行環(huán)境的上下文，并擁有一些生命周期方法，所以可以實(shí)現(xiàn)更復(fù)雜的功能。

富函數(shù)舉例

**RichMapFunction **

**RichFlatMapFunction **

**RichFilterFunction **

Rich Function有一個(gè)生命周期的概念。典型的生命周期方法有：

• open()方法是rich function的初始化方法，當(dāng)一個(gè)算子例如map或者filter被調(diào)用之前open()會(huì)被調(diào)用。

這里可以做一些初始化工作，例如建立一個(gè)和數(shù)據(jù)源的連接

• **close()方法是生命周期中的最后一個(gè)調(diào)用的方法，做一些清理工作。 **

這里做一些清理工作，例如斷開(kāi)和數(shù)據(jù)源的連接。

• getRuntimeContext()方法提供了函數(shù)的RuntimeContext的一些信息，例如函數(shù)執(zhí)行的并行度，任務(wù)的名字，以及state狀態(tài)

其他的和FlatMapFunction算子的重寫(xiě)方法類似。

以上就是flink進(jìn)階富函數(shù)生命周期介紹的詳細(xì)內(nèi)容，更多關(guān)于flink 富函數(shù)生命周期的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論