SpringBoot+Nacos+Kafka微服務(wù)流編排的簡(jiǎn)單實(shí)現(xiàn)
前言
最近一直在做微服務(wù)開(kāi)發(fā),涉及了一些數(shù)據(jù)處理模塊的開(kāi)發(fā),每個(gè)處理業(yè)務(wù)都會(huì)開(kāi)發(fā)獨(dú)立的微服務(wù),便于后面拓展和流編排,學(xué)習(xí)了SpringCloud Data Flow等框架,感覺(jué)這個(gè)框架對(duì)于我們來(lái)說(shuō)太重了,維護(hù)起來(lái)也比較麻煩,于是根據(jù)流編排的思想,基于我們目前的技術(shù)棧實(shí)現(xiàn)簡(jiǎn)單的流編排功能。
簡(jiǎn)單的說(shuō),我們希望自己的流編排就是微服務(wù)可插拔,微服務(wù)數(shù)據(jù)入口及輸出可不停機(jī)修改。
準(zhǔn)備工作
Nacos安裝及使用入門(mén)
自己學(xué)習(xí)的話(huà)推薦使用docker安裝,命令如下
- 拉取鏡像 docker pull nacos/nacos-server
- 創(chuàng)建服務(wù) docker run --env MODE=standalone --name nacos -d -p 8848:8848 nacos/nacos-server
然后在瀏覽器輸入 ip:8848/nacos 賬號(hào)nacos 密碼nacos
docker能夠幫助我們快速安裝服務(wù),減少再環(huán)境準(zhǔn)備花的時(shí)間
準(zhǔn)備三個(gè)SpringBoot服務(wù),引入Nacos及Kafka
<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.1.0.RELEASE</version> </parent> <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> <dependency> <groupId>com.alibaba.boot</groupId> <artifactId>nacos-config-spring-boot-starter</artifactId> <version>0.2.1</version> </dependency>
配置文件
spring: kafka: bootstrap-servers: kafka-server:9092 producer: acks: all consumer: group-id: node1-group #三個(gè)服務(wù)分別為node1 node2 node3 enable-auto-commit: false # 部署的nacos服務(wù) nacos: config: server-addr: nacos-server:8848
建議配置本機(jī)host 就可以填寫(xiě)xxx-server 不用填寫(xiě)服務(wù)ip
業(yè)務(wù)解讀
我們現(xiàn)在需要對(duì)三個(gè)服務(wù)進(jìn)行編排,保障每個(gè)服務(wù)可以插拔,也可以調(diào)整服務(wù)的位子示意圖如下:
- node1服務(wù)監(jiān)聽(tīng)前置服務(wù)發(fā)送的數(shù)據(jù)流,輸入的topic為前置數(shù)據(jù)服務(wù)輸出topic
- node2監(jiān)聽(tīng)node1處理后的數(shù)據(jù),所以node2監(jiān)聽(tīng)的topic為node1輸出的topic,node3同理,最終node3處理完成后將數(shù)據(jù)發(fā)送到數(shù)據(jù)流終點(diǎn)
- 我們現(xiàn)在要調(diào)整流程 移除node2-server,我們只需要把node1-sink改變成node2-sink即可,這樣我們這幾個(gè)服務(wù)就可以靈活的嵌入的不同項(xiàng)目的數(shù)據(jù)流處理業(yè)務(wù)中,做到即插即用(當(dāng)然,數(shù)據(jù)格式這些業(yè)務(wù)層面的都是需要約定好的)
- 動(dòng)態(tài)可調(diào)還可以保證服務(wù)某一節(jié)點(diǎn)出現(xiàn)問(wèn)題時(shí)候,即時(shí)改變數(shù)據(jù)流向,比如發(fā)送到數(shù)暫存服務(wù),避免Kafka中積累太多數(shù)據(jù),吞吐不平衡
Nacos配置
創(chuàng)建配置
通常流編排里面每個(gè)服務(wù)都有一個(gè)輸入及輸出,分別為input及sink,所以每個(gè)服務(wù)我們需要配置兩個(gè)topic,分別是input-topic output-topic,我們就在nacos里面添加輸入輸出配置
nacos配置項(xiàng)需要配置groupId,dataId,通常我們用服務(wù)名稱(chēng)作為groupId,配置項(xiàng)的名稱(chēng)作為dataId,如node1-server服務(wù)有一個(gè)input配置項(xiàng),配置如下:
完成其中一個(gè)服務(wù)的配置,其它服務(wù)參考下圖配置即可
讀取配置
@Configuration @NacosPropertySource(dataId = "input", groupId = "node1-server", autoRefreshed = true) // autoRefreshed=true指的是nacos中配置發(fā)生改變后會(huì)刷新,false代表只會(huì)使用服務(wù)啟動(dòng)時(shí)候讀取到的值 @NacosPropertySource(dataId = "sink", groupId = "node1-server", autoRefreshed = true) public class NacosConfig { @NacosValue(value = "${input:}", autoRefreshed = true) private String input; @NacosValue(value = "${sink:}", autoRefreshed = true) private String sink; public String getInput() { return input; } public String getSink() { return sink; } }
監(jiān)聽(tīng)配置改變
服務(wù)的輸入需要在服務(wù)啟動(dòng)時(shí)候創(chuàng)建消費(fèi)者,在topic發(fā)生改變時(shí)候重新創(chuàng)建消費(fèi)者,移除舊topic的消費(fèi)者,輸出是業(yè)務(wù)驅(qū)動(dòng)的,無(wú)需監(jiān)聽(tīng)改變,在每次發(fā)送時(shí)候讀取到的都是最新配置的topic,因?yàn)樵谏厦娴呐渲妙?lèi)中autoRefreshed = true,這個(gè)只會(huì)刷新nacosConfig中的配置值,服務(wù)需要知道配置改變?nèi)ヲ?qū)動(dòng)消費(fèi)的創(chuàng)建業(yè)務(wù),需要?jiǎng)?chuàng)建nacos配置監(jiān)聽(tīng)
/** * 監(jiān)聽(tīng)Nacos配置改變,創(chuàng)建消費(fèi)者,更新消費(fèi) */ @Component public class ConsumerManager { @Value("${spring.kafka.bootstrap-servers}") private String servers; @Value("${spring.kafka.consumer.enable-auto-commit}") private boolean enableAutoCommit; @Value("${spring.kafka.consumer.group-id}") private boolean groupId; @Autowired private NacosConfig nacosConfig; @Autowired private KafkaTemplate kafkaTemplate; // 用于存放當(dāng)前消費(fèi)者使用的topic private String topic; // 用于執(zhí)行消費(fèi)者線(xiàn)程 private ExecutorService executorService; /** * 監(jiān)聽(tīng)input */ @NacosConfigListener(dataId = "node1-server", groupId = "input") public void inputListener(String input) { // 這個(gè)監(jiān)聽(tīng)觸發(fā)的時(shí)候 實(shí)際NacosConfig中input的值已經(jīng)是最新的值了 我們只是需要這個(gè)監(jiān)聽(tīng)觸發(fā)我們更新消費(fèi)者的業(yè)務(wù) String inputTopic = nacosConfig.getInput(); // 我使用nacosConfig中讀取的原因是因?yàn)楸O(jiān)聽(tīng)到內(nèi)容是input=xxxx而不是xxxx,如果使用需要自己截取一下,nacosConfig中的內(nèi)容框架會(huì)處理好,大家看一下第一張圖的配置內(nèi)容就明白了 // 先檢查當(dāng)前局部變量topic是否有值,有值代表是更新消費(fèi)者,沒(méi)有值只需要?jiǎng)?chuàng)建即可 if(topic != null) { // 停止舊的消費(fèi)者線(xiàn)程 executorService.shutdownNow(); executorService == null; } // 根據(jù)為新的topic創(chuàng)建消費(fèi)者 topic = inputTopic; ThreadFactory threadFactory = new ThreadFactoryBuilder().setNameFormat(topic + "-pool-%d").build(); executorService = new ThreadPoolExecutor(1, 1, 0L, TimeUnit.MILLISECONDS, new LinkedBlockingQueue<Runnable>(2), threadFactory); // 執(zhí)行消費(fèi)業(yè)務(wù) executorService.execute(() -> consumer(topic)); } /** * 創(chuàng)建消費(fèi)者 */ public void consumer(String topic) { Properties properties = new Properties(); properties.put("bootstrap.servers", servers); properties.put("enable.auto.commit", enableAutoCommit); properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); properties.put("group.id", groupId); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties); consumer.subscribe(Arrays.asList(topic)); try { while (!Thread.currentThread().isInterrupted()) { Duration duration = Duration.ofSeconds(1L); ConsumerRecords<String, String> records = consumer.poll(duration); for (ConsumerRecord<String, String> record : records) { String message = record.value(); // 執(zhí)行數(shù)據(jù)處理業(yè)務(wù) 省略業(yè)務(wù)實(shí)現(xiàn) String handleMessage = handle(message); // 處理完成后發(fā)送到下一個(gè)節(jié)點(diǎn) kafkaTemplate.send(nacosConfig.getSink(), handleMessage); } } consumer.commitAsync(); } } catch (Exception e) { LOGGER.error(e.getMessage(), e); } finally { try { consumer.commitSync(); } finally { consumer.close(); } } } }
總結(jié)
流編排的思路整體來(lái)說(shuō)就是數(shù)據(jù)流方向可調(diào),我們以此為需求,根據(jù)一些主流框架提供的api實(shí)現(xiàn)自己的動(dòng)態(tài)調(diào)整方案,可以幫助自己更好的理解流編碼思想及原理,在實(shí)際業(yè)務(wù)中,還有許多業(yè)務(wù)問(wèn)題需要去突破,我們這樣處理更多是因?yàn)榉?wù)可插拔,便于流處理微服務(wù)在項(xiàng)目靈活搭配,因?yàn)槲椰F(xiàn)在工作是在傳統(tǒng)公司,由于一些原因很難去推動(dòng)新框架的使用,經(jīng)常會(huì)用一些現(xiàn)有技術(shù)棧組合搞一些sao操作,供大家參考,希望大家多多指教。
到此這篇關(guān)于SpringBoot+Nacos+Kafka微服務(wù)流編排的簡(jiǎn)單實(shí)現(xiàn)的文章就介紹到這了,更多相關(guān)SpringBoot+Nacos+Kafka流編排內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- Spring?Boot整合Kafka教程詳解
- Spring?Boot?中使用@KafkaListener并發(fā)批量接收消息的完整代碼
- 基于SpringBoot?使用?Flink?收發(fā)Kafka消息的示例詳解
- SpringBoot如何獲取Kafka的Topic列表
- SpringBoot整合kafka遇到的版本不對(duì)應(yīng)問(wèn)題及解決
- SpringBoot集成Kafka的步驟
- Spring Boot集群管理工具KafkaAdminClient使用方法解析
- Springboot集成Kafka實(shí)現(xiàn)producer和consumer的示例代碼
- Spring?Boot?基于?SCRAM?認(rèn)證集成?Kafka?的過(guò)程詳解
相關(guān)文章
JVM(Java虛擬機(jī))簡(jiǎn)介(動(dòng)力節(jié)點(diǎn)Java學(xué)院整理)
Java虛擬機(jī)(Jvm)是可運(yùn)行Java代碼的假想計(jì)算機(jī)。Java虛擬機(jī)包括一套字節(jié)碼指令集、一組寄存器、一個(gè)棧、一個(gè)垃圾回收堆和一個(gè)存儲(chǔ)方法域。對(duì)java jvm 虛擬機(jī)感興趣的朋友通過(guò)本文一起學(xué)習(xí)吧2017-04-04Spring中@Configuration注解的Full模式和Lite模式詳解
這篇文章主要介紹了Spring中@Configuration注解的Full模式和Lite模式詳解,準(zhǔn)確來(lái)說(shuō),Full?模式和?Lite?模式其實(shí)?Spring?容器在處理?Bean?時(shí)的兩種不同行為,這兩種不同的模式在使用時(shí)候的表現(xiàn)完全不同,今天就來(lái)和各位小伙伴捋一捋這兩種模式,需要的朋友可以參考下2023-09-09Java設(shè)計(jì)模式之策略模式原理與用法實(shí)例詳解
這篇文章主要介紹了Java設(shè)計(jì)模式之策略模式原理與用法,結(jié)合實(shí)例形式較為詳細(xì)的分析了Java策略模式的概念、原理、定義及使用方法,并總結(jié)了相關(guān)的優(yōu)缺點(diǎn),具有一定參考借鑒價(jià)值,需要的朋友可以參考下2018-04-04Mybatis中的mapper是如何和XMl關(guān)聯(lián)起來(lái)的
這篇文章主要介紹了Mybatis中的mapper是如何和XMl關(guān)聯(lián)起來(lái)的問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06javaweb項(xiàng)目如何實(shí)現(xiàn)手機(jī)短信登錄
這篇文章主要介紹了javaweb項(xiàng)目如何實(shí)現(xiàn)手機(jī)短信登錄,手機(jī)號(hào)登錄在現(xiàn)在的項(xiàng)目中用的場(chǎng)景非常多,實(shí)現(xiàn)起來(lái)也不難,今天我們就一起來(lái)通過(guò)演示實(shí)現(xiàn)登錄過(guò)程,需要的朋友可以參考下2019-07-07