spring boot整合kafka過程解析
這篇文章主要介紹了spring boot整合kafka過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
一、啟動kafka
啟動kafka之前一定要啟動zookeeper,因為要使用kafka必須要使用zookeeper。
windows環(huán)境下啟動,直接使用kafka自帶的zookeeper:
E:\kafka_2.12-2.4.0\bin\windows zookeeper-server-start.bat ..\..\config\zookeeper.properties
接下來啟動kafka
E:\kafka_2.12-2.4.0\bin\windows kafka-server-start.bat ..\..\config\server.properties
二、spring boot整合kafka項目實例
1.導(dǎo)入的maven
<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency>
配置文件:
server.port=80 #kafka地址,可以有多個 spring.kafka.bootstrap-servers=127.0.0.1:9092 #------生產(chǎn)者配置文件--------- #指定kafka消息體和key的編碼格式 spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer #設(shè)置等待acks返回的機制,有三個值 # 0:不等待返回的acks(可能會丟數(shù)據(jù),因為發(fā)送消息沒有了失敗重試機制,但是這是最低延遲) # 1:消息發(fā)送給kafka分區(qū)中的leader后就返回(如果follower沒有同步完成leader就宕機了,就會丟數(shù)據(jù)) # -1(默認(rèn)):等待所有follower同步完消息后再發(fā)送(絕對不會丟數(shù)據(jù)) spring.kafka.producer.acks=-1 # 消息累計到batch-size的值后,才會發(fā)送消息,默認(rèn)為16384 spring.kafka.producer.batch-size=16384 #如果kafka遲遲不發(fā)送消息(這里指的是消息沒堆積到指定數(shù)量),那么過了這個時間(單位:毫米)開始發(fā)送 spring.kafka.producer.properties.linger.ms=1 #設(shè)置緩沖區(qū)大小,默認(rèn)是33554432 #這個緩沖區(qū)是kafka中兩個線程里的共享變量 #這個兩個線程是main和sender,main負(fù)責(zé)把消息發(fā)送到共享變量,sender從共享變量拉數(shù)據(jù) spring.kafka.producer.buffer-memory=33554432 #失敗重試發(fā)送的次數(shù) spring.kafka.producer.retries=2 #------消費者配置文件--------- #指定kafka消息體和key的編碼格式 spring.kafka.consumer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.consumer.value-serializer=org.apache.kafka.common.serialization.StringSerializer #指定消費者組的group_id spring.kafka.consumer.group-id=kafka_test #kafka意外宕機時,再次開啟消息消費的策略,共有三種策略 #earliest:當(dāng)各分區(qū)下有已提交的offset時,從提交的offset開始消費;無提交的offset時,從頭開始消費 #latest:當(dāng)各分區(qū)下有已提交的offset時,從提交的offset開始消費;無提交的offset時,消費新產(chǎn)生的該分區(qū)下的數(shù)據(jù)、 #none:當(dāng)所有分區(qū)都存在已提交的offset時,從offset后開始消費;只要有一個分區(qū)不存在已提交的offset,則拋出異常 spring.kafka.consumer.auto-offset-reset=earliest #自動提交offset spring.kafka.consumer.enable-auto-commit=true #提交offset時間間隔 spring.kafka.consumer.auto-commit-interval=100 #消費監(jiān)聽接口監(jiān)聽的主題不存在時,默認(rèn)會報錯因此要關(guān)掉這個 spring.kafka.listener.missing-topics-fatal=false
2.創(chuàng)建topic
import org.apache.kafka.clients.admin.NewTopic; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; /** * 使用代碼創(chuàng)建的topic * 三個參數(shù)意思:topic的名稱;分區(qū)數(shù)量,新主題的復(fù)制因子;如果指定了副本分配,則為-1。 */ @Configuration public class KafkaTopic { @Bean public NewTopic batchTopic() { return new NewTopic("testTopic", 8, (short) 1); } }
3.生產(chǎn)者代碼
import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.web.bind.annotation.RequestMapping; import org.springframework.web.bind.annotation.RestController; /** * kafka生產(chǎn)者代碼 */ @RestController public class ProductorController { @Autowired private KafkaTemplate<String, String> kafkaTemplate; @RequestMapping("/test") public String show() { kafkaTemplate.send("testTopic", "你好"); return "發(fā)送成功"; } }
4.消費者代碼
import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.context.annotation.Configuration; import org.springframework.kafka.annotation.KafkaListener; import java.util.Optional; /** * kafka消費者代碼 */ @Configuration public class KafkaConsumer { @KafkaListener(topics = "testTopic") public void consumer(ConsumerRecord consumerRecord){ Optional<Object> kafkaMassage = Optional.ofNullable(consumerRecord.value()); if(kafkaMassage.isPresent()){ Object o = kafkaMassage.get(); System.out.println("接收到的消息是:"+o); } } }
測試結(jié)果:
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
詳談java中int和Integer的區(qū)別及自動裝箱和自動拆箱
這篇文章主要介紹了詳談java中int和Integer的區(qū)別及自動裝箱和自動拆箱,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-08-08Java使用JCommander實現(xiàn)解析命令行參數(shù)
jcommander?是一個只有幾十?kb?的?Java?命令行參數(shù)解析工具,可以通過注解的方式快速實現(xiàn)命令行參數(shù)解析,本文就來和大家介紹一下JCommander是如何解析命令行參數(shù)吧2023-06-06詳解java操作Redis數(shù)據(jù)庫的redis工具(RedisUtil,jedis工具JedisUtil,JedisPoo
這篇文章主要介紹了java操作Redis數(shù)據(jù)庫的redis工具,包括RedisUtil,jedis工具JedisUtil,JedisPoolUtil工具,本文通過實例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08淺談Spring AOP中args()和argNames的含義
這篇文章主要介紹了Spring AOP中args()和argNames的含義,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-07-07SpringMVC中的DispatcherServlet詳細(xì)解析
這篇文章主要介紹了SpringMVC中的DispatcherServlet詳細(xì)解析,DispatcherServlet也是一個Servlet,它也能通過Servlet的API來響應(yīng)請求,從而成為一個前端控制器,Web容器會調(diào)用Servlet的doGet()以及doPost()等方法,需要的朋友可以參考下2023-12-12解析Java?中for循環(huán)和foreach循環(huán)哪個更快
這篇文章主要介紹了Java中for循環(huán)和foreach循環(huán)哪個更快示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2023-09-09