一文詳解Java?etcd的應(yīng)用場景及編碼實戰(zhàn)
本文首先用大白話給大家介紹一下etcd是什么?這部分內(nèi)容網(wǎng)上已經(jīng)有很多了。
etcd有哪些應(yīng)用場景?這些應(yīng)用場景的核心原理是什么?
最后不能光動嘴不動手。先搭建一個etcd單機版,再使用java的客戶端操作etcd數(shù)據(jù)。
本文旨在幫助大家理解etcd,從宏觀角度俯瞰etcd全局,掌握etcd的基本操作技能。
一、白話etcd與zookeeper
用過linux的朋友請舉手,好的,我看見了!在 linux 中所有自動安裝的系統(tǒng)軟件配置文件都存儲在一個名為/etc
的目錄中。“d”表示**「distributed」分布式,etcd為分布式模型,所以etcd的核心應(yīng)用場景是:「分布式系統(tǒng)的配置信息存儲」**。
網(wǎng)上很多文章上來第一句話照搬英文官網(wǎng):「etcd 是一個高度一致的分布式鍵值存儲系統(tǒng)」。很多朋友看完就問了,這玩意和redis有啥區(qū)別?筆者要說,真的不要這么比,etcd從名字上就已經(jīng)告訴你了,它是存儲配置信息(元數(shù)據(jù))的。和redis在架構(gòu)應(yīng)用上就不在一個層面,它對標(biāo)的產(chǎn)品應(yīng)該是zookeeper。雖然zookeeper在很多java的分布式系統(tǒng)的應(yīng)用中比較廣泛,但是etcd作為后起之秀,乘kubernetes的東風(fēng),大有超越zookeeper的趨勢。
- zookeeper是使用java寫的, etcd是使用go語言編寫的。zookeeper使用了TCP協(xié)議,其交互報文規(guī)則是完全自定義的,如果不使用zookeeper提供的SDK就無法操作數(shù)據(jù)。而etcd使用的是google的gRPC協(xié)議,普適性更好一些。
- zookeeper對于一次請求,開啟一個socket進(jìn)行監(jiān)聽。而etcd的監(jiān)聽管道channel可以反復(fù)被利用,從IO性能到系統(tǒng)資源的利用的角度,etcd無疑是更優(yōu)秀的。
- zookeeper使用zab協(xié)議保證集群節(jié)點配置信息的一致性,etcd使用raft協(xié)議。期望詳細(xì)了解raft協(xié)議的,點擊《raft協(xié)議中文介紹》。
「大部分功能和zookeeper都是一樣的,目前看java程序員用zookeeper的更多,其他程序員用etcd更多。都是基于習(xí)慣,但筆者推薦etcd?!?/strong>
二、etcd的4個核心機制
etcd以key-value的形式進(jìn)行數(shù)據(jù)的存儲. 配合下面的這四種機制,使得etcd的應(yīng)用場景更加的廣泛.
- 「Prefix 機制」:即前綴機制,也稱**「目錄機制」**,客戶端向etcd放入2個鍵值對配置, 假如一個key是“/test/key1" , 另一個key是"/test/key2". 則通過前綴"/test"查詢etcd,返回一個列表包含key為“/test/key1" 和"/test/key2"的鍵值對數(shù)據(jù);
- 「Watch 機制」:即監(jiān)聽機制,watch機制針對某個key進(jìn)行監(jiān)聽,也支持針對前綴進(jìn)行范圍監(jiān)聽. 當(dāng)被監(jiān)聽的key 或前綴范圍發(fā)生變化的時候,客戶端會收到變更通知;
- 「Lease 機制」:即租約機制(TTL,Time To Live),支持為key-value增加一個存活時間,超過這個時間key-value將過期被刪除. 支持解約(刪除key-value),續(xù)約(增加TTL時間)等操作.
- 「Revision 機制」:每個key帶有一個 全局唯一的Revision 號,每一次事務(wù)加1,它是全局唯一的,所以通過Revision可以判定數(shù)據(jù)寫操作的順序,對于實現(xiàn)分布式鎖和隊列非常有幫助.
三、Leader選舉與客戶端交互
使用etcd的時候,為了保證高可用,通常采用集群的部署方式。部署奇數(shù)個節(jié)點,通常建議是3個或5個,因為etcd集群之間需要**「通過網(wǎng)絡(luò)交互保證配置信息的一致性」**。分布式多節(jié)點保證了高可用,但是節(jié)點太多了也不好,越多的節(jié)點網(wǎng)絡(luò)消耗越大。至于為什么是奇數(shù)個?這就涉及到Leader選舉的問題,奇數(shù)個方便投票出結(jié)果。
etcd使用raft算法保證集群內(nèi)各個節(jié)點之間數(shù)據(jù)一致性。raft算法將集群內(nèi)的節(jié)點分為Leader, Follower, Candidate(候選人)這三個角色。
- 集群初始化的時候,每個節(jié)點都是Follower角色。通過raft算法選舉投票,選出一個節(jié)點作為Leader。
- Leader作為主節(jié)點,與其他節(jié)點維持心跳,并同步數(shù)據(jù)至其他節(jié)點。
- 當(dāng)Follower一段時間內(nèi)沒有收到leader的心跳,就會將自己角色改為Candidate候選者,并發(fā)起一次新的選舉,選舉新的Leader。
客戶端在操作etcd集群數(shù)據(jù)的時候:
- 讀操作:客戶端可以訪問任意節(jié)點進(jìn)行數(shù)據(jù)的讀操作
- 寫操作:客戶端訪問任意節(jié)點進(jìn)行寫操作,如果該節(jié)點是Follower,則將請求轉(zhuǎn)發(fā)給Leader。由Leader負(fù)責(zé)數(shù)據(jù)的寫操作(增刪改),將數(shù)據(jù)持久化,并向Follower發(fā)送同步數(shù)據(jù)的消息。
四、etcd的應(yīng)用場景
4.1. kubernetes大腦
目前,etcd的最典型的應(yīng)用場景就是作為Kubernetes 集群的大腦。
如果把kubernetes比作一個大飯店,那么etcd就是這個飯店的進(jìn)銷存+客戶關(guān)系管理系統(tǒng)。
- kubernetes作為容器編排服務(wù),將面向客戶提供的各種服務(wù)進(jìn)行合理的資源分配,服務(wù)編排。
- 不可避免地,有一些kubernetes集群的配置和狀態(tài)數(shù)據(jù),例如 pod 的數(shù)量、它們的狀態(tài)、命名空間等。需要有一個統(tǒng)一的記錄、管理的地方,它就是etcd。
最重要的是:「etcd具備watch監(jiān)聽的功能,一旦某個配置或者某個狀態(tài)發(fā)生變更,集群內(nèi)所有的服務(wù)全都可以通過watch監(jiān)聽機制實時獲取到消息,進(jìn)而做出進(jìn)一步的響應(yīng)?!?/strong> 幾乎etcd的所有應(yīng)用場景,都是基于watch監(jiān)聽機制產(chǎn)生的,包括我們后面為大家介紹的服務(wù)注冊發(fā)現(xiàn)和訂閱通知。
4.2. 服務(wù)注冊與發(fā)現(xiàn)
其實kubernetes也利用etcd實現(xiàn)服務(wù)注冊發(fā)現(xiàn)機制,但是上面的那張圖不太好說明,我新畫了兩張圖說明etcd在實現(xiàn)服務(wù)注冊發(fā)現(xiàn)機制中的作用。
所謂的服務(wù)注冊實現(xiàn)原理就是:服務(wù)在啟動的時候,向etcd寫入一條配置數(shù)據(jù),該條配置數(shù)據(jù)說明自己的服務(wù)名稱,服務(wù)ip地址,服務(wù)端口等信息。
所謂的服務(wù)發(fā)現(xiàn)實現(xiàn)原理舉例:服務(wù)C的某個實例希望訪問服務(wù)A,服務(wù)C向etcd詢問服務(wù)A的訪問地址,etcd響應(yīng)結(jié)果:服務(wù)A有三個實例,地址列表如:xxx.xxx.xxx.xxx:端口
、yyy.yyy.yyy.yyy:端口
,zzz.zzz.zzz.zzz:端口
。服務(wù)C不需要訪問三個實例,訪問其中一個就可以得到結(jié)果,所以它按照自己的負(fù)載均衡算法選了一個,這個就叫做:客戶端負(fù)載均衡。
4.3. 健康檢查與狀態(tài)變更通知
銜接上文:「服務(wù)C下一次訪問服務(wù)A的時候,還需要訪問etcd么?答案是不需要」,它訪問過一次之后,就會自己維護(hù)一個服務(wù)A訪問地址的列表,**「除非這個列表發(fā)生變化,否則是不會再次去詢問etcd的?!?*那么一個服務(wù)怎么知道另一個服務(wù)的列表發(fā)生變化呢?比如:服務(wù)A的實例注冊狀態(tài)發(fā)生變化。可能是由于某種原因掛掉了,可能是OOM或者是網(wǎng)絡(luò)問題等。
- 服務(wù)在注冊到etcd之后,會保存一個關(guān)于該服務(wù)的注冊配置信息,該注冊配置信息由一個TTL,etcd同時會與該服務(wù)維持心跳。一旦超過TTL時間,無法得到服務(wù)的心跳響應(yīng),etcd就認(rèn)為該節(jié)點的健康狀態(tài)出現(xiàn)了問題,就會將該節(jié)點下線(注冊配置信息刪除)。
- 服務(wù)在注冊到etcd之后,會保持對etcd狀態(tài)數(shù)據(jù)變更的監(jiān)聽,一旦獲取監(jiān)聽結(jié)果:服務(wù)A的實例狀態(tài)發(fā)生變更,該服務(wù)就會從etcd重新拉取服務(wù)A的注冊列表。
4.4.分布式鎖
跨進(jìn)程跨系統(tǒng)的多線程操作公共資源,發(fā)生多線程競爭,為了避免線程不安全,需要使用分布式鎖。如果多線程在單個進(jìn)程內(nèi)發(fā)生資源競爭,就是用Lock就可以了,不需要分布式鎖。比如:你在mysql庫里面有一個用戶余額數(shù)據(jù),多個進(jìn)程內(nèi)的線程同時更改這個值,可能發(fā)生并發(fā)的數(shù)據(jù)覆蓋。為了避免這樣的問題,多個進(jìn)程排排隊,A先來,A釋放了鎖B再來,B釋放了鎖C再來。
舉例:上圖的3個client代表三個服務(wù),都要操作某個資源數(shù)據(jù)。
- 在嘗試調(diào)用加鎖API的時候,client1獲取到的revision=1,它優(yōu)先獲得加鎖的資格。加鎖就是加一個帶有revision的配置記錄。其他的所有的服務(wù),都通過watch機制監(jiān)聽鎖的釋放。
- client在嘗試調(diào)用加鎖API的時候,被分配了revision。并且按照revision進(jìn)行了排序,監(jiān)聽距離自己revision差值最小,而且小于自己的Revision,不會產(chǎn)生驚群效應(yīng)。
4.5.實現(xiàn)消息隊列(純扯淡)
我覺得使用etcd實現(xiàn)消息隊列,是一種純扯淡的做法。如果大家有什么異議,歡迎留言!
不是說做不了,確實寫個demo是可以的。往etcd里面放數(shù)據(jù),再通過watch機制進(jìn)行監(jiān)聽,這不就是一個典型的消息隊列么?扯淡!如果我只為了實現(xiàn)消息數(shù)據(jù)的發(fā)布訂閱,其實有很多辦法,我還用搭一個etcd集群?Spring的Event機制,java的響應(yīng)式編程,哪怕自己搞一個BlockQueue呢,是不是都能實現(xiàn)消息的發(fā)布訂閱。
我們之所以使用kafka、RocketMQ這樣的消息隊列,肯定是因為我們的異步數(shù)據(jù)達(dá)到一定的規(guī)模了。達(dá)到規(guī)模的異步消息數(shù)據(jù)傳遞根本就不是etcd的應(yīng)用場景,正如本文開頭所述:別忘了它叫做etc阿就d,「它就是一個為分布式系統(tǒng)存儲配置信息的,不是消息中間件?!?/strong>
五、etcd安裝
本文為大家安裝一個可以用于實驗環(huán)境的etcd單機版,我們可以用它進(jìn)行實驗,后續(xù)我還會寫文章介紹etcd集群的安裝方式. 下載etcd的安裝包,訪問github-etcd,我使用的是linux操作系統(tǒng)64位,所以下載的安裝包是:etcd-v3.5.4-linux-amd64.tar.gz .如果網(wǎng)絡(luò)條件不允許,可以搜索"etcd國內(nèi)下載加速",選擇合適的下載安裝包進(jìn)行安裝即可.
首先將安裝包解壓,解壓之后cd進(jìn)入安裝目錄,將etcd和etcdctl兩個命令copy到/usr/local/bin/
目錄下面.
tar zxvf etcd-v3.5.4-linux-amd64.tar.gz; cd etcd-v3.5.4-linux-amd64; cp etcd etcdctl /usr/local/bin/;
通過etcd --version
命令查看etcd的版本,同時可以驗證安裝結(jié)果.如果不想敲全路徑,可以把/usr/local/bin
目錄加入系統(tǒng)的PATH環(huán)境變量.
/usr/local/bin/etcd --version
啟動etcd,這里的listen-client-urls和advertise-client-urls配置的作用是允許遠(yuǎn)程連接,0.0.0.0
表示監(jiān)聽當(dāng)前服務(wù)器的所有ip, 監(jiān)聽端口是2379. 假如你的服務(wù)器有多塊網(wǎng)卡,多個固定ip,你想指定etcd服務(wù)在某一個ip上提供服務(wù),就可以用這個ip替換0.0.0.0
/usr/local/bin/etcd --listen-client-urls 'http://0.0.0.0:2379' --advertise-client-urls 'http://0.0.0.0:2379'
etcd啟動之后, 可以通過etcdctl命令向etcd中添加配置,如下所示使用put命令添加一個key=/dir1
,value=aaa
的鍵值對數(shù)據(jù).可以使用get命令獲取該配置信息.
# /usr/local/bin/etcdctl put /dir1 aaa OK # /usr/local/bin/etcdctl get /dir1 /dir1 aaa
六、jetcd的編碼實現(xiàn)配置管理
下面為大家介紹通過java API的方式操作etcd的數(shù)據(jù),首先通過maven的坐標(biāo)引入jetcd.我使用的版本相對比較舊,最新的版本已經(jīng)是0.7.8,不過我在使用的時候出現(xiàn)了與netty版本不一致的情況,報錯:找不到netty相關(guān)的一些類.所以我就回退到0.3.0版本,使用方式上都是一樣的.
<dependency> <groupId>io.etcd</groupId> <artifactId>jetcd-core</artifactId> <version>0.3.0</version> </dependency>
下面的代碼是使用jetcd操作etcd的配置數(shù)據(jù),實現(xiàn)了數(shù)據(jù)的寫操作,讀操作,刪除操作.詳細(xì)用法看代碼吧.下面的代碼是Junit 5的單元測試用例的寫法.
import io.etcd.jetcd.ByteSequence; import io.etcd.jetcd.Client; import io.etcd.jetcd.KV; import io.etcd.jetcd.kv.GetResponse; import io.etcd.jetcd.kv.PutResponse; import org.junit.jupiter.api.*; import java.nio.charset.StandardCharsets; import java.util.concurrent.CompletableFuture; import java.util.concurrent.ExecutionException; import static junit.framework.TestCase.assertNotNull; //這個注解配合函數(shù)的Order注解,決定測試用例函數(shù)的執(zhí)行順序 @TestMethodOrder(MethodOrderer.OrderAnnotation.class) public class EtcdTest { private static Client etcdClient; @BeforeAll static void init(){ etcdClient = Client.builder() //這里的etcd服務(wù)列表可以寫多個,用逗號分隔 .endpoints("http://192.168.161.3:2379".split(",")) .build(); } @Test @Order(1) @DisplayName("etcd寫配置操作") void putKV() throws ExecutionException, InterruptedException { KV kv = etcdClient.getKVClient(); ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8); ByteSequence value = ByteSequence.from("value-str", StandardCharsets.UTF_8); //put key-value配置信息 CompletableFuture<PutResponse> putRsp = kv.put(key,value); assertNotNull(putRsp.get().getHeader()); } @Test @Order(2) @DisplayName("etcd讀配置操作") void getKV() throws ExecutionException, InterruptedException { KV kv = etcdClient.getKVClient(); ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8); //通過key獲取值 CompletableFuture<GetResponse> getRsp = kv.get(key); String getBackValue = getRsp.get().getKvs().get(0).getValue().toString(StandardCharsets.UTF_8); System.out.println("從etcd通過key獲取value值為:" + getBackValue); } @Test @Order(3) @DisplayName("刪除配置操作") void deleteKV() { KV kv = etcdClient.getKVClient(); ByteSequence key = ByteSequence.from("key-str", StandardCharsets.UTF_8); //通過key刪除數(shù)據(jù) kv.delete(key); } }
上面的代碼只介紹了etcd的最基本的key-value操作,其實etcd客戶端還提供了很多的API,這些都將在我后續(xù)的文章中分布式鎖,服務(wù)注冊發(fā)現(xiàn),配置變更監(jiān)聽,分布式系統(tǒng)Leader選舉的內(nèi)容中為大家介紹.
//租約 Lease lease=etcdClient.getLeaseClient(); //監(jiān)聽 Watch watch =etcdClient.getWatchClient(); //選舉 Election election =etcdClient.getElectionClient(); //鎖 Lock lock=etcdClient.getLockClient();
以上就是一文詳解Java etcd的應(yīng)用場景及編碼實戰(zhàn)的詳細(xì)內(nèi)容,更多關(guān)于Java etcd的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Spring Cloud負(fù)載均衡及遠(yuǎn)程調(diào)用實現(xiàn)詳解
這篇文章主要介紹了Spring Cloud負(fù)載均衡及遠(yuǎn)程調(diào)用實現(xiàn)詳解,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-08-08Java實現(xiàn)讀取html文本內(nèi)容并按照格式導(dǎo)出到excel中
這篇文章主要為大家詳細(xì)介紹了如何使用Java實現(xiàn)讀取html文本提取相應(yīng)內(nèi)容按照格式導(dǎo)出到excel中,文中的示例代碼講解詳細(xì),需要的可以參考下2024-02-02淺談 java中ArrayList、Vector、LinkedList的區(qū)別聯(lián)系
ArrayList,Vector底層是由數(shù)組實現(xiàn),LinkedList底層是由雙線鏈表實現(xiàn),從底層的實現(xiàn)可以得出性能問題ArrayList,Vector插入速度較慢,查詢速度較快,而LinkedList插入速度較快,而查詢速度較慢。再者由于Vevtor使用了線程安全鎖,所以ArrayList的運行效率高于Vector2015-11-11解決RestTemplate 請求url中包含百分號 會被轉(zhuǎn)義成25的問題
這篇文章主要介紹了解決RestTemplate 請求url中包含百分號 會被轉(zhuǎn)義成25的問題,具有很好的參考價值,希望對大家有所幫助。2021-10-10如何利用Spring?Boot?監(jiān)控?SQL?運行情況
這篇文章主要介紹了如何利用Spring?Boot監(jiān)控SQL運行情況,文章圍繞主題展開詳細(xì)的內(nèi)容介紹,具有一定的參考價值,需要的小伙伴可以參考一下2022-07-07解讀System.getProperty("ENM_HOME")中的值從哪獲取的
這篇文章主要介紹了解讀System.getProperty("ENM_HOME")中的值從哪獲取的問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-12-12