分布式下實(shí)現(xiàn)配置管理方式
隨著業(yè)務(wù)的發(fā)展,應(yīng)用系統(tǒng)中的配置會(huì)越來越多,配置之間也有不同的業(yè)務(wù)特點(diǎn),比如業(yè)務(wù)依賴的數(shù)據(jù)庫配置、緩存信息配置、索引存儲(chǔ)配置等。這類配置一般比較穩(wěn)定,不會(huì)頻繁更改,通常會(huì)放在工程中作為配置文件隨應(yīng)用一起發(fā)布。
除了這些配置,還有一部分配置會(huì)經(jīng)常發(fā)生修改,比如限流降級開關(guān)配置、業(yè)務(wù)中的白名單配置等。這些配置項(xiàng)除了變更頻繁,還要求實(shí)時(shí)性,如果采取和應(yīng)用一起發(fā)布的方式,那么每次變更都要重新發(fā)布服務(wù),非常不方便。
為了解決這類配置問題,出現(xiàn)了分布式配置管理平臺(tái),這一課時(shí)我們就來了解一下分布式配置管理相關(guān)的內(nèi)容。
一、配置管理的應(yīng)用場景
在項(xiàng)目開發(fā)中,數(shù)據(jù)庫信息等配置管理,一般是隨著工程一起上線的,比如 Java 的 Web 系統(tǒng),習(xí)慣把數(shù)據(jù)庫的配置信息放到 jdbc.properties 這個(gè)配置文件中。
在分布式場景下,配置管理的應(yīng)用范圍更加廣泛。比如上面說的限流和降級配置,電商網(wǎng)站在舉行大型促銷活動(dòng)時(shí),由于訪問人數(shù)暴增,為了保證核心交易鏈路的穩(wěn)定性,會(huì)把一些不太重要的業(yè)務(wù)做降級處理,那么如何關(guān)閉非核心服務(wù)呢?就需要分布式配置管理系統(tǒng),能夠?qū)崟r(shí)管理被降級的業(yè)務(wù),保證系統(tǒng)安全。
在一些異步業(yè)務(wù)場景中,配置管理也廣泛應(yīng)用,比如工作中經(jīng)常會(huì)有數(shù)據(jù)同步,需要控制同步的速度;在一些定時(shí)任務(wù)中,需要控制定時(shí)任務(wù)觸發(fā)的時(shí)機(jī),以及執(zhí)行的時(shí)長等,這些都可以通過配置管理來實(shí)現(xiàn)。
二、配置管理如何實(shí)現(xiàn)
分布式配置管理的本質(zhì)就是一種推送-訂閱模式的運(yùn)用。配置的應(yīng)用方是訂閱者,配置管理服務(wù)則是推送方,客戶端發(fā)布數(shù)據(jù)到配置中心,配置中心把配置數(shù)據(jù)推送到訂閱者。
配置管理服務(wù)往往會(huì)封裝一個(gè)客戶端,應(yīng)用方則是基于該客戶端與配置管理服務(wù)進(jìn)行交互。在實(shí)際實(shí)現(xiàn)時(shí),客戶端可以主動(dòng)拉取數(shù)據(jù),也可以基于事件通知實(shí)現(xiàn)。
實(shí)現(xiàn)配置管理中心,一般需要下面幾個(gè)步驟:
- 提取配置信息,放到一個(gè)公共的地方存儲(chǔ),比如文件系統(tǒng)、數(shù)據(jù)庫、Redis;
- 使用發(fā)布/訂閱模式,讓子系統(tǒng)訂閱這些配置信息;
- 對外開放可視化的配置管理中心,對配置信息進(jìn)行操作維護(hù)。
三、分布式配置管理的特性要求
一個(gè)合格的分布式配置管理系統(tǒng),除了配置發(fā)布和推送,還需要滿足以下的特性:
- 高可用性,服務(wù)器集群應(yīng)該無單點(diǎn)故障,只要集群中還有存活的節(jié)點(diǎn),就能提供服務(wù);
- 容錯(cuò)性,保證在配置平臺(tái)不可用時(shí),也不影響客戶端的正常運(yùn)行;
- 高性能,對于配置平臺(tái),應(yīng)該是盡可能低的性能開銷,不能因?yàn)楂@取配置給應(yīng)用帶來不可接受的性能損耗;
- 可靠存儲(chǔ),包括數(shù)據(jù)的備份容災(zāi),一致性等,盡可能保證不丟失配置數(shù)據(jù);
- 實(shí)時(shí)生效,對于配置的變更,客戶端應(yīng)用能夠及時(shí)感知。
可以看到,一個(gè)好的配置管理系統(tǒng),不只是提供配置發(fā)布和推送就可以,還有許多高級特性的要求。
四、分布式配置中心選型
分布式配置管理系統(tǒng)可以選擇自研,也可以選擇開源組件,比如攜程開源的 Apollo、淘寶的 Diamond、百度的 Disconf 等。
1、Diamond
淘寶的 Diamond 是國內(nèi)比較早的配置管理組件,設(shè)計(jì)簡單,配置信息會(huì)持久化到 MySQL 數(shù)據(jù)庫和本地磁盤中,通過數(shù)據(jù)庫加本地文件的方式來進(jìn)行容災(zāi)。
客戶端和服務(wù)端通過 Http 請求來交互,通過比較數(shù)據(jù)的 MD5 值感知數(shù)據(jù)變化。在運(yùn)行中,客戶端會(huì)定時(shí)檢查配置是否發(fā)生變化,每次檢查時(shí),客戶端將 MD5 傳給服務(wù)端,服務(wù)端會(huì)比較傳來的 MD5 和自身內(nèi)存中的 MD5 是否相同。如果相同,則說明數(shù)據(jù)沒變,返回一個(gè)標(biāo)示數(shù)據(jù)不變的字符串給客戶端;如果不同,則說明數(shù)據(jù)發(fā)生變更,返回變化數(shù)據(jù)的相關(guān)信息給客戶端,客戶端會(huì)重新請求更新后的配置文件。
Diamond 開源版本已經(jīng)很久沒有更新了,比較適合小型的業(yè)務(wù)系統(tǒng)的配置管理,源碼規(guī)模也比較小,可以下載對應(yīng)的源碼來查看,下載地址為:github-diamond。
2、Disconf
Disconf 是百度的一款分布式配置管理平臺(tái),代碼倉庫地址為:knightliao-disconf。
Disconf 的實(shí)現(xiàn)是基于 ZooKeeper 的,應(yīng)用安裝需要依賴 ZooKeeper 環(huán)境,配置動(dòng)態(tài)更新借助 ZooKeeper 的 watch 機(jī)制實(shí)現(xiàn)。在初始化流程會(huì)中會(huì)對配置文件注冊 watch,這樣當(dāng)配置文件更新時(shí),ZooKeeper 會(huì)通知到客戶端,然后客戶端再從 Disconf 服務(wù)端中獲取最新的配置并更新到本地,這樣就完成了配置動(dòng)態(tài)更新。
關(guān)于 Disconf 的細(xì)節(jié),可以查看作者提供的設(shè)計(jì)文檔:https://disconf.readthedocs.io/zh_CN/latest/design/index.html。
3、Apollo
Apollo 是攜程開源的分布式配置中心,官方的描述是:Apollo 能夠集中化管理應(yīng)用不同環(huán)境、不同集群的配置。配置修改后能夠?qū)崟r(shí)推送到應(yīng)用端,并且具備規(guī)范的權(quán)限、流程治理等特性,適用于微服務(wù)配置管理場景。
Apollo 服務(wù)端基于 Spring Boot 和 Spring Cloud 開發(fā),打包后可以直接運(yùn)行,不需要額外安裝 Tomcat 等應(yīng)用容器。Apollo 支持多種語言的客戶端,包括 Java 和 .Net 客戶端,客戶端運(yùn)行不需要依賴其他框架,對系統(tǒng)侵入較小。
相比 Diamond 和 Disconf,Apollo 一直保持著穩(wěn)定的版本更新,開源社區(qū)也比較活躍,管理界面友好,適合大型的業(yè)務(wù)系統(tǒng),比較推薦使用。可以在 Apollo的代碼倉庫 ctripcorp-apollo 中了解更多的信息。
除了以上幾款組件,大家熟悉的 ZooKeeper 也經(jīng)常被用作分布式配置管理,和 Disconf 的實(shí)現(xiàn)類似,是依賴 ZooKeeper 的發(fā)布訂閱功能,基于 watch 機(jī)制實(shí)現(xiàn)。
內(nèi)容中介紹的配置管理選型都是單獨(dú)提供配置管理功能的,其實(shí)在大部分業(yè)務(wù)系統(tǒng)中,配置管理都不是一個(gè)單獨(dú)的功能,一般是和服務(wù)治理,或者網(wǎng)關(guān)集成在一起。比如 Spring Cloud Nacos,除了支持服務(wù)發(fā)現(xiàn),還提供了配置管理的功能,Dubbo 的控制臺(tái) Dubbo Admin 也內(nèi)置了服務(wù)配置推送的功能。
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Spring Batch讀取txt文件并寫入數(shù)據(jù)庫的方法教程
這篇文章主要給大家介紹了Spring Batch讀取txt文件并寫入數(shù)據(jù)庫的方法,SpringBatch 是一個(gè)輕量級、全面的批處理框架。這里我們用它來實(shí)現(xiàn)文件的讀取并將讀取的結(jié)果作處理,處理之后再寫入數(shù)據(jù)庫中的功能。需要的朋友可以參考借鑒,下面來一起看看吧。2017-04-04簡單談?wù)凧ava中String類型的參數(shù)傳遞問題
這篇文章主要介紹了簡單談?wù)凧ava中String類型的參數(shù)傳遞問題的相關(guān)資料,需要的朋友可以參考下2015-12-12