手寫簡(jiǎn)版kedis分布式key及value服務(wù)的實(shí)現(xiàn)及配置
前言
今天博主主要介紹兩個(gè)開源項(xiàng)目,然后創(chuàng)建應(yīng)用最終實(shí)現(xiàn)的效果就像簡(jiǎn)版的redis服務(wù)那樣,通過(guò)http的get請(qǐng)求,能夠插入和獲取數(shù)據(jù),項(xiàng)目暫取名為kedis,源碼后面會(huì)上傳到git倉(cāng)庫(kù)。他們分別是Facebook開源的Rocksdb和netty實(shí)現(xiàn)的http容器RestExpress。通過(guò)實(shí)現(xiàn)這樣的一個(gè)key/value系統(tǒng)實(shí)例來(lái)學(xué)習(xí)這兩個(gè)框架的使用。
rocksdb
RocksDB是一個(gè)帶key/value接口的存儲(chǔ)引擎,其中鍵和值是任意字節(jié)流。它是一個(gè)C ++庫(kù)。它是在Facebook基于google開源的LevelDB(https://github.com/google/LevelDB)開發(fā)的,并為L(zhǎng)evelDB API提供向后兼容的支持。
RocksDB支持各種存儲(chǔ)硬件,最初的重點(diǎn)是快速閃存。它使用日志結(jié)構(gòu)化數(shù)據(jù)庫(kù)引擎進(jìn)行存儲(chǔ),完全用C ++編寫,并有一個(gè)名為RocksJava的Java包裝器。請(qǐng)參閱RocksJava基礎(chǔ)知識(shí)。
RocksDB可以適應(yīng)各種生產(chǎn)環(huán)境,包括純內(nèi)存,閃存,硬盤或遠(yuǎn)程存儲(chǔ)。在RocksDB無(wú)法自動(dòng)適應(yīng)的情況下,提供了高度靈活的配置設(shè)置,以允許用戶為其進(jìn)行調(diào)整。它支持各種壓縮算法和生產(chǎn)支持和調(diào)試的好工具。
特征
- 專為希望在本地或遠(yuǎn)程存儲(chǔ)系統(tǒng)上存儲(chǔ)多達(dá)數(shù)TB數(shù)據(jù)的應(yīng)用程序服務(wù)器而設(shè)計(jì)。
- 優(yōu)化用于在快速存儲(chǔ) - 閃存設(shè)備或內(nèi)存中存儲(chǔ)中小尺寸鍵值
- 它適用于具有多個(gè)內(nèi)核的處理器
RocksDB就是這樣的一個(gè)key/value存儲(chǔ)引擎,facebook基于RocksDB這個(gè)項(xiàng)目寫了MyRocks,一個(gè)使用RocksDB實(shí)現(xiàn)的msyql數(shù)據(jù)庫(kù)引擎。通過(guò)RocksDB的壓縮技術(shù)相比InnoDB能夠節(jié)省很大的存儲(chǔ)空間。newsql數(shù)據(jù)庫(kù)tidb組件tikv也使用了RocksDB作為底層數(shù)據(jù)存儲(chǔ)。
RestExpress
RESTExpress是一個(gè)非常高效的小型http容器,可以在Java中創(chuàng)建性能非常高,可擴(kuò)展的RESTful服務(wù)。使用牛逼的Netty框架編寫,RESTExpress使用非阻塞I / O來(lái)處理請(qǐng)求,同時(shí)利用Executor來(lái)服務(wù)后端邏輯服務(wù)(可能是阻塞)操作。
實(shí)現(xiàn)kedis
創(chuàng)建服務(wù)并綁定端口
/** * @author: kl @kailing.pub * @date: 2019/4/12 */ public class Main { public static void main(String[] args) { Configs configs = new Configs(); configs.fromArgs(args); RestExpress server = new RestExpress() .setName("kedis-server") .setBaseUrl("http://localhost:" +configs.getPort()); KedisCore core =new KedisCore(configs.getDbPath()); Routes.define(server,core); server.bind(configs.getPort()); server.awaitShutdown(); } }
創(chuàng)建RocksDB引擎api操作類
/** * @author: kl @kailing.pub * @date: 2019/4/12 */ public class KedisCore { private RocksDB db; public KedisCore(String path) { RocksDB.loadLibrary(); try { final Options options = new Options().setCreateIfMissing(true); this.db = RocksDB.open(options, path); } catch (RocksDBException ex) { ex.printStackTrace(); } } public String put(Request request, Response response) throws Exception { Map<String, String> map = request.getQueryStringMap(); String key = map.get("key"); String value = map.get("value"); db.put(key.getBytes(), value.getBytes()); return "ok"; } public String get(Request request, Response response) throws Exception { Map<String, String> map = request.getQueryStringMap(); String key = map.get("key"); byte[] values = db.get(key.getBytes()); if(values != null){ return new String(values,"utf-8"); }else { return null; } } }
設(shè)置請(qǐng)求路由
/** * @author: kl @kailing.pub * @date: 2019/4/12 */ public abstract class Routes { public static void define(RestExpress server,KedisCore core){ server.uri("/put", core).action("put", HttpMethod.GET).noSerialization(); server.uri("/get", core).action("get", HttpMethod.GET).noSerialization(); } }
mvn install打包后,進(jìn)入target目錄會(huì)有kedis-1.0.jar。CMD下分別執(zhí)行如下腳本啟動(dòng)驗(yàn)證
啟動(dòng)
java -jar kedis-1.0.jar --port 8081
插入數(shù)據(jù)
curl http://localhost:8081/put?key=name&value=ckl
獲取數(shù)據(jù)
curl http://localhost:8081/get?key=name
文末結(jié)語(yǔ)
RocksDB和RestExpress這兩個(gè)項(xiàng)目都很有特點(diǎn),RocksDB作為嵌入式的微存儲(chǔ)引擎java包裝器的大小僅有10M左右,主要是C++編譯后的dll和so文件,其本身功能非常強(qiáng)大,強(qiáng)大到可以作為mysql的底層存儲(chǔ)引擎,對(duì)底層存儲(chǔ)做了很多的優(yōu)化,可以見(jiàn)wiki。RestExpress雖很輕量但五臟俱全,非常適合一些小工具暴露http的服務(wù)。
以上就是手寫簡(jiǎn)版key及value服務(wù)kedis的詳細(xì)內(nèi)容,更多關(guān)于手寫key及value服務(wù)kedis的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
SpringMVC 重新定向redirect請(qǐng)求中攜帶數(shù)據(jù)方式
這篇文章主要介紹了SpringMVC 重新定向redirect請(qǐng)求中攜帶數(shù)據(jù)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-12-12Java實(shí)現(xiàn)簡(jiǎn)單的聊天室功能
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡(jiǎn)單的聊天室功能,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-06-06序列化版本號(hào)serialVersionUID的作用_動(dòng)力節(jié)點(diǎn)Java學(xué)院整理
Java序列化是將一個(gè)對(duì)象編碼成一個(gè)字節(jié)流,反序列化將字節(jié)流編碼轉(zhuǎn)換成一個(gè)對(duì)象,這篇文章主要介紹了序列化版本號(hào)serialVersionUID的作用,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-05-05Java通過(guò)反射來(lái)打印類的方法實(shí)現(xiàn)
本文主要介紹了Java通過(guò)反射來(lái)打印類的方法實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-09-09Java實(shí)現(xiàn)在線聊天室(層層遞進(jìn))
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)在線聊天室,層層遞進(jìn),文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-09-09Java實(shí)現(xiàn)簡(jiǎn)單棋盤存檔和讀取功能
這篇文章主要為大家詳細(xì)介紹了Java實(shí)現(xiàn)簡(jiǎn)單棋盤存檔和讀取功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-09-09Springboot?中的?Filter?實(shí)現(xiàn)超大響應(yīng)?JSON?數(shù)據(jù)壓縮的方法
這篇文章主要介紹了Springboot?中的?Filter?實(shí)現(xiàn)超大響應(yīng)?JSON?數(shù)據(jù)壓縮,定義GzipFilter對(duì)輸出進(jìn)行攔截,定義 Controller該 Controller 非常簡(jiǎn)單,主要讀取一個(gè)大文本文件,作為輸出的內(nèi)容,本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì),需要的朋友可以參考下2022-10-10