欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

Docker + Nodejs + Kafka + Redis + MySQL搭建簡單秒殺環(huán)境

 更新時間:2017年01月23日 08:47:32   作者:BlairWaldorf  
本文給大家分享的是使用Docker + Nodejs + Kafka + Redis + MySQL模擬搭建起來的商品秒殺環(huán)境,非常的實用和熱門,有需要的小伙伴可以參考下

秒殺活動可以說在互聯(lián)網(wǎng)上隨處可見,從12306搶票,到聚劃算搶購,我們生活的方方面面都可以看到秒殺的身影。秒殺的架構(gòu)設(shè)計也是對于一個架構(gòu)師架構(gòu)設(shè)計能力的一次考驗。本文的目的并不在于提供一個可以直接落地的設(shè)計方案,而是意在提供一個簡單的方法,一個思路,使大家能夠?qū)τ诿霘⒈澈蟮囊恍┰O(shè)計有更感性的認(rèn)識, 并且可以自己親自動手實踐一下。所有的配置及源碼都在本文最后的GitHub repository中可以找到。

首先,先簡單介紹下本文中會涉及到的一些組件,如下圖所示:


JMeter:用JMeter來模擬秒殺活動中大量并發(fā)的用戶請求

Seckill Service:基于Nodejs使用Express實現(xiàn)的秒殺service,圖中的步驟2,3,4都是在這個service中處理的

Redis:一個Redis的docker container,在其中保存一個名為counter的數(shù)據(jù)來表示當(dāng)前剩余的庫存大小

Kafka: 一個Kafka的docker container,其實這里還有一個zookeeper的docker container,Kafka用zookeeper來存放一些元數(shù)據(jù),在程序中并沒有涉及到,所以也就不單獨列出來說了。Seckill service在更新完Redis之后,會發(fā)送一條消息給Kafka表示一次成功的秒殺

Seckill Kafka Consumer: 基于Nodejs的Kafka consumer,會從Kafka中去獲取秒殺成功的消息,處理并且存儲到MySQL中

MySQL:一個MySQL的docker container,最終秒殺成功的請求都會對應(yīng)著數(shù)據(jù)庫表中的一條記錄

環(huán)境搭建

1 . 安裝JMeter
官網(wǎng)下載一個JMeter的binary包,執(zhí)行bin目錄下的jmeter即可啟動,啟動后如下圖新建一個名為Seckill的Thread Group,并且設(shè)置在5s內(nèi)發(fā)起2000次并發(fā)請求。


在這個Thread Group下新建一個Http Request的Sampler并命名為Seckill,按下圖配置host name,port number,http request method以及request path


2 . 安裝Redis,Kafka, Zookeeper和MySQL
為了方便搭建環(huán)境,這幾個組件會以docker container的形式啟動。在此之前需要去Docker官網(wǎng)下載并安裝Docker Engine,Docker Machine和Docker Compose。如果是在Windows或者M(jìn)ac上,Docker官網(wǎng)提供Docker For Windows/Docker For Mac安裝程序,可以很方便的把這3個組件安裝好。

3 . 編寫Docker Compose文件
創(chuàng)建一個Seckill項目文件夾,新建一個docker-compose.yml文件,內(nèi)容如下:


配置文件中一共配置了4個services對應(yīng)4個docker container,分別是zookeeper,kafka,redis以及mysql。這里有兩個地方需要設(shè)置成你實際環(huán)境的值,一個是kafka配置下面的KAFKA_ADVERTISED_HOST_NAME字段,這個需要設(shè)置成本地機器的IP。另一個是MYSQL配置下面的MYSQL_ROOT_PASSWORD,你可以設(shè)置成你想要的任何值。

創(chuàng)建好這個文件之后,就可以去命令行項目根目錄中執(zhí)行docker-compose up,docker engine就會把上面配置的這4個組件全部啟動起來。

注意:在啟動完之后,需要去Kafka容器中創(chuàng)建一個名為CAR_NUMBER的topic,去Redis容器中創(chuàng)建一個名為counter的計數(shù)器(設(shè)置值為100,代表庫存初始值為100),去MySQL容器中創(chuàng)建一個名為seckill的數(shù)據(jù)表(包含一個自增長的id自段和一個timestamp格式的date字段)。

代碼片段

1 . Seckill Service


第1-8行,引入了程序需要用到的對象,nodejs的mvc框架express, redis, kafka等

第10行,利用express提供的方法暴露出一個path為/seckill的POST方法

第12行,定義了一個方法,在54行會調(diào)用

第13-22行,新建了一個redis client并且監(jiān)聽error事件

第23行,這行代碼非常關(guān)鍵,它的作用是讓redis cilent監(jiān)視redis中的counter值,之后會啟動一個事務(wù),如果在事務(wù)提交的時候發(fā)現(xiàn)有其它client修改了counter值的話,就會放棄這個事務(wù)。

第24行,通過redis client的異步方法獲取counter的值,因為redis的get操作是原子的,所以在這里不用擔(dān)心有并發(fā)讀寫的問題。

第25-28行,判斷返回的庫存值是否大于0,如果大于0,通過client.multi()啟動一個事務(wù),通過decr()方法將counter值減1,最后通過exec()方法提交事務(wù);如果小于0,則執(zhí)行第47行,打印賣完了并且關(guān)閉redis client。

第29-46行,這里我們看一下multi.exec()中的這個回調(diào)方法。在前面我們已經(jīng)使用watch對counter進(jìn)行了監(jiān)視。如果在事務(wù)提交過程中有其它client修改了counter值的話,回調(diào)方法中的replies參數(shù)就會是null,可以看到第29-31行,程序會打印“可能有沖突”并且再次調(diào)用fn方法重試。
如果replies的值不為null,就會使用kafka的producer發(fā)送一條message到CAR_NUMBER topic。

2 . seckill_kafka_consumer


這里的代碼就比較簡單了,會初始化一個kafka consumer監(jiān)聽CAR_NUMBER topic,對于新獲取的消息會去MySQL的seckill表里插入一條記錄。

操作步驟

啟動docker container

啟動Seckill_Service

啟動seckill_kafka_consumer

啟動JMeter發(fā)送2000個并發(fā)請求

結(jié)果 JMeter request results

Redis counter field


MySQL seckill table


可以看到,最后redis中的counter變成0,seckill數(shù)據(jù)表中會插入100條記錄,沒有發(fā)生超賣或者少賣的情況。當(dāng)然在實際生產(chǎn)環(huán)境場景中,還有許多其它需要考慮的地方,希望此文可以起到一個拋磚引玉的作用,幫助大家更好的理解秒殺場景。

項目GitHub地址: MockSecKill

相關(guān)文章

  • 本地使用docker打包部署鏡像的方法

    本地使用docker打包部署鏡像的方法

    這篇文章主要介紹了本地使用docker打包部署鏡像的方法,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-12-12
  • idea?連接遠(yuǎn)程?docker?并部署項目到?docker的過程

    idea?連接遠(yuǎn)程?docker?并部署項目到?docker的過程

    這篇文章主要介紹了idea連接遠(yuǎn)程docker并部署項目到docker,本文通過圖文并茂的形式給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2023-10-10
  • 詳解docker 允許主機ssh連接到docker容器中

    詳解docker 允許主機ssh連接到docker容器中

    本篇文章主要介紹了詳解docker 允許主機ssh到docker容器中,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-05-05
  • CoreOS配置Docker鏡像加速器的方法

    CoreOS配置Docker鏡像加速器的方法

    本篇文章主要介紹了CoreOS配置Docker鏡像加速器的方法,CoreOS下的Docker配置是通過flannel unit來實現(xiàn)的,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2018-05-05
  • 如何使用 docker compose 搭建 fastDFS文件服務(wù)器

    如何使用 docker compose 搭建 fastDFS文件服務(wù)器

    這篇文章主要介紹了如何使用 docker compose 搭建 fastDFS文件服務(wù)器,本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
    2021-10-10
  • Docker容器使用方法詳解

    Docker容器使用方法詳解

    容器是基于鏡像創(chuàng)建的,容器中的進(jìn)程依賴于鏡像中的文件,那么本篇文章我們就來深入學(xué)習(xí)容器的基本操作方法,通過示例來加深各位看官對docker容器操作的理解以及記憶,需要的朋友可以參考下
    2022-07-07
  • Docker從零開始學(xué)習(xí)之Commit提交命令

    Docker從零開始學(xué)習(xí)之Commit提交命令

    docker commit命令是用于根據(jù)docker容器的改變創(chuàng)建一個新的docker鏡像,下面這篇文章主要給大家介紹了關(guān)于Docker從零開始學(xué)習(xí)之Commit提交命令的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下
    2024-05-05
  • docker-compose如何定義容器的ip

    docker-compose如何定義容器的ip

    這篇文章主要介紹了docker-compose如何定義容器的ip問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2024-01-01
  • .NETCore Docker實現(xiàn)容器化與私有鏡像倉庫管理

    .NETCore Docker實現(xiàn)容器化與私有鏡像倉庫管理

    Docker是用Go語言編寫基于Linux操作系統(tǒng)的一些特性開發(fā)的,其提供了操作系統(tǒng)級別的抽象,是一種容器管理技術(shù),它隔離了應(yīng)用程序?qū)A(chǔ)架構(gòu)(操作系統(tǒng)等)的依賴。這篇文章主要介紹了.NETCore Docker實現(xiàn)容器化與私有鏡像倉庫管理,需要的朋友可以參考下
    2019-08-08
  • Docker 拉取鏡像及標(biāo)簽操作 pull | tag

    Docker 拉取鏡像及標(biāo)簽操作 pull | tag

    這篇文章主要介紹了Docker 拉取鏡像及標(biāo)簽操作 pull | tag,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-11-11

最新評論