詳解Redis緩存與Mysql如何保證雙寫一致
前言
緩存和數(shù)據(jù)庫如何保證數(shù)據(jù)的一致是個(gè)很經(jīng)典的問題,關(guān)于先更新緩存,還是先更新數(shù)據(jù)庫,或者先刪除緩存,還是先刪除數(shù)據(jù)的先后問題,再讀寫并發(fā)的場景下很難做到數(shù)據(jù)一致,我認(rèn)為比較好的兩種方案: 一種是我們經(jīng)常說的延遲雙刪機(jī)制,但是這個(gè)延遲的時(shí)間是無法很準(zhǔn)確的把握的,還有如果緩存刪除失敗了應(yīng)該如何處理,總體來說還是不保險(xiǎn)的; 另外一種我認(rèn)為是比較可行的方法,要引入阿里的canal,通過拉取binlog日志解析推送的MQ實(shí)現(xiàn)異步更新緩存,達(dá)到最終緩存和數(shù)據(jù)庫的一致性;
延遲雙刪策略
基本流程就是客戶端A請求,先去刪除緩存,然后將數(shù)據(jù)寫入數(shù)據(jù)庫,此時(shí)客戶端B查詢先去查詢緩存,緩存沒有返回,去查數(shù)據(jù)庫,此時(shí)還沒有完成主從同步,拿到是從庫的舊數(shù)據(jù),然后將舊數(shù)據(jù)進(jìn)行緩存,在客戶端A完成主從同步后,再次刪除緩存,這時(shí)數(shù)據(jù)才是一致的,但是重點(diǎn)就是在休眠的幾秒鐘,會造成數(shù)據(jù)的不一致性;
注意點(diǎn):第二次刪除緩存如果失敗,那么緩存里面大概率還是舊數(shù)據(jù); 所以第二次緩存刪除重試的方法比較關(guān)鍵:
- 一種:失敗記錄寫表,起定時(shí)任務(wù)去掃描表進(jìn)行重試,顯然這種方式并不會很好,會對數(shù)據(jù)庫造成很大的壓力;
- 另外一種:異步處理,利用消息隊(duì)列,將消息放在隊(duì)列中,緩解數(shù)據(jù)庫壓力,但是要增加對消息隊(duì)列的維護(hù);
簡單寫個(gè)延遲雙刪的demo
@RestController @RequestMapping public class RedisController { @Autowired private RedisTemplate redisTemplate; @Autowired private SysUserMapper sysUserMapper; @GetMapping public void duobleCancle() throws InterruptedException { //刪除緩存 redisTemplate.delete("1"); //獲取數(shù)據(jù) SysUser sysUser = sysUserMapper.selectUserById(Long.valueOf(1)); //更新數(shù)據(jù) SysUser updateSysUser =new SysUser(); updateSysUser.setUserName("Lxlxxx"); updateSysUser.setEmail("@163.com"); UpdateWrapper<SysUser> updateWrapper = new UpdateWrapper(); updateWrapper.eq("userId",1); sysUserMapper.update(updateSysUser,updateWrapper); //休眠時(shí)間這里的設(shè)定,是根據(jù)讀業(yè)務(wù)的同步時(shí)間來設(shè)定的,這是一個(gè)大概的范圍 Thread.sleep(3000); //將讀取的數(shù)據(jù)放入緩存 redisTemplate.opsForValue().append(sysUser.getUserId(), JSON.toJSONString(sysUser)); //第二次刪除緩存 //如果刪除失敗,緩存里面存的應(yīng)該還是舊數(shù)據(jù),后面線程讀的還是舊數(shù)據(jù),實(shí)際數(shù)據(jù)庫已經(jīng)是新數(shù)據(jù)了 redisTemplate.delete("1"); }
由此可見問題還是比較多的,如果這么在項(xiàng)目中使用這種寫法,那最終還是會讀取到臟數(shù)據(jù);
基于訂閱binlog異步更新緩存
大致的流程是這樣的:
具體binlog訂閱實(shí)現(xiàn)
步驟:先安裝canal、然后安裝rabbitmq、然后就是mysql
Canal配置,因?yàn)閏anal支持 tcp, kafka, rocketMQ, rabbitMQ這四種異步的方式,這里我們使用 rabbitMQ,所以將serverMode配置成rabbitMQ
#編輯conf/canal.properties,修改MQ配置 canal.ip = 1 #canal服務(wù)器標(biāo)識 canal.serverMode = rabbitmq # 指定rabbitmq canal.mq.servers = 127.0.0.1 ## canal.mq.vhost=canal #MQ虛擬機(jī)名稱 canal.mq.exchange=exchange.trade #交換機(jī)名稱,用于將消息發(fā)送到綁定的隊(duì)列 canal.mq.username=guest #MQ登錄賬號,注意要有上面vhost的權(quán)限 canal.mq.password=guest #MQ密碼 --------------------------------------------------------------------------------- #編輯conf/example/instance.properties實(shí)例配置,配置數(shù)據(jù)庫信息 canal.instance.dbUsername=root canal.instance.dbPassword=123456 canal.instance.mysql.slaveId=1234 canal.instance.master.address=127.0.0.1:3306 ## 數(shù)據(jù)庫地址 canal.instance.defaultDatabaseName=test ## 數(shù)據(jù)庫名 canal.mq.topic=example # 路由鍵,需要跟MQ中交換機(jī)隊(duì)列的綁定路由key保持一致
mysql的my.cnf配置
#增加以下配置 log-bin=mysql-bin # 開啟 binlog binlog-format=ROW # 選擇 ROW 模式 server_id=1 # 配置
引入依賴,我分別引入的是redis、rabbitmq、mybatis-plus、fastsjon的包
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> ? <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> ? <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-amqp</artifactId> </dependency> ? <dependency> <groupId>com.alibaba</groupId> <artifactId>fastjson</artifactId> <version>1.2.3</version> </dependency> <dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-boot-starter</artifactId> <version>${mybatis.plus.version}</version> </dependency>
application.yml配置文件
spring: rabbitmq: virtual-host: canal host: 127.0.0.1 publisher-confirms: true #數(shù)據(jù)源 datasource: url: jdbc:mysql://127.0.0.1:3306/test?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=UTC username: root password: root driver-class-name: com.mysql.jdbc.Driver redis: host: 127.0.0.1 ?
RabbitmqConfig配置
@Configuration public class RabbitMqConfig { @Bean public Queue TestDirectQueue() { return new Queue("exchange.canal.queue",true); } //Direct交換機(jī) 起名:exchange.trade @Bean DirectExchange TestDirectExchange() { return new DirectExchange("exchange.canal"); } //綁定 隊(duì)列和交換機(jī)綁定 @Bean Binding bindingDirect() { return BindingBuilder.bind(TestDirectQueue()).to(TestDirectExchange()).with("example"); } }
RabbitMqListener監(jiān)聽消息異步處理 canal拉取的binlog日志
@Component @Slf4j public class RabbitMqListener { @Autowired private StringRedisTemplate redisTemplate; @RabbitListener(queues = "exchange.canal.queue") public void process(Message message) { log.info("canal queue消費(fèi)的消息" + message.getBody()); Map map = JSON.parseObject(message.getBody(), Map.class); JSONArray array = null; String sqlType = (String) map.get("type"); //如果是查詢,則去獲取data數(shù)據(jù) if (StringUtils.endsWithIgnoreCase("SELECT", sqlType)) { array = JSONArray.parseArray((String) map.get("data")); } if (null == array) { return; } JSONObject jsonObject = array.getJSONObject(0); //如果是update、insert 其中一個(gè)則去更新緩存 if (StringUtils.endsWithIgnoreCase("UPDATE", sqlType) || StringUtils.endsWithIgnoreCase("INSERT", sqlType)) { redisTemplate.boundValueOps(jsonObject.get("code").toString()).set(jsonObject.toString()); //反之類型為"delete"則去刪除緩存 } else if (StringUtils.endsWithIgnoreCase("DELETE", sqlType)) { redisTemplate.delete(jsonObject.get("code").toString()); } //查詢到新的數(shù)據(jù)去更新緩存 ,反之再去刪除對應(yīng)的緩存,這里進(jìn)行二次刪除 if (StringUtils.endsWithIgnoreCase("SELECT", sqlType)) { redisTemplate.boundValueOps(jsonObject.get("code").toString()).set(jsonObject.toString()); } else { redisTemplate.delete(jsonObject.get("code").toString()); } } }
總結(jié)
在高并發(fā)的場景下緩存和數(shù)據(jù)庫的一致性的問題,永遠(yuǎn)是個(gè)比較大的問題,在請求量很大的情況下,我們必須使用緩存來減少數(shù)據(jù)庫的壓力,但是我們需要對數(shù)據(jù)庫進(jìn)行頻繁更新,其實(shí)基本保證不了瞬間的一致性,只能在最終保證一致性,通過消息異步的方式可以有效的控制緩存更新、刪除的可靠性。
到此這篇關(guān)于詳解Redis緩存與Mysql如何保證雙寫一致的文章就介紹到這了,更多相關(guān)Redis緩存Mysql雙寫一致內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Redis底層數(shù)據(jù)結(jié)構(gòu)詳解
這篇文章主要介紹了Redis底層數(shù)據(jù)結(jié)構(gòu),本文給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-08-08Redis筆記點(diǎn)贊排行榜的實(shí)現(xiàn)示例
探店筆記類似點(diǎn)評網(wǎng)站的評價(jià),本文主要介紹了Redis筆記點(diǎn)贊排行榜的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-01-01Redis+Lua腳本實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能(升級版)
這篇文章主要介紹了Redis+Lua腳本實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能,使用腳本使得set命令和expire命令一同達(dá)到Redis被執(zhí)行且不會被干擾,在很大程度上保證了原子操作,對Redis實(shí)現(xiàn)計(jì)數(shù)器接口防刷功能感興趣的朋友一起看看吧2022-02-02