Redis結(jié)合Caffeine兩級(jí)緩存的三種實(shí)現(xiàn)方式
在高性能的服務(wù)架構(gòu)設(shè)計(jì)中,緩存是一個(gè)不可或缺的環(huán)節(jié)。在實(shí)際的項(xiàng)目中,我們通常會(huì)將一些熱點(diǎn)數(shù)據(jù)存儲(chǔ)到Redis
或MemCache
這類緩存中間件中,只有當(dāng)緩存的訪問沒有命中時(shí)再查詢數(shù)據(jù)庫。在提升訪問速度的同時(shí),也能降低數(shù)據(jù)庫的壓力。
隨著不斷的發(fā)展,這一架構(gòu)也產(chǎn)生了改進(jìn),在一些場景下可能單純使用Redis
類的遠(yuǎn)程緩存已經(jīng)不夠了,還需要進(jìn)一步配合本地緩存使用,例如Guava cache
或Caffeine
,從而再次提升程序的響應(yīng)速度與服務(wù)性能。于是,就產(chǎn)生了使用本地緩存作為一級(jí)緩存,再加上遠(yuǎn)程緩存作為二級(jí)緩存的兩級(jí)緩存架構(gòu)。
在先不考慮并發(fā)等復(fù)雜問題的情況下,兩級(jí)緩存的訪問流程可以用下面這張圖來表示:
優(yōu)點(diǎn)與問題
那么,使用兩級(jí)緩存相比單純使用遠(yuǎn)程緩存,具有什么優(yōu)勢(shì)呢?
- 本地緩存基于本地環(huán)境的內(nèi)存,訪問速度非常快,對(duì)于一些變更頻率低、實(shí)時(shí)性要求低的數(shù)據(jù),可以放在本地緩存中,提升訪問速度
- 使用本地緩存能夠減少和
Redis
類的遠(yuǎn)程緩存間的數(shù)據(jù)交互,減少網(wǎng)絡(luò)I/O開銷,降低這一過程中在網(wǎng)絡(luò)通信上的耗時(shí)
但是在設(shè)計(jì)中,還是要考慮一些問題的,例如數(shù)據(jù)一致性問題。首先,兩級(jí)緩存與數(shù)據(jù)庫的數(shù)據(jù)要保持一致,一旦數(shù)據(jù)發(fā)生了修改,在修改數(shù)據(jù)庫的同時(shí),本地緩存、遠(yuǎn)程緩存應(yīng)該同步更新。
另外,如果是分布式環(huán)境下,一級(jí)緩存之間也會(huì)存在一致性問題,當(dāng)一個(gè)節(jié)點(diǎn)下的本地緩存修改后,需要通知其他節(jié)點(diǎn)也刷新本地緩存中的數(shù)據(jù),否則會(huì)出現(xiàn)讀取到過期數(shù)據(jù)的情況,這一問題可以通過類似于Redis中的發(fā)布/訂閱功能解決。
此外,緩存的過期時(shí)間、過期策略以及多線程訪問的問題也都需要考慮進(jìn)去,不過我們今天暫時(shí)先不考慮這些問題,先看一下如何簡單高效的在代碼中實(shí)現(xiàn)兩級(jí)緩存的管理。
準(zhǔn)備工作
在簡單梳理了一下要面對(duì)的問題后,下面開始兩級(jí)緩存的代碼實(shí)戰(zhàn),我們整合號(hào)稱最強(qiáng)本地緩存的Caffeine
作為一級(jí)緩存、性能之王的Redis
作為二級(jí)緩存。首先建一個(gè)springboot項(xiàng)目,引入緩存要用到的相關(guān)的依賴:
<dependency> <groupId>com.github.ben-manes.caffeine</groupId> <artifactId>caffeine</artifactId> <version>2.9.2</version> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-cache</artifactId> </dependency> <dependency> <groupId>org.apache.commons</groupId> <artifactId>commons-pool2</artifactId> <version>2.8.1</version> </dependency>
在application.yml
中配置Redis
的連接信息:
spring: redis: host: 127.0.0.1 port: 6379 database: 0 timeout: 10000ms lettuce: pool: max-active: 8 max-wait: -1ms max-idle: 8 min-idle: 0
在下面的例子中,我們將使用RedisTemplate
來對(duì)redis
進(jìn)行讀寫操作,RedisTemplate
使用前需要配置一下ConnectionFactory
和序列化方式,這一過程比較簡單就不貼出代碼了,有需要本文全部示例代碼的可以在文末獲取。
下面我們?cè)趩螜C(jī)環(huán)境下,將按照對(duì)業(yè)務(wù)侵入性的不同程度,分三個(gè)版本來實(shí)現(xiàn)兩級(jí)緩存的使用。
V1.0版本
我們可以通過手動(dòng)操作Caffeine
中的Cache
對(duì)象來緩存數(shù)據(jù),它是一個(gè)類似Map
的數(shù)據(jù)結(jié)構(gòu),以key
作為索引,value
存儲(chǔ)數(shù)據(jù)。在使用Cache
前,需要先配置一下相關(guān)參數(shù):
@Configuration public class CaffeineConfig { @Bean public Cache<String,Object> caffeineCache(){ return Caffeine.newBuilder() .initialCapacity(128)//初始大小 .maximumSize(1024)//最大數(shù)量 .expireAfterWrite(60, TimeUnit.SECONDS)//過期時(shí)間 .build(); } }
簡單解釋一下Cache
相關(guān)的幾個(gè)參數(shù)的意義:
initialCapacity
:初始緩存空大小maximumSize
:緩存的最大數(shù)量,設(shè)置這個(gè)值可以避免出現(xiàn)內(nèi)存溢出expireAfterWrite
:指定緩存的過期時(shí)間,是最后一次寫操作后的一個(gè)時(shí)間,這里
此外,緩存的過期策略也可以通過expireAfterAccess
或refreshAfterWrite
指定。
在創(chuàng)建完成Cache
后,我們就可以在業(yè)務(wù)代碼中注入并使用它了。在沒有使用任何緩存前,一個(gè)只有簡單的Service
層代碼是下面這樣的,只有crud操作:
@Service @AllArgsConstructor public class OrderServiceImpl implements OrderService { private final OrderMapper orderMapper; @Override public Order getOrderById(Long id) { Order order = orderMapper.selectOne(new LambdaQueryWrapper<Order>() .eq(Order::getId, id)); return order; } @Override public void updateOrder(Order order) { orderMapper.updateById(order); } @Override public void deleteOrder(Long id) { orderMapper.deleteById(id); } }
接下來,對(duì)上面的OrderService
進(jìn)行改造,在執(zhí)行正常業(yè)務(wù)外再加上操作兩級(jí)緩存的代碼,先看改造后的查詢操作:
public Order getOrderById(Long id) { String key = CacheConstant.ORDER + id; Order order = (Order) cache.get(key, k -> { //先查詢 Redis Object obj = redisTemplate.opsForValue().get(k); if (Objects.nonNull(obj)) { log.info("get data from redis"); return obj; } // Redis沒有則查詢 DB log.info("get data from database"); Order myOrder = orderMapper.selectOne(new LambdaQueryWrapper<Order>() .eq(Order::getId, id)); redisTemplate.opsForValue().set(k, myOrder, 120, TimeUnit.SECONDS); return myOrder; }); return order; }
在Cache
的get
方法中,會(huì)先從緩存中進(jìn)行查找,如果找到緩存的值那么直接返回。如果沒有找到則執(zhí)行后面的方法,并把結(jié)果加入到緩存中。
因此上面的邏輯就是先查找Caffeine
中的緩存,沒有的話查找Redis
,Redis
再不命中則查詢數(shù)據(jù)庫,寫入Redis
緩存的操作需要手動(dòng)寫入,而Caffeine
的寫入由get
方法自己完成。
在上面的例子中,設(shè)置Caffeine
的過期時(shí)間為60秒,而Redis
的過期時(shí)間為120秒,下面進(jìn)行測試,首先看第一次接口調(diào)用時(shí),進(jìn)行了數(shù)據(jù)庫的查詢:
而在之后60秒內(nèi)訪問接口時(shí),都沒有打印打任何sql或自定義的日志內(nèi)容,說明接口沒有查詢Redis
或數(shù)據(jù)庫,直接從Caffeine
中讀取了緩存。
等到距離第一次調(diào)用接口進(jìn)行緩存的60秒后,再次調(diào)用接口:
可以看到這時(shí)從Redis
中讀取了數(shù)據(jù),因?yàn)檫@時(shí)Caffeine
中的緩存已經(jīng)過期了,但是Redis
中的緩存沒有過期仍然可用。
下面再來看一下修改操作,代碼在原先的基礎(chǔ)上添加了手動(dòng)修改Redis
和Caffeine
緩存的邏輯:
public void updateOrder(Order order) { log.info("update order data"); String key=CacheConstant.ORDER + order.getId(); orderMapper.updateById(order); //修改 Redis redisTemplate.opsForValue().set(key,order,120, TimeUnit.SECONDS); // 修改本地緩存 cache.put(key,order); }
看一下下面圖中接口的調(diào)用、以及緩存的刷新過程??梢钥吹皆诟聰?shù)據(jù)后,同步刷新了緩存中的內(nèi)容,再之后的訪問接口時(shí)不查詢數(shù)據(jù)庫,也可以拿到正確的結(jié)果:
最后再來看一下刪除操作,在刪除數(shù)據(jù)的同時(shí),手動(dòng)移除Reids
和Caffeine
中的緩存:
public void deleteOrder(Long id) { log.info("delete order"); orderMapper.deleteById(id); String key= CacheConstant.ORDER + id; redisTemplate.delete(key); cache.invalidate(key); }
我們?cè)趧h除某個(gè)緩存后,再次調(diào)用之前的查詢接口時(shí),又會(huì)出現(xiàn)重新查詢數(shù)據(jù)庫的情況:
簡單的演示到此為止,可以看到上面這種使用緩存的方式,雖然看起來沒什么大問題,但是對(duì)代碼的入侵性比較強(qiáng)。在業(yè)務(wù)處理的過程中要由我們頻繁的操作兩級(jí)緩存,會(huì)給開發(fā)人員帶來很大負(fù)擔(dān)。那么,有什么方法能夠簡化這一過程呢?我們看看下一個(gè)版本。
V2.0版本
在spring
項(xiàng)目中,提供了CacheManager
接口和一些注解,允許讓我們通過注解的方式來操作緩存。先來看一下常用幾個(gè)注解說明:
@Cacheable
:根據(jù)鍵從緩存中取值,如果緩存存在,那么獲取緩存成功之后,直接返回這個(gè)緩存的結(jié)果。如果緩存不存在,那么執(zhí)行方法,并將結(jié)果放入緩存中。@CachePut
:不管之前的鍵對(duì)應(yīng)的緩存是否存在,都執(zhí)行方法,并將結(jié)果強(qiáng)制放入緩存@CacheEvict
:執(zhí)行完方法后,會(huì)移除掉緩存中的數(shù)據(jù)。
如果要使用上面這幾個(gè)注解管理緩存的話,我們就不需要配置V1版本中的那個(gè)類型為Cache
的Bean
了,而是需要配置spring
中的CacheManager
的相關(guān)參數(shù),具體參數(shù)的配置和之前一樣:
@Configuration public class CacheManagerConfig { @Bean public CacheManager cacheManager(){ CaffeineCacheManager cacheManager=new CaffeineCacheManager(); cacheManager.setCaffeine(Caffeine.newBuilder() .initialCapacity(128) .maximumSize(1024) .expireAfterWrite(60, TimeUnit.SECONDS)); return cacheManager; } }
然后在啟動(dòng)類上再添加上@EnableCaching
注解,就可以在項(xiàng)目中基于注解來使用Caffeine
的緩存支持了。下面,再次對(duì)Service
層代碼進(jìn)行改造。
首先,還是改造查詢方法,在方法上添加@Cacheable
注解:
@Cacheable(value = "order",key = "#id") //@Cacheable(cacheNames = "order",key = "#p0") public Order getOrderById(Long id) { String key= CacheConstant.ORDER + id; //先查詢 Redis Object obj = redisTemplate.opsForValue().get(key); if (Objects.nonNull(obj)){ log.info("get data from redis"); return (Order) obj; } // Redis沒有則查詢 DB log.info("get data from database"); Order myOrder = orderMapper.selectOne(new LambdaQueryWrapper<Order>() .eq(Order::getId, id)); redisTemplate.opsForValue().set(key,myOrder,120, TimeUnit.SECONDS); return myOrder; }
@Cacheable
注解的屬性多達(dá)9個(gè),好在我們?nèi)粘J褂脮r(shí)只需要配置兩個(gè)常用的就可以了。其中value
和cacheNames
互為別名關(guān)系,表示當(dāng)前方法的結(jié)果會(huì)被緩存在哪個(gè)Cache
上,應(yīng)用中通過cacheName
來對(duì)Cache
進(jìn)行隔離,每個(gè)cacheName
對(duì)應(yīng)一個(gè)Cache
實(shí)現(xiàn)。value
和cacheNames
可以是一個(gè)數(shù)組,綁定多個(gè)Cache
。
而另一個(gè)重要屬性key
,用來指定緩存方法的返回結(jié)果時(shí)對(duì)應(yīng)的key
,這個(gè)屬性支持使用SpringEL
表達(dá)式。通常情況下,我們可以使用下面幾種方式作為key
:
#參數(shù)名 #參數(shù)對(duì)象.屬性名 #p參數(shù)對(duì)應(yīng)下標(biāo)
在上面的代碼中,我們看到添加了@Cacheable
注解后,在代碼中只需要保留原有的業(yè)務(wù)處理邏輯和操作Redis
部分的代碼即可,Caffeine
部分的緩存就交給spring處理了。
下面,我們?cè)賮砀脑煲幌赂路椒?,同樣,使?code>@CachePut注解后移除掉手動(dòng)更新Cache
的操作:
@CachePut(cacheNames = "order",key = "#order.id") public Order updateOrder(Order order) { log.info("update order data"); orderMapper.updateById(order); //修改 Redis redisTemplate.opsForValue().set(CacheConstant.ORDER + order.getId(), order, 120, TimeUnit.SECONDS); return order; }
注意,這里和V1版本的代碼有一點(diǎn)區(qū)別,在之前的更新操作方法中,是沒有返回值的void
類型,但是這里需要修改返回值的類型,否則會(huì)緩存一個(gè)空對(duì)象到緩存中對(duì)應(yīng)的key
上。當(dāng)下次執(zhí)行查詢操作時(shí),會(huì)直接返回空對(duì)象給調(diào)用方,而不會(huì)執(zhí)行方法中查詢數(shù)據(jù)庫或Redis
的操作。
最后,刪除方法的改造就很簡單了,使用@CacheEvict
注解,方法中只需要?jiǎng)h除Redis
中的緩存即可:
@CacheEvict(cacheNames = "order",key = "#id") public void deleteOrder(Long id) { log.info("delete order"); orderMapper.deleteById(id); redisTemplate.delete(CacheConstant.ORDER + id); }
可以看到,借助spring
中的CacheManager
和Cache
相關(guān)的注解,對(duì)V1版本的代碼經(jīng)過改進(jìn)后,可以把全手動(dòng)操作兩級(jí)緩存的強(qiáng)入侵代碼方式,改進(jìn)為本地緩存交給spring
管理,Redis
緩存手動(dòng)修改的半入侵方式。那么,還能進(jìn)一步改造,使之成為對(duì)業(yè)務(wù)代碼完全無入侵的方式嗎?
V3.0版本
模仿spring
通過注解管理緩存的方式,我們也可以選擇自定義注解,然后在切面中處理緩存,從而將對(duì)業(yè)務(wù)代碼的入侵降到最低。
首先定義一個(gè)注解,用于添加在需要操作緩存的方法上:
@Target(ElementType.METHOD) @Retention(RetentionPolicy.RUNTIME) @Documented public @interface DoubleCache { String cacheName(); String key(); //支持springEl表達(dá)式 long l2TimeOut() default 120; CacheType type() default CacheType.FULL; }
我們使用cacheName + key
作為緩存的真正key
(僅存在一個(gè)Cache
中,不做CacheName
隔離),l2TimeOut
為可以設(shè)置的二級(jí)緩存Redis
的過期時(shí)間,type
是一個(gè)枚舉類型的變量,表示操作緩存的類型,枚舉類型定義如下:
public enum CacheType { FULL, //存取 PUT, //只存 DELETE //刪除 }
因?yàn)橐?code>key支持springEl
表達(dá)式,所以需要寫一個(gè)方法,使用表達(dá)式解析器解析參數(shù):
public static String parse(String elString, TreeMap<String,Object> map){ elString=String.format("#{%s}",elString); //創(chuàng)建表達(dá)式解析器 ExpressionParser parser = new SpelExpressionParser(); //通過evaluationContext.setVariable可以在上下文中設(shè)定變量。 EvaluationContext context = new StandardEvaluationContext(); map.entrySet().forEach(entry-> context.setVariable(entry.getKey(),entry.getValue()) ); //解析表達(dá)式 Expression expression = parser.parseExpression(elString, new TemplateParserContext()); //使用Expression.getValue()獲取表達(dá)式的值,這里傳入了Evaluation上下文 String value = expression.getValue(context, String.class); return value; }
參數(shù)中的elString
對(duì)應(yīng)的就是注解中key
的值,map
是將原方法的參數(shù)封裝后的結(jié)果。簡單進(jìn)行一下測試:
public void test() { String elString="#order.money"; String elString2="#user"; String elString3="#p0"; TreeMap<String,Object> map=new TreeMap<>(); Order order = new Order(); order.setId(111L); order.setMoney(123D); map.put("order",order); map.put("user","Hydra"); String val = parse(elString, map); String val2 = parse(elString2, map); String val3 = parse(elString3, map); System.out.println(val); System.out.println(val2); System.out.println(val3); }
執(zhí)行結(jié)果如下,可以看到支持按照參數(shù)名稱、參數(shù)對(duì)象的屬性名稱讀取,但是不支持按照參數(shù)下標(biāo)讀取,暫時(shí)留個(gè)小坑以后再處理。
123.0
Hydra
null
至于Cache
相關(guān)參數(shù)的配置,我們沿用V1版本中的配置即可。準(zhǔn)備工作做完了,下面我們定義切面,在切面中操作Cache
來讀寫Caffeine
的緩存,操作RedisTemplate
讀寫Redis
緩存。
@Slf4j @Component @Aspect @AllArgsConstructor public class CacheAspect { private final Cache cache; private final RedisTemplate redisTemplate; @Pointcut("@annotation(com.cn.dc.annotation.DoubleCache)") public void cacheAspect() { } @Around("cacheAspect()") public Object doAround(ProceedingJoinPoint point) throws Throwable { MethodSignature signature = (MethodSignature) point.getSignature(); Method method = signature.getMethod(); //拼接解析springEl表達(dá)式的map String[] paramNames = signature.getParameterNames(); Object[] args = point.getArgs(); TreeMap<String, Object> treeMap = new TreeMap<>(); for (int i = 0; i < paramNames.length; i++) { treeMap.put(paramNames[i],args[i]); } DoubleCache annotation = method.getAnnotation(DoubleCache.class); String elResult = ElParser.parse(annotation.key(), treeMap); String realKey = annotation.cacheName() + CacheConstant.COLON + elResult; //強(qiáng)制更新 if (annotation.type()== CacheType.PUT){ Object object = point.proceed(); redisTemplate.opsForValue().set(realKey, object,annotation.l2TimeOut(), TimeUnit.SECONDS); cache.put(realKey, object); return object; } //刪除 else if (annotation.type()== CacheType.DELETE){ redisTemplate.delete(realKey); cache.invalidate(realKey); return point.proceed(); } //讀寫,查詢Caffeine Object caffeineCache = cache.getIfPresent(realKey); if (Objects.nonNull(caffeineCache)) { log.info("get data from caffeine"); return caffeineCache; } //查詢Redis Object redisCache = redisTemplate.opsForValue().get(realKey); if (Objects.nonNull(redisCache)) { log.info("get data from redis"); cache.put(realKey, redisCache); return redisCache; } log.info("get data from database"); Object object = point.proceed(); if (Objects.nonNull(object)){ //寫入Redis redisTemplate.opsForValue().set(realKey, object,annotation.l2TimeOut(), TimeUnit.SECONDS); //寫入Caffeine cache.put(realKey, object); } return object; } }
切面中主要做了下面幾件工作:
- 通過方法的參數(shù),解析注解中
key
的springEl
表達(dá)式,組裝真正緩存的key
- 根據(jù)操作緩存的類型,分別處理存取、只存、刪除緩存操作
- 刪除和強(qiáng)制更新緩存的操作,都需要執(zhí)行原方法,并進(jìn)行相應(yīng)的緩存刪除或更新操作
- 存取操作前,先檢查緩存中是否有數(shù)據(jù),如果有則直接返回,沒有則執(zhí)行原方法,并將結(jié)果存入緩存
修改Service
層代碼,代碼中只保留原有業(yè)務(wù)代碼,再添加上我們自定義的注解就可以了:
@DoubleCache(cacheName = "order", key = "#id", type = CacheType.FULL) public Order getOrderById(Long id) { Order myOrder = orderMapper.selectOne(new LambdaQueryWrapper<Order>() .eq(Order::getId, id)); return myOrder; } @DoubleCache(cacheName = "order",key = "#order.id", type = CacheType.PUT) public Order updateOrder(Order order) { orderMapper.updateById(order); return order; } @DoubleCache(cacheName = "order",key = "#id", type = CacheType.DELETE) public void deleteOrder(Long id) { orderMapper.deleteById(id); }
到這里,基于切面操作緩存的改造就完成了,Service
的代碼也瞬間清爽了很多,讓我們可以繼續(xù)專注于業(yè)務(wù)邏輯處理,而不用費(fèi)心去操作兩級(jí)緩存了。
總結(jié)
本文按照對(duì)業(yè)務(wù)入侵的遞減程度,依次介紹了三種管理兩級(jí)緩存的方法。至于在項(xiàng)目中是否需要使用二級(jí)緩存,需要考慮自身業(yè)務(wù)情況,如果Redis這種遠(yuǎn)程緩存已經(jīng)能夠滿足你的業(yè)務(wù)需求,那么就沒有必要再使用本地緩存了。畢竟實(shí)際使用起來遠(yuǎn)沒有那么簡單,本文中只是介紹了最基礎(chǔ)的使用,實(shí)際中的并發(fā)問題、事務(wù)的回滾問題都需要考慮,還需要思考什么數(shù)據(jù)適合放在一級(jí)緩存、什么數(shù)據(jù)適合放在二級(jí)緩存等等的其他問題。
到此這篇關(guān)于Redis結(jié)合Caffeine兩級(jí)緩存的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)Redis Caffeine兩級(jí)緩存內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
詳解Redis中的BigKey如何發(fā)現(xiàn)和處理
這篇文章主要為大家詳細(xì)介紹了Redis中的BigKey如何發(fā)現(xiàn)和處理,文中給大家詳細(xì)講解了BigKey危害和如何解決這些問題,文章通過代碼示例和圖文介紹的非常詳細(xì),需要的朋友可以參考下2023-10-10redis和rabbitmq實(shí)現(xiàn)延時(shí)隊(duì)列的示例代碼
在高并發(fā)場景下,延遲隊(duì)列顯得尤為重要,本文主要介紹了兩種方式,redis和rabbitmq實(shí)現(xiàn)延時(shí)隊(duì)列,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03Redis不同數(shù)據(jù)類型使用場景代碼實(shí)例
這篇文章主要介紹了Redis不同數(shù)據(jù)類型使用場景代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-12-12Redis在項(xiàng)目中常見的12種使用場景示例和說明
Redis是一個(gè)開源的高性能鍵值對(duì)數(shù)據(jù)庫,它以其內(nèi)存中數(shù)據(jù)存儲(chǔ)、鍵過期策略、持久化、事務(wù)、豐富的數(shù)據(jù)類型支持以及原子操作等特性,在許多項(xiàng)目中扮演著關(guān)鍵角色,以下是整理的12個(gè)Redis在項(xiàng)目中常見的使用場景舉例說明和解釋2024-06-06