解決HttpServletRequest 流數(shù)據(jù)不可重復(fù)讀的操作
前言
在某些業(yè)務(wù)中可能會(huì)需要多次讀取 HTTP 請(qǐng)求中的參數(shù)，比如說前置的 API 簽名校驗(yàn)。這個(gè)時(shí)候我們可能會(huì)在攔截器或者過濾器中實(shí)現(xiàn)這個(gè)邏輯，但是嘗試之后就會(huì)發(fā)現(xiàn)，如果在攔截器中通過 getInputStream() 讀取過參數(shù)后，在 Controller 中就無法重復(fù)讀取了，會(huì)拋出以下幾種異常：
HttpMessageNotReadableException: Required request body is missing
IllegalStateException: getInputStream() can't be called after getReader()
這個(gè)時(shí)候需要我們將請(qǐng)求的數(shù)據(jù)緩存起來。本文會(huì)從 ServletRequest 數(shù)據(jù)封裝原理開始詳細(xì)講講如何解決這個(gè)問題。如果不想看原理的，可直接閱讀 最佳解決方案。
ServletRequest 數(shù)據(jù)封裝原理
平時(shí)我們接受 HTTP 請(qǐng)求的參數(shù)時(shí)，基本是通過 SpringMVC 的包裝。
- POST form-data 參數(shù)時(shí)，直接用實(shí)體類，或者直接在 Controller 的方法上把參數(shù)填上就可以了，手動(dòng)則可以通過 request.getParameter() 來獲取。
- POST json 時(shí)，會(huì)在實(shí)體類上添加 @RequestBody 參數(shù)或者直接調(diào)用 request.getInputStream() 獲取流數(shù)據(jù)。
我們可以發(fā)現(xiàn)在獲取不同數(shù)據(jù)格式的數(shù)據(jù)時(shí)調(diào)用的方法是不同的，但是閱讀源碼可以發(fā)現(xiàn)，其實(shí)底層他們的數(shù)據(jù)來源都是一樣的，只是 SpringMVC 幫我們做了一下處理。下面我們就來講講 ServletRequest 數(shù)據(jù)封裝的原理。
實(shí)際上我們通過 HTTP 傳輸?shù)膮?shù)都會(huì)存在 Request 對(duì)象的 InputStream 中，這個(gè) Request 對(duì)象也就是 ServletRequest 最終的實(shí)現(xiàn)，是由 tomcat 提供的。然后針對(duì)于不同的數(shù)據(jù)格式，會(huì)在不同的時(shí)刻對(duì) InputStream 中的數(shù)據(jù)進(jìn)行封裝。
Spring MVC 對(duì)不同類型數(shù)據(jù)的封裝
- GET 請(qǐng)求的數(shù)據(jù)一般是 Query String，直接在 url 的后面，不需要特殊處理
- 通過例如 POST、PUT 發(fā)送 multipart/form-data 格式的數(shù)據(jù)
// 源碼中適當(dāng)去除無關(guān)代碼
// 對(duì)于這類數(shù)據(jù)，SpringMVC 在 DispatchServlet 的 doDispatch() 方法中就會(huì)進(jìn)行處理。具體處理流程如下：
// org.springframework.web.servlet.DispatcherServlet.java
protected void doDispatch(HttpServletRequest request, HttpServletResponse response) throws Exception {
HttpServletRequest processedRequest = request;
HandlerExecutionChain mappedHandler = null;
boolean multipartRequestParsed = false;
WebAsyncManager asyncManager = WebAsyncUtils.getAsyncManager(request);
processedRequest = checkMultipart(request);
multipartRequestParsed = (processedRequest != request);
// Determine handler for the current request.
// other code...
}
// 1. 調(diào)用 checkMultipart(request)，當(dāng)前請(qǐng)求的數(shù)據(jù)類型是否為 multipart/form-data
protected HttpServletRequest checkMultipart(HttpServletRequest request) throws MultipartException {
if (this.multipartResolver != null && this.multipartResolver.isMultipart(request)) {
return this.multipartResolver.resolveMultipart(request);
}
return request;
}
//2. 如果是，調(diào)用 multipartResolver 的 resolveMultipart(request)，返回一個(gè) StandardMultipartHttpServletRequest 對(duì)象。
// org.springframework.web.multipart.support.StandardMultipartHttpServletRequest.java
public StandardMultipartHttpServletRequest(HttpServletRequest request) throws MultipartException {
this(request, false);
}
public StandardMultipartHttpServletRequest(HttpServletRequest request, boolean lazyParsing) throws MultipartException {
super(request);
if (!lazyParsing) {
parseRequest(request);
}
}
// 3. 在構(gòu)造 StandardMultipartHttpServletRequest 對(duì)象時(shí)，會(huì)調(diào)用 parseRequest(request)，將 InputStream 中是數(shù)據(jù)流進(jìn)行進(jìn)一步的封裝。
// 不貼源碼了，主要是對(duì) form-data 數(shù)據(jù)的封裝，包含字段和文件。
- 通過例如 POST、PUT 發(fā)送 application/x-www-form-urlencoded 格式的數(shù)據(jù)
// 非 form-data 的數(shù)據(jù)，會(huì)存儲(chǔ)在 HttpServletRequest 的 InputStream 中。
// 在第一次調(diào)用 getParameterNames() 或 getParameter() 時(shí),
// 會(huì)調(diào)用 parseParameters() 方法對(duì)參數(shù)進(jìn)行封裝，從 InputStream 中讀取數(shù)據(jù)，并封裝到 Map 中。
//org.apache.catalina.connector.Request.java
public String getParameter(String name) {
if (!this.parametersParsed) {
this.parseParameters();
}
return this.coyoteRequest.getParameters().getParameter(name);
}
- 通過例如 POST、PUT 發(fā)送 application/json 格式的數(shù)據(jù)
// 數(shù)據(jù)會(huì)直接會(huì)存儲(chǔ)在 HttpServletRequest 的 InputStream 中，通過 request.getInputStream() 或 getReader() 獲取。
讀取參數(shù)時(shí)出現(xiàn)的問題
現(xiàn)在我們基本已經(jīng)對(duì) SpringMVC 是如何封裝 HTTP 請(qǐng)求參數(shù)有了一定的認(rèn)識(shí)。根據(jù)之前描述的，我們?nèi)绻跀r截器中和 Controller 中重復(fù)讀取參數(shù)時(shí)，會(huì)出現(xiàn)以下異常：
HttpMessageNotReadableException: Required request body is missing
IllegalStateException: getInputStream() can't be called after getReader()
這是由于 InputStream 這個(gè)流數(shù)據(jù)的特殊性，在 Java 中讀取 InputStream 數(shù)據(jù)時(shí)，內(nèi)部是通過一個(gè)指針的移動(dòng)來讀取一個(gè)一個(gè)的字節(jié)數(shù)據(jù)的，當(dāng)讀完一遍后，這個(gè)指針并不會(huì) reset，因此第二遍讀的時(shí)候就會(huì)出現(xiàn)問題了。而之前講了，HTTP 請(qǐng)求的參數(shù)也是封裝在 Request 對(duì)象中的 InputStream 里，所以當(dāng)?shù)诙握{(diào)用 getInputStream() 時(shí)會(huì)拋出上述異常。
具體的問題可以細(xì)分成多種情況：
1、請(qǐng)求方式為 multipart/form-data，在攔截器中手動(dòng)調(diào)用 request.getInputStream()
// 上文講了在 doDispatch() 時(shí)就會(huì)進(jìn)行處理，因此這里會(huì)取不到值
log.info("input stream content: {}", new String(StreamUtils.copyToByteArray(request.getInputStream())));
2、請(qǐng)求方式為 application/x-www-form-urlencoded，在攔截器中手動(dòng)調(diào)用 request.getInputStream()
// 第 1 次可以取到值
log.info("input stream content: {}", new String(StreamUtils.copyToByteArray(request.getInputStream())));
// 第一次執(zhí)行 getParameter() 會(huì)調(diào)用 parseParameters()，parseParameters 進(jìn)一步調(diào)用 getInputStream()
// 這里就取不到值了
log.info("form-data param: {}", request.getParameter("a"));
log.info("form-data param: {}", request.getParameter("b"));
3、請(qǐng)求方式為 application/json，在攔截器中手動(dòng)調(diào)用 request.getInputStream()
// 第 1 次可以取到值
log.info("input stream content: {}", new String(StreamUtils.copyToByteArray(request.getInputStream())));
// 之后再任何地方再調(diào)用 getInputStream() 都取不到值，會(huì)拋出異常
為了能夠多次獲取到 HTTP 請(qǐng)求的參數(shù)，我們需要將 InputStream 流中的數(shù)據(jù)緩存起來。
最佳解決方案
通過查閱資料，實(shí)際上 springframework 自己就有相應(yīng)的 wrapper 來解決這個(gè)問題，在 org.springframework.web.util 包下有一個(gè) ContentCachingRequestWrapper 的類。這個(gè)類的作用就是將 InputStream 緩存到 ByteArrayOutputStream 中，通過調(diào)用 ``getContentAsByteArray()` 實(shí)現(xiàn)流數(shù)據(jù)的可重復(fù)讀取。
/**
* {@link javax.servlet.http.HttpServletRequest} wrapper that caches all content read from
* the {@linkplain #getInputStream() input stream} and {@linkplain #getReader() reader},
* and allows this content to be retrieved via a {@link #getContentAsByteArray() byte array}.
* @see ContentCachingResponseWrapper
*/
在使用上，只需要添加一個(gè) Filter，將 HttpServletRequest 包裝成 ContentCachingResponseWrapper 返回給攔截器和 Controller 就可以了。
@Slf4j
@WebFilter(urlPatterns = "/*")
public class CachingContentFilter implements Filter {
private static final String FORM_CONTENT_TYPE = "multipart/form-data";
@Override
public void init(FilterConfig filterConfig) {
}
@Override
public void doFilter(ServletRequest request, ServletResponse response,
FilterChain chain) throws IOException, ServletException {
String contentType = request.getContentType();
if (request instanceof HttpServletRequest) {
HttpServletRequest requestWrapper = new ContentCachingRequestWrapper((HttpServletRequest) request);
// #1
if (contentType != null && contentType.contains(FORM_CONTENT_TYPE)) {
chain.doFilter(request, response);
} else {
chain.doFilter(requestWrapper, response);
}
return;
}
chain.doFilter(request, response);
}
@Override
public void destroy() {
}
}
// 添加掃描 filter 注解
@ServletComponentScan
@SpringBootApplication
public class SeedApplication {
public static void main(String[] args) {
SpringApplication.run(SeedApplication.class, args);
}
}
在攔截器中，獲取請(qǐng)求參數(shù)：
// 流數(shù)據(jù)獲取，比如 json
// #2
String jsonBody = IOUtils.toString(wrapper.getContentAsByteArray(), "utf-8");
// form-data 和 urlencoded 數(shù)據(jù)
String paramA = request.getParameter("paramA");
Map<String,String[]> params = request.getParameterMap();
tips：
1、這里需要根據(jù) contentType 做一下區(qū)分，遇到 multipart/form-data 數(shù)據(jù)時(shí)，不需要 wrapper，會(huì)直接通過 MultipartResolver 將參數(shù)封裝成 Map，當(dāng)然這也可以靈活的在攔截器中判斷。
2、wrapper 在具體使用中，我們可以使用 getContentAsByteArray() 來獲取數(shù)據(jù)，并通過 IOUtils 轉(zhuǎn)換成 String。盡量不使用 request.getInputStream()。因?yàn)殡m然經(jīng)過了包裝，但是 InputStream 仍然只能讀一次，而參數(shù)進(jìn)入 Controller 的方法前 HttpMessageConverter 的參數(shù)轉(zhuǎn)換需要調(diào)用這個(gè)方法，所以把它保留就可以了。
總結(jié)
遇到這個(gè)問題的時(shí)候也參考了很多博客，有的使用了 ContentCachingRequestWrapper，也有的自己實(shí)現(xiàn)了一個(gè) Wrapper。但是自己實(shí)現(xiàn) Wrapper 的方案，多半是直接在 Wrapper 的構(gòu)造函數(shù)中讀取流數(shù)據(jù)到 byte[] 數(shù)據(jù)中去，這樣在遇到 multipart/form-data 這種數(shù)據(jù)類型的時(shí)候就會(huì)出現(xiàn)問題了，因?yàn)榘b在調(diào)用 MultipartResolver 之前執(zhí)行，再次調(diào)用的時(shí)候就讀不到數(shù)據(jù)了。
所以博主又自己研究了一下 Spring 的源碼，實(shí)現(xiàn)了這種方案，基本上可以處理多種通用的數(shù)據(jù)類型了。
附錄代碼
package com.example.seed.common.config;
import lombok.extern.slf4j.Slf4j;
import org.springframework.web.util.ContentCachingRequestWrapper;
import javax.servlet.*;
import javax.servlet.annotation.WebFilter;
import javax.servlet.http.HttpServletRequest;
import java.io.IOException;
/**
* @author Fururur
* @date 2020/5/6-14:26
*/
@Slf4j
@WebFilter(urlPatterns = "/*")
public class CachingContentFilter implements Filter {
private static final String FORM_CONTENT_TYPE = "multipart/form-data";
@Override
public void init(FilterConfig filterConfig) {
}
@Override
public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws IOException, ServletException {
String contentType = request.getContentType();
if (request instanceof HttpServletRequest) {
HttpServletRequest requestWrapper = new ContentCachingRequestWrapper((HttpServletRequest) request);
if (contentType != null && contentType.contains(FORM_CONTENT_TYPE)) {
chain.doFilter(request, response);
} else {
chain.doFilter(requestWrapper, response);
}
return;
}
chain.doFilter(request, response);
}
@Override
public void destroy() {
}
}
package com.example.seed;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.web.servlet.ServletComponentScan;
@ServletComponentScan
@SpringBootApplication
public class SeedApplication {
public static void main(String[] args) {
SpringApplication.run(SeedApplication.class, args);
}
}
@RequestMapping("/query")
public void query(HttpServletRequest request) {
ContentCachingRequestWrapper wrapper = new ContentCachingRequestWrapper(request);
log.info("{}", new String(wrapper.getContentAsByteArray()));
}
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Junit 5中@ParameterizedTest與@EnumSource結(jié)合使用
今天小編就為大家分享一篇關(guān)于Junit 5中@ParameterizedTest與@EnumSource結(jié)合使用，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2018-12-12
springboot中請(qǐng)求路徑配置在配置文件中詳解
這篇文章主要介紹了springboot中請(qǐng)求路徑配置在配置文件中，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-01-01
詳解如何將Spring Boot應(yīng)用跑在Docker容器中
這篇文章主要介紹了詳解如何將Spring Boot應(yīng)用跑在Docker容器中，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了Netty粘包拆包問題解決方案,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-08-08
詳細(xì)介紹Java阿里云的短信驗(yàn)證碼實(shí)現(xiàn)
這篇文章主要介紹了詳細(xì)介紹Java阿里云的短信驗(yàn)證碼實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
這篇文章主要介紹了JDBC核心技術(shù)詳解,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)JDBC的小伙伴們有很好的幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了使用ResponseEntity處理API返回問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07
Java實(shí)現(xiàn)開箱即用的redis分布式鎖
這篇文章主要為大家詳細(xì)介紹了如何使用Java實(shí)現(xiàn)開箱即用的基于redis的分布式鎖，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，需要的可以收藏一下2022-12-12
關(guān)于JVM默認(rèn)堆內(nèi)存大小問題
這篇文章主要介紹了關(guān)于JVM默認(rèn)堆內(nèi)存大小問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-02-02
YMP是一個(gè)非常簡(jiǎn)單、易用的一套輕量級(jí)JAVA應(yīng)用開發(fā)框架，設(shè)計(jì)原則主要側(cè)重于簡(jiǎn)化工作任務(wù)、規(guī)范開發(fā)流程、提高開發(fā)效率。對(duì)YMP框架感興趣的小伙伴們可以參考一下2016-02-02