HTTPclient保持長連接

首先解釋一下什么是長連接

當(dāng)我們向一臺(tái)服務(wù)器發(fā)起請(qǐng)求時(shí)，我們需要和對(duì)方建立一條通道，去傳輸數(shù)據(jù)，所謂的短連接，就是說我們建立起了通道，然后在傳輸完數(shù)據(jù)，就把通道摧毀，下次需要的時(shí)候再重新去建立通道。

長連接呢，就是指，我們建立了一條通道，傳遞完數(shù)據(jù)后，先不摧毀，下次如果還需要傳輸數(shù)據(jù)，就復(fù)用這條通道。

因?yàn)橥ǖ赖慕⑹切枰ㄙM(fèi)時(shí)間的，所以長連接的優(yōu)勢(shì)就在于響應(yīng)速度快，但是服務(wù)器壓力大，因?yàn)橥瑫r(shí)有很多人在向服務(wù)器建立通道，即便有些通道已經(jīng)傳輸完數(shù)據(jù)了，由于長連接的原因，通道也不會(huì)被摧毀；短連接呢，則是，響應(yīng)速度慢，服務(wù)器壓力小。

由于現(xiàn)在更多的是強(qiáng)調(diào)用戶的體驗(yàn)，所以長連接目前是最常見的。

如何在java中實(shí)現(xiàn)一個(gè)長連接呢

其實(shí)很簡單，只需要在請(qǐng)求的請(qǐng)求頭中加入特定的參數(shù) ：“Connection”："keep-alive"即可。這樣如果對(duì)方支持長連接的話，那么這個(gè)連接就會(huì)保持長連接了。

問題的關(guān)鍵就來了，在一次壓測(cè)某個(gè)https請(qǐng)求響應(yīng)速度的代碼中，我發(fā)現(xiàn)了，當(dāng)對(duì)方響應(yīng)數(shù)據(jù)為null,也就是responseBody中帶的數(shù)據(jù)為null時(shí)，響應(yīng)速度特別快，大概在5ms左右，但是一旦對(duì)方返回了響應(yīng)數(shù)據(jù)，本次響應(yīng)就可能達(dá)到了20ms。

然后請(qǐng)運(yùn)維同事抓包，發(fā)現(xiàn)每次連接，都會(huì)耗費(fèi)時(shí)間在用戶認(rèn)證上，其實(shí)也就是從某個(gè)方面反應(yīng)出，每次都是新建立了一個(gè)連接。

HttpPost httpPost = new HttpPost("xxxxx");
httpPost.addHeader("Connection", "keep-alive");
CloseableHttpClient httpClient = null;
for(int i =0 ;i<5000;i++){
    long t1 = System.currentTimeMillis();
	CloseableHttpResponse response = httpClient.execute(httpPost);
	long t2 = System.currentTimeMillis();
}

上了一段簡單的代碼，表示一下大概的邏輯，實(shí)際的壓測(cè)代碼還包括了線程池，連接池的完整參數(shù)等等，如果需要的可以留言或者翻看本人的其他的博客，有寫線程池和連接池。

就是這樣一段代碼，導(dǎo)致每次連接都是新建立的連接，那么原因是什么呢，我們先上代碼：

for (int i = 0; i<5000;i++){
     long t1 = System.currentTimeMillis();
      CloseableHttpResponse response = httpClient.execute(httpPost);
      if(null != response.getEntity()){
           EntityUtils.consume(response.getEntity());
      }
      long t2 = System.currentTimeMillis();
 }

我們只需要簡單加上三行代碼，就可以解決這個(gè)問題了，這是為什么呢，讓我們點(diǎn)進(jìn)去源碼看一下

這么一看， 其實(shí)這個(gè)方法也并沒有做什么，只是簡單的取到了流去關(guān)閉，為什么就保持長連接了呢。

后來仔細(xì)讀http連接的原理才得知，當(dāng)一個(gè)連接建立，響應(yīng)數(shù)據(jù)時(shí)，會(huì)封裝CloseableHttpResponse這個(gè)對(duì)象里面，其中的Entity對(duì)象就是包含著響應(yīng)體的數(shù)據(jù)，我們需要用流去獲取。如果你不去獲取，那么這個(gè)數(shù)據(jù)就會(huì)存在于這個(gè)對(duì)象中，連接池就會(huì)認(rèn)為，這個(gè)通道里有未處理的數(shù)據(jù)，然后它不會(huì)去復(fù)用這個(gè)通道，而是選擇重建一個(gè)通道。這就完美解釋了為什么壓測(cè)時(shí)，對(duì)方返回null時(shí)，響應(yīng)速度特別快，而攜帶返回?cái)?shù)據(jù)時(shí)，響應(yīng)速度特別慢了。

那么再仔細(xì)想想，為什么我們平常不知道這個(gè)知識(shí)點(diǎn)，卻從來沒有報(bào)過錯(cuò)呢，那是因?yàn)檎Ｇ闆r下，我們都是需要會(huì)對(duì)response做處理，比如String responseContent = EntityUtils.toString(response.getEntity(), StandardCharsets.UTF_8); 類似這種，我們點(diǎn)進(jìn)源碼看，其實(shí)也是取到了流，并做了關(guān)閉操作。平常還是要多閱讀源碼，想想源碼。

httpclient因?yàn)楸３钟谰瞄L連接造成連接吊死的問題

httpclient使用了連接池，如果沒有設(shè)置keep-alive策略，PoolingHttpClientConnectionManager會(huì)默認(rèn)使用永久連接。

最近在調(diào)用京東api時(shí)，發(fā)現(xiàn)一個(gè)請(qǐng)求開始是可以獲取到數(shù)據(jù)的，但隔了兩分鐘后再請(qǐng)求就會(huì)出現(xiàn)read timeout異常。

對(duì)比請(qǐng)求成功和請(qǐng)求失敗的日志后發(fā)現(xiàn)，請(qǐng)求成功的有以下日志“Connection: keep-alive”，“Connection can be kept alive indefinitely”；但請(qǐng)求失敗的卻打印“Shutdown connection”，“Connection discarded”。

每次失敗后再請(qǐng)求都會(huì)成功。因此推測(cè)中應(yīng)該是對(duì)方服務(wù)器端禁止長連接，當(dāng)連接到達(dá)一定時(shí)間會(huì)就會(huì)斷開。

后來上網(wǎng)找到keep-alive策略的代碼。

添加策略后，問題解決

ConnectionKeepAliveStrategy keepAliveStrategy = new ConnectionKeepAliveStrategy() {
            @Override
            public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
                HeaderElementIterator it = new BasicHeaderElementIterator(response.headerIterator(HTTP.CONN_KEEP_ALIVE));
                while (it.hasNext()) {
                    HeaderElement he = it.nextElement();
                    String param = he.getName();
                    String value = he.getValue();
                    if (value != null && param.equalsIgnoreCase("timeout")) {
                        try {
                            return Long.parseLong(value) * 1000;
                        }
                        catch (NumberFormatException ignore) {
                        }
                    }
                }
                HttpHost target = (HttpHost) context.getAttribute(HttpClientContext.HTTP_TARGET_HOST);
                if ("bizapi.jd.com ".equalsIgnoreCase(target.getHostName())) {
                    return 60 * 1000;
                }
                else {
                    return 300 * 1000;
                }
   CloseableHttpClient httpClient = httpClientBuilder.setConnectionManager(pollingConnectionManager)
                .setKeepAliveStrategy(keepAliveStrategy).setDefaultRequestConfig(defaultRequestConfig).build();

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論