一次Docker中Redis連接暴增的問題排查實戰(zhàn)記錄
周六生產服務器出現(xiàn)redis服務器不可用狀態(tài)，錯誤信息為:
狀態(tài)不可用，等待后臺檢查程序恢復方可使用。Unexpected end of stream; expected type 'Status'
如下圖所示，下圖6300就是我們redis服務器運行的端口。
頭一次碰到此類問題，心想難道是redis掛掉了，隨即通過telnet ip+端口。發(fā)現(xiàn)運行正常，然后就想著進入redis看下目前連接情況。一看發(fā)現(xiàn)竟然高達1903條這么多。
然后想著應該是代碼創(chuàng)建redis連接過多導致的，查看代碼。
發(fā)現(xiàn)redis創(chuàng)建只有這一個地方有，這里也是服務注冊時才執(zhí)行。也就是應用程序啟動時才被執(zhí)行一次。然后整個項目查找，沒有其他地方再有調用redis初始化。
心有不甘，難道是每次在redis讀寫數(shù)據(jù)時都會創(chuàng)建連接嗎？會和讀寫頻繁有關系嗎？總感覺不會啊，隨即創(chuàng)建測試代碼進行測試一番。
在本地搭建了一個redis環(huán)境，測試之前先看看接數(shù)多少，目前看只有1個，也就是目前的cmd連接客戶端，這個屬于正常的了。
開始測試，運行程序。代碼是創(chuàng)建一個連接對象，并一共測試1000次寫，和1000次讀。
不管我怎么測試連接都是6個，那么也就是說我們程序最多創(chuàng)建了5個連接，當然主要有線程池在里面。
所以基本的存儲讀取這塊代碼肯定是沒問題。
但代碼這塊也沒算完全放棄排查，因為生產服務器通過docker運行著大約6個應用程序。都是連接的同一個redis,會不會是其他應用程序導致的？
然后就想直接通過redis 連接列表里的中隨便一個端口來查詢對應的進程信息就可以知道是哪些應用程序了。
Linux 中通過查詢網(wǎng)絡端口號顯示進程信息。
netstat -atunlp | grep 60852
首先看這端口對應的IP，比如這里第一個是172.17.0.1。熟悉docker的同學應該知道這個ip是docker網(wǎng)關IP。我們容器中的程序都是通過這個網(wǎng)關IP來和我們宿主主機來通訊的。我們通過ifconfig就能發(fā)現(xiàn)docker這個網(wǎng)關IP，第二個172.17.0.3:6379這個一看就是redis的容器IP，
這樣一看確實無法找到具體對應哪個容器中的程序和我們建立連接的。
有一個最笨的辦法就是挨個進入容器里面。即docker exec –it test /bin/bash 然后查看當前容器的網(wǎng)絡連接情況。這樣非常麻煩，并且需要安裝很多組件才能執(zhí)行一系列命令。
另外一個辦法lsof命令,如果沒有則需要安裝。我們可以通過進程去找所有網(wǎng)絡連接情況。
比如我們剛發(fā)現(xiàn)我們的進程主要是docker，他的pid是582251。
lsof -i |grep 582251或者 lsof -i -p 582251
結果如下圖，右邊其實出現(xiàn)了具體IP，這個IP就是docker容器具體的IP地址。
現(xiàn)在知道所有IP和端口了，我們將命令執(zhí)行結果下載下來。
首先找到自己每個容器對應的IP。
docker inspect name |grep IPAddress //name 容器名稱或者id
找到每個ip后然后根據(jù)剛下載的所有網(wǎng)絡連接信息進行統(tǒng)計，看哪個IP連接最多，最多的一個肯定有問題。
然后我就找到這個IP對應的容器部署的程序，然后看redis配置。發(fā)現(xiàn)線程池設為200。
另外我通過github,發(fā)現(xiàn)CSRedisCore還有個預熱機制，也就是preheat，他默認值就是5個預熱連接。
我們線程池設置的是200加上本身有個預熱機制5個連接，我不知道是不是會創(chuàng)建200*5=1000個。這個有時間再好好研究下源代碼，目前只是猜測。
我現(xiàn)在已經(jīng)將redis修改為poolsize=5, preheat=false。線程池5個，并且關閉預熱機制。
修改我們連接配置，并重啟應用服務器和redis服務器(為了徹底清除已建立的連接)后發(fā)現(xiàn)連接數(shù)有減少，但沒有很多。后來查詢發(fā)現(xiàn)，是redis的idle空閑時長太長，導致連接池維持太多連接，沒有被釋放。
我們設置下超時為30s
執(zhí)行CONFIG SET timeout 30 (單位是秒，此種方式只是臨時修改，針對當前運行有效。長效記得修改redis配置文件)
然后再看下連接數(shù)多少，這樣一下子就減少了很多。
總結：
1、 redis連接暴增，首先從自身應用程序出發(fā)去尋找問題，比如我這邊發(fā)現(xiàn)的連接池設置過大，加上默認的預熱機制等。還有盡可能的看代碼層面在創(chuàng)建連接是否會被多次觸發(fā)，如果有就必須要改正?，F(xiàn)在都是通過注入的方式創(chuàng)建實例，要看該地方是存在被多次調用。
2、修改redis服務器配置，比如連接空閑超時時間。包括也可也看下最大連接數(shù)多少，默認值。
到此這篇關于Docker中Redis連接暴增的問題排查的文章就介紹到這了,更多相關Docker中Redis連接暴增問題排查內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
本篇文章主要介紹了Docker學習筆記之Docker端口映射，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
一次Docker中Redis連接暴增的問題排查實戰(zhàn)記錄
這篇文章主要給大家介紹了一次Docker中Redis連接暴增的問題排查的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2020-06-06
這篇文章主要介紹了harbor修改配置文件后重啟操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-11-11
這篇文章主要介紹了使用Docker部署Angular項目的方法步驟，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-12-12
這篇文章主要給大家總結介紹了關于docker網(wǎng)卡的IP地址修改方法,文中通過實例代碼介紹的非常詳細,對大家學習或者使用docker具有一定的參考學習價值,需要的朋友可以參考下2023-06-06
今天小編就為大家分享一篇關于Docker圖文詳解，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧2019-01-01
Docker本地部署Drupal并實現(xiàn)公網(wǎng)訪問的詳細步驟
Drupal是使用PHP語言編寫的開源內容管理框架(CMF),它由內容管理系統(tǒng)(CMS)和PHP開發(fā)框架(Framework)共同構成,這篇文章主要給大家介紹了關于Docker本地部署Drupal并實現(xiàn)公網(wǎng)訪問的詳細步驟,需要的朋友可以參考下2023-12-12
這篇文章主要介紹了Docker容器如何查看ip地址的實現(xiàn)方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-09-09
Docker?提供了三種方式將數(shù)據(jù)從宿主機掛載到?Docker容器中:?volumes、bind?mounts、tmpfs?，這篇文章主要介紹了docker進行數(shù)據(jù)掛載的三種模式,需要的朋友可以參考下2022-05-05
Prometheus 整合 AlertManager的教程詳解
Alertmanager 主要用于接收 Prometheus 發(fā)送的告警信息，它很容易做到告警信息的去重，降噪，分組，策略路由，是一款前衛(wèi)的告警通知系統(tǒng)。這篇文章主要介紹了Prometheus 整合 AlertManager的教程 ,需要的朋友可以參考下2019-07-07