一、背景

做redis壓測過程中，發(fā)現(xiàn)paas環(huán)境的redis被OOMKill老是不斷重啟

Pod日志：

二、排查方案

1. 可能是數(shù)據(jù)量超出了限制的大小

檢查數(shù)據(jù)目錄大小

2. 查看是否是內(nèi)存溢出

開始排查

2.1 排查數(shù)據(jù)量（查看數(shù)據(jù)目錄大小是否超過limit限制）

limit限制為64G 查到數(shù)據(jù)目錄占用很少 忽略此問題

2.2 查看pod詳情發(fā)現(xiàn)問題

為了更準(zhǔn)確的定位問題，查看是否是內(nèi)存泄露問題，查看系統(tǒng)參數(shù)（正常是沒有輸出）

確定是由于壓測導(dǎo)致的Cgroup內(nèi)存泄露問題

定位原因以后解決問題 ：處理內(nèi)存泄露問題（試了三個方案才得以解決）

三、解決過程

方案一：（修改grub文件）

• 修改/etc/default/grub 為：

GRUB_CMDLINE_LINUX=“crashkernel=auto net.ifnames=0 biosdevname=0 intel_pstate=disable cgroup.memory=nokmem”

是追加

GRUB_CMDLINE_LINUX=“console=tty0 console=ttyS0 crashkernel=512M-2G:128M,2G:512M rd.lvm.lv=bel/root rhgb quiet cgroup.memory=nokmem” 把 cgroup.memory=nokmem

追加到最后即可

• 生成配置：

/usr/sbin/grub2-mkconfig -o /boot/grub2/grub.cfg

• 重啟機器：

reboot

• 驗證：

cat /sys/fs/cgroup/memory/kubepods/burstable/pod*/*/memory.kmem.slabinfo 無輸出即可。

x版本cgroup.memory存在bug，docker或其他使用cgroup.memory中kmem功能的應(yīng)用會造成slab內(nèi)存泄漏 部分系統(tǒng)可以通過升級到4.x的修復(fù)版本來解決，或者通過 cgroup.memory=nokmem 啟動項來規(guī)避。 部分系統(tǒng)不支持cgroup.memory=nokmem 啟動項，可以通過 cgroup_disable=memory 啟動項來規(guī)避。（此方案解決部分機器，并未全部解決）

方案二：（升級內(nèi)核、Iaas建議）

由于服務(wù)器均為多系統(tǒng)，可以進(jìn)行此操作

既然是 3.x 的問題，直接升級內(nèi)核到 5.x 及以上即可，內(nèi)核問題解釋：

https://github.com/torvalds/linux/commit/d6e0b7fa11862433773d986b5f995ffdf47ce672

https://support.mesosphere.com/s/article/Critical-Issue-KMEM-MSPH-2018-0006

這種方式的缺點是： 需要升級所有節(jié)點，節(jié)點重啟的話已有 pod 肯定要漂移，如果節(jié)點規(guī)模很大，這個升級操作會很繁瑣，業(yè)務(wù)部門也會有意見，要事先溝通。

這個問題歸根結(jié)底是軟件兼容問題，3.x 自己都說了不成熟，不建議你使用該特性，k8s、docker卻 還要開啟這個屬性。（此方案并不奏效）

方案三：（grubby在線修改內(nèi)核參數(shù)）

查看當(dāng)前內(nèi)核版本

--update-kernel 為當(dāng)前內(nèi)核版本文件
grubby --args=cgroup.memory=nokmem --update-kernel=/boot/vmlinuz-3.10.0-1160.el7.x86_64

重啟主機 查看系統(tǒng)參數(shù) （顯示正常）

查看pod正常運行

附加知識點：（內(nèi)存buff占用清理 -hcache）

wget https://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcache
chmod 755 hcache && mv hcache /usr/local/bin/
hcache --top 10

查看內(nèi)存 free -h

• buffers: 用于塊設(shè)備數(shù)據(jù)緩沖，記錄文件系統(tǒng)metadata（目錄，權(quán)限，屬性等)
• cached: 用于文件內(nèi)容的緩沖

分別查看

清理緩存

僅清除頁面緩存（PageCache）

sync; echo 1 > /proc/sys/vm/drop_caches

清除目錄項和inode

# sync; echo 2 > /proc/sys/vm/drop_caches

清除頁面緩存，目錄項和inode

# sync; echo 3 > /proc/sys/vm/drop_caches

清理交換空間：

swapoff -a && swapon -a

總結(jié)

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論