前兩天剛找到刪文件性能比較OK的方式后，測試沒啥問題就在生產(chǎn)環(huán)境開始操練了， 雖然文件是在持續(xù)刪除著，但是跑了一段時(shí)間以后，執(zhí)勤同事找我說IO滿了，問我是不是做了啥，我上去一看還真是，然后讓我先停了：

但是文件也不能不刪，腳本還是要跑，基于這個(gè)問題，看看怎么樣控制IO又能夠持續(xù)做文件清理。

現(xiàn)象描述

先詳細(xì)描述一下問題的現(xiàn)象，我在上午9點(diǎn)左右把腳本起來以后，觀察了一會任務(wù)執(zhí)行，發(fā)現(xiàn)沒啥問題就做別的事情了，讓腳本一直在服務(wù)器運(yùn)行，大概中午的時(shí)候，找到我說IO太高了，讓我看下，然后看IO升高和我的腳本基本是同一時(shí)間開始的，監(jiān)控圖如下，我11:30左右把腳本完全停了以后，IO就沒有再這么高了：

問題分析

我在之前的一篇文章中說到相比較而言，文件清理最快的方式是find + delete的方式，這也是我選擇的文件清理方式，但是問題就在于，使用find . -mtime +3 -type f -delete這種命令我沒法在腳本這一層對他的刪除做限制，比如刪除1000個(gè)文件休眠5秒。

這個(gè)時(shí)候想到用nice這些命令對進(jìn)程優(yōu)先級做限制，嘗試限制IO的占用；或者在perl腳本中做限制，兩種方法應(yīng)該都是可行的，主要是在實(shí)際使用上是不是會有差異；

處理過程

nice命令限制優(yōu)先級

可以使用man nice查看nice命令的使用方式，還是比較簡單的：

nice命令只有一個(gè)參數(shù)-n，用來指定要設(shè)置的優(yōu)先級，可選范圍在-20到19，數(shù)字越大優(yōu)先級越低（看到一個(gè)比較有意思的理解：nice代表這個(gè)人是個(gè)好人，越nice人約好，他就越謙讓，所以優(yōu)先級越低:D）

在啟動清理命令之前加上nice -n 19就能直接指定優(yōu)先級運(yùn)行了，如下：

nice -n 19 find . -mtime +3 -type f -delete

根據(jù)監(jiān)控來看，似乎并沒有什么用，使用top命令看了下，優(yōu)先級是生效了的，看來這個(gè)方法不奏效。

ionice命令限制

另一個(gè)查到的方法是ionice，這個(gè)命令貌似可以直接對IO的調(diào)度策略和優(yōu)先級做限制，使用man ionice可以看到命令的詳細(xì)用法：

簡單介紹下：

關(guān)于調(diào)度策略的解釋：

• idle：當(dāng)沒有其他進(jìn)程請求磁盤I/O時(shí)，才會進(jìn)行磁盤IO，也就是說最后考慮；
• realtime：對磁盤進(jìn)行優(yōu)先訪問，也就是說進(jìn)程的IO請求會被優(yōu)先處理；
• best-effort：該調(diào)度策略取值為0-7，數(shù)值越低，優(yōu)先級越高，內(nèi)核2.6.26之前，使用none等同于使用best-effort

具體的可以搜下IO的CFQ調(diào)度算法了解下，這里不展開討論了；

隨后測試了一下ionice的控制：

ionice -c 2 -n 7 find . -mtime +3 -type f -delete

感覺還是沒太大作用，IO還是會打到100%，也可能是技藝不精，沒找對方法；看樣子只有自己在腳本里做控制了；

改造perl腳本

實(shí)在沒有辦法了，只有在我的清理腳本里做控制，把find方式換成了perl腳本，然后做了一層控制：

#!/usr/bin/perl

use File::Find;
use File::Spec;

my $path="xxx";

opendir DH, $path or die "cannot chdir to $path : $!";

for my $p (readdir DH) {
    my $idle=0; # 已刪除的文件數(shù)，初始化為0
    my $sleep_time=5; # 休眠時(shí)間5秒
    next if $file eq "." or $file eq "..";
    my $sonpath=File::Spec->catdir($path,$p);
    opendir SH, $sonpath or die "cannot chdir to $sonpath : $!";
        for my $file (readdir SH) {
            next if $file eq "." or $file eq "..";
            next if $file =~ /^\./;
            my $abspath=File::Spec->catdir($sonpath,$file);
            my @s=stat("$abspath");
            if ((time()-$s[8]) > (60*60*24*2)){
                print "delete file $abspath\n";
                unlink $abspath;
                $idle=$idle+1; # 完成文件的清理后 
                if ($idle>=500){ 
                    print "finish delete $idle files, will sleep $sleep_time.\n";
                    $idle=0; # 當(dāng)刪除文件數(shù)達(dá)到500個(gè)的時(shí)候，手動休眠
                    sleep($sleep_time);
                }
            }
        }
    closedir SH;
}
closedir DH;

接下來運(yùn)行腳本進(jìn)行清理：

再看監(jiān)控圖，終于是穩(wěn)定維持在一個(gè)水平了：

總結(jié)

雖然通過腳本的方式控制了文件清理對IO的占用，但是這算是沒辦法的辦法，若是能夠?qū)inux的IO調(diào)度策略再熟悉些，也許我能找到更好的辦法吧~

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評論