快捷導(dǎo)航

Shell多線程操作及線程數(shù)控制實(shí)例

更新時(shí)間：2014年07月01日 14:14:47 投稿：junjie

這篇文章主要介紹了Shell多線程操作及線程數(shù)控制實(shí)例,文中從單線程實(shí)現(xiàn)一個(gè)需求開(kāi)始,不斷加入代碼實(shí)現(xiàn)多線程以及線程數(shù)的控制功能,需要的朋友可以參考下

前言

在業(yè)務(wù)開(kāi)發(fā)過(guò)程中，經(jīng)常會(huì)在后臺(tái)寫(xiě)一些shell腳本處理數(shù)據(jù)，但估計(jì)很多人不知道shell腳本也可以支持多線程，而且非常簡(jiǎn)單。本篇文章主要就是介紹shell實(shí)現(xiàn)多進(jìn)程以及進(jìn)程數(shù)量控制。

需求

為了更好的說(shuō)明問(wèn)題，我們結(jié)合例子講解，假設(shè)需求就是掃描url.txt文件，然后判斷里面的URL是否失效。url.txt文件的內(nèi)容是一行一個(gè)URL，如：

復(fù)制代碼代碼如下:

http://www.baidu.com

http://www.google.com

http://www.dbjr.com.cn

單進(jìn)程實(shí)現(xiàn)

那么shell腳本scanUrl.sh可以這樣寫(xiě)：

復(fù)制代碼代碼如下:

#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
}
done < $1
echo "執(zhí)行結(jié)束"

那么可以執(zhí)行下面的命令掃描：

復(fù)制代碼代碼如下:

/bin/sh scanUrl.sh url.txt

但這樣腳本執(zhí)行非常慢，一萬(wàn)個(gè)URL幾個(gè)小時(shí)都掃描不完。

多進(jìn)程實(shí)現(xiàn)

改成多進(jìn)程實(shí)現(xiàn)非常簡(jiǎn)單，只需要在do后面的大括號(hào)加 & 符號(hào)，在done后面加一個(gè)wait,表示父進(jìn)程等待子進(jìn)程退出后再退出

復(fù)制代碼代碼如下:

#!/bin/bash
#判斷是否有參數(shù)
if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

#循環(huán)讀出URL并判斷狀態(tài)碼
while read line
do
{
    isok=`curl -I -o /dev/null -s -w %{http_code} $line`
    if [ "$isok" = "200" ]; then
        echo $line "OK"
    else
        echo $line "no"
    fi
    }
}&
done < $1
wait
echo "執(zhí)行結(jié)束"

這樣就能多進(jìn)程并發(fā)執(zhí)行了，但有個(gè)問(wèn)題是進(jìn)程會(huì)一下子非常多，幾百上千，超過(guò)系統(tǒng)限制報(bào)錯(cuò)，下面我們就加上進(jìn)程數(shù)控制。

多進(jìn)程實(shí)現(xiàn)并控制進(jìn)程數(shù)

復(fù)制代碼代碼如下:

#!/bin/bash
#允許的進(jìn)程數(shù)
THREAD_NUM=200
#定義描述符為9的管道
mkfifo tmp
exec 9<>tmp
#預(yù)先寫(xiě)入指定數(shù)量的換行符，一個(gè)換行符代表一個(gè)進(jìn)程
for ((i=0;i<$THREAD_NUM;i++))
do
echo -ne "\n" 1>&9
done

if [ $# != 1 ] ;then
echo "The parameters you enter is not correct !";
exit -1;
fi

while read line
do
{
    #進(jìn)程控制
    read -u 9
    {
        #isok=`curl -I -o /dev/null -s -w %{http_code} $line`
        if [ "$isok" = "200" ]; then
            echo $line "OK"
        else
            echo $line "no"
        fi
        echo -ne "\n" 1>&9
    }&
}
done < $1
wait
echo "執(zhí)行結(jié)束"
rm tmp

上面的代碼就可以保證子進(jìn)程在指定數(shù)量了，其進(jìn)程控制原理是通過(guò)管道實(shí)現(xiàn)的，當(dāng)管道無(wú)內(nèi)容可讀時(shí)就不會(huì)執(zhí)行

復(fù)制代碼代碼如下:

{

    #isok=`curl -I -o /dev/null -s -w %{http_code} $line`

    if [ "$isok" = "200" ]; then

        echo $line "OK" 

    else

        echo $line "no" 

    fi

    #寫(xiě)入一個(gè)換行符

    echo -ne "\n" 1>&9

}&

而且每個(gè)進(jìn)程執(zhí)行完成后都會(huì)向管道寫(xiě)入一個(gè)換行符，從而保證進(jìn)程數(shù)是指定的。

這樣就能達(dá)到我們的目的了。

您可能感興趣的文章: