如何在Linux中使用flock控制程序的異步執(zhí)行
最近我常常需要同時ssh給若干臺電腦做許多需要等待,而且可以同時進(jìn)行的工作。例如:
1.讓遠(yuǎn)端電腦同時更新套件
2.同時傳送小檔案給遠(yuǎn)端的電腦(時間大部分在ssh認(rèn)證)
然而之后的動作又需要在確認(rèn)上述工作完畢之后,才能繼續(xù)進(jìn)行。
過去我都是這樣做:
# 前面的工作 update_pkg_on_machine_1 update_pkg_on_machine_2 update_pkg_on_machine_3 # ... 后面的工作
這樣雖然可以確保工作同時進(jìn)行完畢,但是就是很慢…
另一種可能的方法是:
# 前面的工作 update_pkg_on_machine_1 & update_pkg_on_machine_2 & update_pkg_on_machine_3 & sleep 10 # ... 后面的工作
這樣子雖然可以同時進(jìn)行工作,但是如果10秒內(nèi)工作還沒完成,接下來的工作可能就會出錯了。
而工作要在多少秒之內(nèi)做完,其實是很難掌握的。
利用 flock 來管理工作狀態(tài)
我過去在自修作業(yè)系統(tǒng)的時候,有學(xué)到mutex這個東西,而 flock 就是可以在shell上使用的mutex。
flock 的官方說明
NAME flock - Manage locks from shell scripts SYNOPSIS flock [-sxon] [-w timeout] lockfile [-c] command... flock [-sxon] [-w timeout] lockdir [-c] command... flock [-sxun] [-w timeout] fd DESCRIPTION This utility manages flock(2) locks from within shell scripts or the command line. The first and second forms wraps the lock around the executing a command, in a manner similar to su(1) or newgrp(1). It locks a specified file or directory, which is created (assuming appropriate permissions), if it does not already exist. The third form is convenient inside shell scripts, and is usually used the following manner: ( flock -s 200 # ... commands executed under lock ... ) 200>/var/lock/mylockfile The mode used to open the file doesn't matter to flock; using > or >> allows the lockfile to be created if it does not already exist, however, write permission is required; using < requires that the file already exists but only read permission is required. By default, if the lock cannot be immediately acquired, flock waits until the lock is available. OPTIONS -s, --shared Obtain a shared lock, sometimes called a read lock. -x, -e, --exclusive Obtain an exclusive lock, sometimes called a write lock. This is the default. -u, --unlock Drop a lock. This is usually not required, since a lock is automatically dropped when the file is closed. However, it may be required in special cases, for example if the enclosed command group may have forked a background process which should not be holding the lock. -n, --nb, --nonblock Fail (with an exit code of 1) rather than wait if the lock cannot be immediately acquired. -w, --wait, --timeout seconds Fail (with an exit code of 1) if the lock cannot be acquired within seconds seconds. Decimal fractional values are allowed. -o, --close Close the file descriptor on which the lock is held before executing command. This is useful if command spawns a child process which should not be hold ing the lock. -c, --command command Pass a single command to the shell with -c. -h, --help Print a help message. AUTHOR Written by H. Peter Anvin <hpa@zytor.com>. COPYRIGHT Copyright © 2003-2006 H. Peter Anvin. This is free software; see the source for copying conditions. There is NO warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. SEE ALSO flock(2) AVAILABILITY The flock command is part of the util-linux-ng package and is available from ftp://ftp.kernel.org/pub/linux/utils/util-linux-ng/.
重點說明
透過 flock ,程序會先嘗試取得某個lock(通常代表某個檔案)的擁有權(quán)之后才執(zhí)行,執(zhí)行的時候會握有該lock的擁有權(quán),并且在結(jié)束之后才釋出擁有權(quán)。
舉例來說,如果我們寫一個shell script放在 $HOME 底下:
#! /bin/bash sleep 10 date
儲存成 test.sh 并且打開執(zhí)行權(quán)限( chmod 700 test.sh )
此時如果我們打開兩個shell, 并且約同時執(zhí)行:
flock /tmp/demo.lock ~/test.sh
這時會發(fā)生什麼事情呢?
使用者應(yīng)該會看到兩個shell都停住,一個等10秒后印出時間,一個再過10秒后印出時間:
A
wush@router:~$ flock /tmp/demo.lock ./test.sh
B
wush@router:~$ flock /tmp/demo.lock ./test.sh
其中A程序先搶到 /tmp/demo.lock
的擁有權(quán),然后執(zhí)行 test.sh
。而B程序等到A程序結(jié)束之后(A歸還 /tmp/demo.lock
的擁有權(quán)),才拿到 /tmp/demo.lock
的擁有權(quán)。所以B程序自然比A程序慢10秒。
flock 的參數(shù)
除了預(yù)設(shè)的行為之外,我們可以透過參數(shù)來調(diào)整 flock 的行為。和預(yù)設(shè)行為上最主要的差異在于,當(dāng)無法獲得 lock_path 的擁有權(quán)時,接下來的動作會不同。
1.flock -n lock_path xxx :當(dāng)無法獲得擁有權(quán)的時候,直接中止程序,不執(zhí)行xxx。
2.flock -s lock_path xxx :把 lock_path 當(dāng)成一個shared lock,同時能被多個程序擁有。所以大家都可以馬上執(zhí)行,而且同時擁有 lock_path
3.flock -x lock_path xxx :把 lock_path 當(dāng)成一個exclusive lock,同時只能被一個程序擁有。
注:一個 lock_path 不能同時為shared和exclusive!
解決簡介中的問題
所以透過組合flock,我可以同時執(zhí)行若干個工作,并且等到他們結(jié)束之后再繼續(xù)執(zhí)行接下來的工作:
# 前面的工作 flock -s lock_path update_pkg_on_machine_1 & flock -s lock_path update_pkg_on_machine_2 & flock -s lock_path update_pkg_on_machine_3 & flock -x lock_path echo "all done!" # ... 后面的工作
關(guān)鍵在于 flock -x lock_path xxx
會因為shared和exclusive互斥的關(guān)系,而不能共存。因此就會等到上面的工作都結(jié)束(歸還 lock_path 的擁有權(quán))之后才執(zhí)行。
以上就是在Linux上使用flock命令控制程序的異步執(zhí)行的全部內(nèi)容,有需要的朋友們可以參考學(xué)習(xí)。
- linux shell中 if else以及大于、小于、等于邏輯表達(dá)式介紹
- Linux系統(tǒng)(X64)安裝Oracle11g完整安裝圖文教程另附基本操作
- linux下安裝apache與php;Apache+PHP+MySQL配置攻略
- linux命令詳解之useradd命令使用方法
- Linux下安裝mysql-5.6.4 的圖文教程
- linux下用cron定時執(zhí)行任務(wù)的方法
- 刪除SVN三種方法delSvn(windows+linux)
- Linux中執(zhí)行shell腳本的4種方法總結(jié)
- Linux top命令的用法詳細(xì)詳解
- 談?wù)刲inux中flock、lockf和fcntl的區(qū)別
相關(guān)文章
ubuntu系統(tǒng)下Python虛擬環(huán)境的安裝和使用教程
這篇文章主要介紹了ubuntu系統(tǒng)下Python虛擬環(huán)境的安裝和使用教程,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價值,需要的朋友可以參考下2019-06-06Ubuntu系統(tǒng)搭建django+nginx+uwsgi的教程詳解
這篇文章主要介紹了Ubuntu系統(tǒng)搭建django+nginx+uwsgi的思路詳解,本文分步驟給大家介紹的非常詳細(xì),具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-05-05Linux/Unix環(huán)境下的Make和Makefile詳解
2008-02-02雙系統(tǒng)直接進(jìn)入grub不能進(jìn)入ubantu的快速解決方法
這篇文章主要介紹了雙系統(tǒng)直接進(jìn)入grub不能進(jìn)入ubantu的快速解決方法,需要的朋友可以參考下2017-04-04