linux批量操作時提示Argument list too long解決方法

第一種情況:
在實際使用過程中,若一個目錄下文件或文件夾太多,在執(zhí)行“*” 命令時 會提示Argument list too long,如rm -rf /tmp/*命令下。
解決方案:
ls | xargs n 10 rm rf ls
SSH執(zhí)行以上命令,輸出所有的文件名(用空格分割) xargs就是將ls的輸出,每10個為一組(以空格為分隔符),作為rm rf的參數(shù) 也就是說將所有文件名10個為一組,由rm rf刪除。
第二種情況:
rm、cp、mv是unix下面常用到的檔案處理指令,當我們需要刪除大量的log檔案,如果檔案數(shù)太多就會出現(xiàn)此訊息【/bin/rm: Argument list too long】
解決方式如下:
例如要刪除 /tmp/*.log
則執(zhí)行【ls /tmp/*.log | xargs rm -f】這樣就可以蘿^__^,其他cp,mv同理!
第三種情況:
今日需要刪除/tmp目錄下的所有文件,文件數(shù)量比較多。
ls -lt /tmp | wc -l 385412
使用 rm *
后,系統(tǒng)提示錯誤 Argument list too long
原因是在linux下,試圖傳太多參數(shù)給一個系統(tǒng)命令(ls *; cp *; rm *; cat *; etc..)時,就會出現(xiàn) Argument list too long錯誤。
解決方法如下:
使用find -exec 遍歷,然后執(zhí)行刪除便可。
sudo find /tmp -type f -exec rm {} \;
在linux中刪除大量文件時,直接用rm會出現(xiàn):-bash: /bin/rm: 參數(shù)列表過長,的錯誤。
這時可以用find命令來結(jié)合使用。
例:
1、rm * -rf 改為:
find . -name "*" | xargs rm -rf '*' 就行了。
2、rm test* -rf 改為:
find . -name "test*" | xargs rm -rf "test*"
mv時報參數(shù)列表過長,
for i in *.m;do mv $i ${i%.m};done
于是求助于google,探索過程就省略了,直接說解決方法吧:
ls dir1 | xargs -t -I {} mv {} dir2/{}
這里的一對大括號是原文給的例子里用的,后來看了參數(shù)的用法,其實那對大括號是可以用任意字符串替換的,比如:
ls dir1 | xargs -t -I asdf mv asdf dir2/asdf
效果和大括號那一版是完全一樣的,就是看起來有點兒不嚴肅。
需要說明的是,上面xargs的第二個參數(shù),是大寫的i,讀作”愛“的那個字母,不是小寫的L。至于參數(shù)的含義嘛,我忘了。
Linux下 報錯“命令參數(shù)列表過長”,在用mv命令一次移動3萬多個文件時失敗了,原始命令類似這樣:”mv $(ls dir1) dir2“。錯誤提示的中心思想是:”你這參數(shù)也太TM多了吧“。
按照LZ想法大概可以這么做:find /dir1/ -maxdepth 1 | xargs -i mv {} /dir2/
如果參數(shù)過長,使用tar比較簡單
tar -C /dir1/ -cf - . | tar -xf - -C /dir2/
于是求助于google,探索過程就省略了,直接說解決方法吧:
ls dir1 | xargs -t -I {} mv {} dir2/{}
這里的一對大括號是原文給的例子里用的,后來看了參數(shù)的用法,其實那對大括號是可以用任意字符串替換的,比如:
ls dir1 | xargs -t -I asdf mv asdf dir2/asdf
效果和大括號那一版是完全一樣的,就是看起來有點兒不嚴肅。
需要說明的是,上面xargs的第二個參數(shù),是大寫的i,讀作”愛“的那個字母,不是小寫的L。至于參數(shù)的含義嘛,我忘了。
另外4種方法
作為一個linux用戶/系統(tǒng)管理員, 有些時候你會遇到以下錯誤提示:
[user@localhost foo]$ mv * ../foo2
bash: /bin/mv: Argument list too long
“Argument list too long”參數(shù)列表過長錯誤經(jīng)常發(fā)生在用戶在一行簡單命令中提供了過多的參數(shù)而導(dǎo)致,經(jīng)常在ls *, cp *, rm * 等中出現(xiàn)。
根據(jù)問題的原因以下提供了四種方法,可以根據(jù)自己的情況酌情選用
方法1 : 將文件群手動劃分為比較小的組合
e.g 1:
[user@localhost foo]$ mv [a-l]* ../foo2
[user@localhost foo]$ mv [m-z]* ../foo2
這是最基本的方法,只是簡單的使參數(shù)數(shù)量符合要求,這種方法應(yīng)用范圍有限,只適用于文件列表中的名字分布比較均勻,另外這也是個初級用戶可以考慮的解決方案,不過需要很多重復(fù)命令和對文件名分布的觀察與猜測。
方法2 : 使用find命令
e.g 2:
[user@localhost foo]$ find $foo -type f -name '*' -exec mv {}$foo2/. \;
方法2通過find命令,將文件清單輸出到mv命令,使其一次處理一個,這樣就完全避免了過量參數(shù)的存在,另外通過不同的參數(shù),可以指定除了名稱以外的時間戳,權(quán)限,以及inode等匹配模式。
方法2的缺點在于比較耗費時間。
方法3 : 創(chuàng)建shell函數(shù)
e.g 3.1:
function huge_mv ()
{whileread line1; do
mv foo/$line1 ../foo2
done
}
ls -1 foo/ | huge_mv
寫一個shell函數(shù)并不涉及到某種程度的復(fù)雜性, 這種方法比方法1和方法2相比更加靈活。
下面我們來擴展一下例3.1 :
e.g 3.2:
function huge_mv () {whileread line1; do md5sum foo/$line1 >> ~/md5sums ls -l foo/$line1 >> ~/backup_list mv foo/$line1 ../foo2 done } ls -1 foo/ | huge_mv
相比例3.1,例3.2生成了文件的md校驗散列文件和名字備份,符合給自己留條后路的哲學(xué)。
另外可以根據(jù)自己的需要無限制的擴展功能。
方法4 : 終極解決方案,重新編譯內(nèi)核
首先使用這個方案之前要謹慎,因為涉及到修改內(nèi)核源代碼,在生產(chǎn)環(huán)境中還是要斟酌一下并做好測試。
另外,這個方法是從根本上解決的,一勞永逸的
這也是開放源碼的好處之一
首先在內(nèi)核源碼中找到 include/linux/binfmts.h文件 ,搜索到以下字段:
/*
* MAX_ARG_PAGES defines the number of pages allocated for arguments
* and envelope for the new program. 32 should suffice, this gives
* a maximum env+arg of 128kB w/4KB pages!
*/
#define MAX_ARG_PAGES 32
修改 MAX_ARG_PAGES數(shù)值為 64 或者更高即可完善的解決參數(shù)受限問題。
然后 重新編譯并啟用新內(nèi)核即可。
相關(guān)文章
Fedora Linux 42 穩(wěn)定版發(fā)布: 帶來大量新功能和軟件更新
Fedora 42昨日發(fā)布,這是 Red Hat 贊助開發(fā)的杰出前沿 Linux 發(fā)行版的最新版,包含大量新功能和軟件更新,使其成為 2025 年上半年發(fā)布的一款出色的 Linux 操作系統(tǒng)之一,內(nèi)2025-04-16如何在Linux查看硬盤信息? 查看Linux硬盤大小類型和硬件信息的5種方法
使用Linux系統(tǒng)的過程中,查看和了解硬盤信息是非常重要的工作,尤其是對于系統(tǒng)管理員而言,那么在Linux系統(tǒng)中如何查看硬盤信息?以下是具體內(nèi)容介紹2025-03-12如何在 Linux 中查看 CPU 詳細信息? 3招輕松查看CPU型號、核心數(shù)和溫度
在日常運維工作中,獲取 CPU 信息是系統(tǒng)運維管理員常見的工作內(nèi)容,無論是為了性能調(diào)優(yōu)、硬件升級還是僅僅滿足好奇心2025-03-11什么是 Arch Linux? 獨樹一幟的Arch Linux發(fā)行版分析
Arch Linux是為簡化,優(yōu)化,現(xiàn)代化,實用主義,用戶中心和多功能性而創(chuàng)建Linux發(fā)行版,究竟是什么讓 Arch 與眾不同?下面我們就來簡要解讀2025-02-19如何在Linux環(huán)境下制作 Win11裝機U盤?
一直用的linux辦公,想要將筆記本電腦從 Linux 系統(tǒng)切換回 Windows 11,我們可以制作一個win11裝機u盤,詳細如下2025-02-17Rsnapshot怎么用? 基于Rsync的強大Linux備份工具使用指南
Rsnapshot 不僅可以備份本地文件,還能通過 SSH 備份遠程文件,接下來詳細介紹如何安裝、配置和使用 Rsnapshot,包括創(chuàng)建每小時、每天、每周和每月的本地備份,以及如何進2025-02-06Linux Kernel 6.13發(fā)布:附更新內(nèi)容及新特性解讀
Linux 內(nèi)核 6.13 正式發(fā)布,新版本引入了惰性搶占支持,簡化內(nèi)核搶占邏輯,通過減少與調(diào)度器相關(guān)的調(diào)用次數(shù),讓內(nèi)核在運行時表現(xiàn)更優(yōu),從而提高效率2025-01-23五大特性引領(lǐng)創(chuàng)新! 深度操作系統(tǒng) deepin 25 Preview預(yù)覽版發(fā)布
今日,深度操作系統(tǒng)正式推出deepin 25 Preview版本,該版本集成了五大核心特性:磐石系統(tǒng)、全新DDE、Treeland窗口合成器、AI For OS以及Distrobox子系統(tǒng)2025-01-18Linux Mint Xia 22.1重磅發(fā)布: 重要更新一覽
Beta 版 Linux Mint“Xia” 22.1 發(fā)布,新版本基于 Ubuntu 24.04,內(nèi)核版本為 Linux 6.8,這次更新帶來了諸多優(yōu)化和改進,進一步鞏固了 Mint 在 Linux 桌面操作系統(tǒng)領(lǐng)域的2025-01-16LinuxMint怎么安裝? Linux Mint22下載安裝圖文教程
Linux Mint22發(fā)布以后,有很多新功能,很多朋友想要下載并安裝,該怎么操作呢?下面我們就來看看詳細安裝指南2025-01-16