shell中刪除文件中重復(fù)行的方法
更新時間：2014年03月13日 15:02:45 作者：
這篇文章主要介紹了shell中刪除文件中重復(fù)行的方法,需要的朋友可以參考下
Linux下文本處理工具很豐富很強大，例如這樣一個文件：
復(fù)制代碼 代碼如下:
cat log
www.dbjr.com.cn 192.168.1.1
www.dbjr.com.cn 192.168.1.1
www.dbjr.com.cn 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
www.dbjr.com.cn 192.168.1.1
www.dbjr.com.cn 192.168.1.1
www.dbjr.com.cn 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg
可用以下方法去除重復(fù)行：
1.使用uniq/sort刪除重復(fù)行
注意：單純uniq是不行的。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | uniq > a.out
這里我做了個簡單的測試，當(dāng)file中的重復(fù)行不再一起的時候，uniq沒法刪除所有的重復(fù)行。經(jīng)過排序后，所有相同的行都在相鄰，因此unqi可以正常刪除重復(fù)行。
2.使用用sort+awk命令
注意：單純awk同樣不行，原因同上。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'
也可以使用 awk '!i[$1]++' log;
3.用sort+sed命令，同樣需要sort命令先排序。
復(fù)制代碼 代碼如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'
相關(guān)文章
linux shell在while中用read從鍵盤輸入的實現(xiàn)
下面小編就為大家?guī)硪黄猯inux shell在while中用read從鍵盤輸入的實現(xiàn)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-01-01
這篇文章主要介紹了Linux啟動jar包的shell腳本,非常不錯，具有參考借鑒價值,需要的朋友可以參考下2018-05-05
這篇文章主要介紹了shell編程基礎(chǔ)知識，包括文件類型、正則表達(dá)式、字符類、引號類型、變量設(shè)置、條件測試、命令執(zhí)行順序、腳本調(diào)試方面的介紹2013-02-02
這篇文章主要介紹了shell中使用echo打印彩色字體和彩色背景的方法,本文方法比較好玩,需要的朋友可以參考下2014-12-12
hive-shell批量命令執(zhí)行腳本的實現(xiàn)方法
今天小編就為大家分享一篇hive-shell批量命令執(zhí)行腳本的實現(xiàn)方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
一個ping腳本，服務(wù)器通用告警函數(shù)。在沒有 nagios 的情況下，這個暫且可以用來作為服務(wù)器告警使用2013-02-02
這篇文章主要介紹了Shell腳本case語句簡明教程,非常容易看懂的一篇文章,需要的朋友可以參考下2014-07-07
這篇文章主要介紹了如何寫出安全的、基本功能完善的Bash腳本，幫助大家更好的理解和使用bash shell，感興趣的朋友可以了解下2020-12-12
今天小編就為大家分享一篇shell遞歸輸出文件名和目錄名的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-06-06
下面小編就為大家?guī)硪黄榭磍inux中某個端口(port)是否被占用的方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-05-05