shell腳本去重的三種方法小結(jié)
更新時間：2023年12月24日 11:36:03 作者：小白的進階
在實際工作中,進行Shell去重操作是非常常見的任務(wù)之一,本文主要介紹了shell腳本去重的三種方法小結(jié),具有一定的參考價值,感興趣的可以了解一下
測試文件如下
jason jason jason fffff jason
第一種去重方法： sort -u 文件名 或者 cat 文件名 | sort -u
[root@bogon ~]# sort -u test fffff jason
但這樣只是將去重后的結(jié)果打印在屏幕上，如果想將去重后的內(nèi)容保存下來，語句為：
sort -u 文件名 > 新文件名
或者
cat 文件名 | sort -u > 新文件名
即可將去重后的內(nèi)容保存在新文件名中
第二種去重方法： uniq 文件名 或者 cat 文件名 | uniq
[root@bogon ~]# uniq test jason fffff jason
由此可見，uniq需要先排序后才能去重，同時將去重后的結(jié)果保存在新文件中：cat 文件名 | sort | uniq > 新文件名
第三種去重方法：sort、管道和uniq結(jié)合運用
（1）去除重復(fù)并保留一份重復(fù)的數(shù)據(jù)
[root@bogon ~]# sort test|uniq fffff jason
（2）去除所有重復(fù)的行（不保留重復(fù)的行），并計算行數(shù)
[root@bogon ~]# sort test|uniq -uc
1 fffff（3）找出所有重復(fù)的行，并計算行數(shù)
[root@bogon ~]# sort test|uniq -dc
4 jason（4）根據(jù)某個字段去重
[root@bogon ~]# sort -k 1,1 -u test fffff jason
查看sort的用法，-k參數(shù)是這么描述的：
-k, --key=POS1[,POS2]
start a key at POS1 (origin 1), end it at POS2 (default end of line)
也就是說-k哪幾個列進行排序，pos1是開始列，pos2是結(jié)束列
到此這篇關(guān)于shell腳本去重的幾種方法小結(jié)的文章就介紹到這了,更多相關(guān)shell腳本去重內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
linux網(wǎng)絡(luò)編程用到的網(wǎng)絡(luò)函數(shù)詳解用和使用示例
本文對linux網(wǎng)絡(luò)編程用到的網(wǎng)絡(luò)函數(shù)做了簡單介紹，提供了使用示例供大家參考2013-11-11
本篇文章主要給大家介紹linux系統(tǒng)下安裝wetty和使用說明，以及l(fā)inux tty命令學(xué)習(xí)總結(jié)，感興趣的朋友跟著小編一起學(xué)習(xí)吧2015-10-10
下面小編就為大家?guī)硪黄敵鰣?zhí)行操作和打印日志的shell腳本實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-03-03
需要在應(yīng)用程序獲取系統(tǒng)的啟動時間，通過sysinfo中的uptime可以計算出系統(tǒng)的啟動時間,下面介紹一下獲取方法,大家參考使用吧2014-01-01
在 Linux 系統(tǒng)上,了解系統(tǒng)中的磁盤信息對于系統(tǒng)管理員和用戶來說都是至關(guān)重要的,通過了解系統(tǒng)上的磁盤情況,可以有效管理存儲空間、診斷問題并進行性能優(yōu)化,本文給大家介紹了在Linux上列出磁盤信息的七個命令,需要的朋友可以參考下2024-05-05
在執(zhí)行l(wèi)inux命令時,想查看程序的二進制文件、源碼、手冊具體在哪個目錄,就需要下面的命令來輔助,下面小編就來和大家詳細講講Linux通過哪些命令可以實現(xiàn)這些功能吧2024-11-11
這篇文章主要介紹了SHELL腳本監(jiān)控JAVA進程,需要的朋友可以參考下2016-03-03
Linux 中shell腳本設(shè)置開頭固定格式的實現(xiàn)方法
這篇文章主要介紹了Linux 中shell腳本設(shè)置開頭固定格式的實現(xiàn)方法,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-10-10
這篇文章主要介紹了Shell腳本實現(xiàn)檢測進程是否正在運行,本文給出的代碼簡潔清晰,并給出了使用方法,需要的朋友可以參考下2015-01-01
為大家整理了23個實例，通過23個實戰(zhàn)經(jīng)典腳本實例，可以拿來就用，根據(jù)大家的需求可以直接使用，為大家整理了23個實例，希望此文章對各位有所幫助2021-06-06