shell兩個文件去重的多種姿勢
更新時間：2016年12月19日 14:14:07 作者：林間
最近在利用shell幫公司優(yōu)化挖掘關(guān)鍵詞的流程，用shell替代了多個環(huán)節(jié)的操作，極大提高了工作效率。下面這篇文章就給大家分享了利用shell實現(xiàn)兩個文件去重的多種姿勢，有需要的朋友們可以參考借鑒，下面來一起看看吧。
前言
大家都知道shell在文本處理上確有極大優(yōu)勢，比如多文本合并、去重等，但是最近遇到了一個難搞的問題，即兩個大數(shù)據(jù)量文件去重。下面來看看詳細(xì)的介紹吧。
要求
有txt文件A.txt和B.txt。
其中A為關(guān)鍵詞和搜索量，以逗號分隔，約90萬行。
B為關(guān)鍵詞，約400萬行。
需要從A中找出與B重復(fù)的關(guān)鍵詞。
我試了N種姿勢，但結(jié)果都不盡人意，最奇怪的是有些方法對小數(shù)據(jù)量的測試文件有用，一旦用在A與B上就會失敗，真叫人百思不得其解。
姿勢一：
awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | sort | uniq -d
#先從A.txt種取出關(guān)鍵詞，然后與B.txt一起打開，用sort排序，uniq -d 取出重復(fù)的行
姿勢二：
awk -F, '{print $1}' A >keywords.txt
#照例先取出關(guān)鍵詞
comm -1 -2 keywords.txt B.txt
#利用comm命令，顯示兩個文件都存在的行
姿勢三：
awk -F, '{print $1}' A >keywords.txt
for i in `cat keywords.txt`
do
A=`egrep -c "^$i$" B.txt`
if [ $A != 0 ]
then
echo $i >>重復(fù)關(guān)鍵詞.txt
fi
done
#這種姿勢就稍微復(fù)雜點
#首先取出關(guān)鍵詞，然后利用for循環(huán)逐個去B.txt里面匹配（注意正則寫法^$i$），如果匹配到的結(jié)果數(shù)不為0，說明這個關(guān)鍵詞是重復(fù)的，然后輸出
#這種方法的優(yōu)點是穩(wěn)妥，缺點是效率太TM低了，90萬個詞逐一與400萬詞匹配，shell默認(rèn)又沒有多線程，耗時太長。
姿勢四：
awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | awk '!a[$1]++'
#這個方法的原理其實我不太懂，awk命令實在太強大太高深了，但是這種方法又簡潔又快速
其實還有一種grep -v 、grep -f 的方法，但是我沒有試過，所以不在這里列出了。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作能帶來一定的幫助，如果有疑問大家可以留言交流。
相關(guān)文章
這篇文章主要介紹了linux自動清理日志腳本，主要功能是清理所有目錄的日志，根據(jù)給定日志目錄,刪除時間 結(jié)合crontab進(jìn)行清理日志2014-01-01
這篇文章主要介紹了Bash Shell中忽略大小寫的設(shè)置方法,本文還講解了其它的一些方便輸入命令的設(shè)置,如關(guān)閉顯示隱藏文件、只按一次TAB鍵、搜索歷史命令等技巧,需要的朋友可以參考下2015-04-04](http://img.jbzj.com/images/xgimg/bcimg2.png)
shell腳本學(xué)習(xí)指南[三](Arnold?Robbins?&?Nelson?H.F.?Beebe著)
這篇文章主要介紹了shell腳本學(xué)習(xí)指南[三](Arnold?Robbins?&?Nelson?H.F.?Beebe著),需要的朋友可以參考下2014-02-02
Shell腳本實現(xiàn)自動檢測修改最快的Ubuntu軟件源
這篇文章主要介紹了Shell腳本實現(xiàn)自動檢測修改最快的Ubuntu軟件源,本文先是講解了實現(xiàn)的思路,并給了實現(xiàn)腳本源碼,需要的朋友可以參考下2014-10-10
下面小編就為大家?guī)硪黄狶inux下JDK中文字體亂碼的解決方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-02-02
這篇文章主要為大家詳細(xì)介紹了shell腳本實現(xiàn)猜數(shù)游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2020-04-04
在Linux中，壓縮與解壓用得最多的tar.tar命令確實很厲害。下面通過本文給大家分享linux下的tar命令詳細(xì)解釋，感興趣的朋友一起看看吧2017-08-08
這篇文章主要介紹了Linux bash Shell中的變量類型詳解,變量類型共分為本地變量、局部變量、環(huán)境變量、位置變量和特殊變量等,需要的朋友可以參考下2015-06-06
在Linux系統(tǒng)中,我們可以使用多個命令來查看內(nèi)存使用情況,其中比較常用的命令有free、top、ps和sar,使用free命令可以查看系統(tǒng)內(nèi)存的使用情況,這些命令可以幫助我們快速了解系統(tǒng)內(nèi)存的使用情況,從而更好地進(jìn)行內(nèi)存管理和優(yōu)化,需要的朋友可以參考下2024-01-01
shell查找當(dāng)前目錄下大于1M的文件的三種方法分享
查找當(dāng)前目錄下大于1M的文件的三種方法，有需要的朋友可以參考下2013-02-02