linux awk 多文件操作2種實現(xiàn)方法

發(fā)布時間：2013-11-19 21:30:00 作者：佚名

我們經(jīng)常會將2個有關(guān)聯(lián)文本文件進(jìn)行合并處理。分別從不同文件獲取需要的列，然后，整體輸出到一起。awk進(jìn)行多文件處理時候，常常會遇到2個方面問題，第一個是怎么樣合并多個文件為一個文件。第二個問題就是怎么樣將多行合并為一行顯示。我這里說下我的處理2種方法，還有

我們經(jīng)常會將2個有關(guān)聯(lián)文本文件進(jìn)行合并處理。分別從不同文件獲取需要的列，然后，整體輸出到一起。awk進(jìn)行多文件處理時候，常常會遇到2個方面問題，第一個是怎么樣合并多個文件為一個文件。第二個問題就是怎么樣將多行合并為一行顯示。我這里說下我的處理2種方法，還有實現(xiàn)思路。

實例文本：

復(fù)制代碼

代碼如下:

[chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}{print $0}' a.txt b.txt

a.txt
100 wang man
200 wangsan woman
300 wangming man
400 wangzheng man

b.txt
100 90 80
200 80 70
300 60 50
400 70 20

需要合并得到結(jié)果：

100     wang    man 90 80
200 wangsan woman 80    70
300 wangming man 60     50
400 wangzheng man 70    20

awk多文件操作方法一：

實現(xiàn)思路：

通過外部命令合并文件，然后通過排序，然后通過awk進(jìn)行合并操作。

首先：

復(fù)制代碼

代碼如下:

[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk '{print}'
100 90 80
100 wang man
200 80 70
200 wangsan woman
300 60 50
300 wangming man
400 70 20
400 wangzheng man

現(xiàn)在需要把：第一列相同的處理合并到一行，這里需要用“next”語句。它操作，可以參考awk 多行合并【next 使用介紹】（常見應(yīng)用4）

繼續(xù)：

復(fù)制代碼

代碼如下:

[chengmo@centos5 shell]$ cat a.txt b.txt | sort -n -k1 |awk 'NR%2==1{fd1=$2"\t"$3;next}{print $0"\t"fd1}'
100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20

需要把幾行合并，經(jīng)常用到方法是：NR%num 然后將行值保存下來，next該行。在輸出時候打印出來。

awk多文件操作方法二

實現(xiàn)思路

不借助第3放工具打開，直接通過awk 打開多個文件。然后可以通過：FILENAME獲得當(dāng)前處理文件名。NR總記錄 FNR當(dāng)前文件記錄,以及ARGC傳入?yún)?shù)總數(shù)，ARGV是數(shù)組，各個參數(shù)值。

看下這些實例：

復(fù)制代碼

代碼如下:

[chengmo@centos5 shell]$ awk 'BEGIN{print ARGC,ARGV[0],ARGV[1],ARGV[2]}{print FILENAME,NR,FNR,$0}' a.txt b.txt
3 awk a.txt b.txt
a.txt 1 1 100 wang man
a.txt 2 2 200 wangsan woman
a.txt 3 3 300 wangming man
a.txt 4 4 400 wangzheng man
b.txt 5 1 100 90 80
b.txt 6 2 200 80 70
b.txt 7 3 300 60 50
b.txt 8 4 400 70 20

程序代碼：

復(fù)制代碼

代碼如下:

[chengmo@centos5 shell]$ awk '
BEGIN{
if(ARGC<3)
{
exit 1;
}

file="";
}
{
aData[FILENAME,$1]=ARGV[1]==FILENAME?$0:$2"\t"$3;
}
END{
for(k in aData)
{
split(k,idx,SUBSEP);
if(idx[1]==ARGV[1] && (ARGV[2],idx[2]) in aData)
{
print aData[ARGV[1],idx[2]],aData[ARGV[2],idx[2]] | "sort -n -k1";
}
}
}' a.txt b.txt

100 wang man 90 80
200 wangsan woman 80 70
300 wangming man 60 50
400 wangzheng man 70 20

代碼說明：

這里用到2維數(shù)組，aData[文件名,關(guān)聯(lián)列對應(yīng)值] ,這種方法可以將多個文件內(nèi)容。放入一個統(tǒng)一二維數(shù)組。然后循環(huán)數(shù)組，通過if((i,j} in array) 查找對應(yīng)列值，在其它文件中是否存在。

以上是2種實現(xiàn)方法，其中第一種思路較為簡單，很容易理解。第二種處理起來較為復(fù)雜。有更好方法大家給我分享。