linux grep命令數(shù)據(jù)過(guò)濾和篩選

Linux世界中有句古老的說(shuō)法“一切皆文件”，而且很多配置文件是純文本文件，工作中，我們時(shí)常需要對(duì)大量的服務(wù)器進(jìn)行配置的修改，如果以手動(dòng)方式在海量的數(shù)據(jù)中進(jìn)行查找匹配并最終完成修改，則其效率極低。

此時(shí)，Linux系統(tǒng)提供了一個(gè)非常方便的grep命令，grep是一種強(qiáng)大的文本搜索工具，它能使用正則表達(dá)式搜索文本，并把匹配的行打印出來(lái)。

下面對(duì)grep命令使用進(jìn)行講解。

grep命令

grep是一個(gè)強(qiáng)大的文本搜索工具。grep可用于shell腳本，因?yàn)間rep通過(guò)返回一個(gè)狀態(tài)值來(lái)說(shuō)明搜索的狀態(tài)，如果模板搜索成功，則返回0，如果搜索不成功，則返回1，如果搜索的文件不存在，則返回2。

我們利用這些返回值就可進(jìn)行一些自動(dòng)化的文本處理工作。

用法：grep【選項(xiàng)】匹配模式【文件】。

常用選項(xiàng)：

• -a 不要忽略二進(jìn)制數(shù)據(jù)。
• -b 在顯示符合范本樣式的那一行之外，并顯示該行之前的內(nèi)容。
• -c 計(jì)算符合范本樣式的列數(shù)。
• -E 將范本樣式為延伸的普通表示法來(lái)使用，意味著使用能使用擴(kuò)展正則表達(dá)式。
• -F 將范本樣式視為固定字符串的列表。
• -G 將范本樣式視為普通的表示法來(lái)使用。
• -h 在顯示符合范本樣式的那一列之前，不標(biāo)示該列所屬的文件名稱。
• -i 忽略字符大小寫的差別。
• -l 列出文件內(nèi)容符合指定的范本樣式的文件名稱。
• -L 列出文件內(nèi)容不符合指定的范本樣式的文件名稱。
• -n 在顯示符合范本樣式的那一列之前，標(biāo)示出該列的編號(hào)。
• -q 不顯示任何信息。
• -s 不顯示錯(cuò)誤信息。
• -v 反轉(zhuǎn)查找。
• -w 只顯示全字符合的列。
• -x 只顯示全列符合的列。
• -o 只輸出文件中匹配到的部分。

使用實(shí)例

找出程序運(yùn)行的端口

netstat -ap | grep ssh

查找本地ip

ifconfig ens33 | grep netmask | tr -s " " | cut -d " " -f3

使用grep指令在當(dāng)前目錄下所有文件中搜索指定文本

grep -n -r “test” ./*

統(tǒng)計(jì)一個(gè)文件中包含特定字符串的個(gè)數(shù)

不在屏幕上顯示過(guò)濾的結(jié)果

grep -q root/etc/passwd

不會(huì)輸出任何信息，如果命令運(yùn)行成功返回0，失敗則返回非0值。一般用于條件測(cè)試

什么是正則表達(dá)式

正則表達(dá)式就是一種計(jì)算機(jī)描述語(yǔ)言，通過(guò)正則表達(dá)式可以直接告訴計(jì)算機(jī)所需要的是字母A并精確匹配定位，也可以告訴計(jì)算機(jī)需要的是26個(gè)字母中的任意一個(gè)字母進(jìn)行匹配等等。

現(xiàn)在很多程序、文本編輯工具、編程語(yǔ)言都支持正則表達(dá)式，比如使用grep過(guò)濾時(shí)就使用正則匹配的方式查找數(shù)據(jù)。

正則表達(dá)式及其含義

• ^ #錨定行的開(kāi)始 如：'^grep'匹配所有以grep開(kāi)頭的行。    
• $ #錨定行的結(jié)束 如：'grep$'匹配所有以grep結(jié)尾的行。    
• . #匹配一個(gè)非換行符的字符 如：'gr.p'匹配gr后接一個(gè)任意字符，然后是p。    
• * #匹配零個(gè)或多個(gè)先前字符 如：'*grep'匹配所有一個(gè)或多個(gè)空格后緊跟grep的行。    
• .*  #一起用代表任意字符。   
• []  #匹配一個(gè)指定范圍內(nèi)的字符，如'[Gg]rep'匹配Grep和grep。    
• [^] #匹配一個(gè)不在指定范圍內(nèi)的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個(gè)字母開(kāi)頭，緊跟rep的行。    
• \(..\) #標(biāo)記匹配字符，如'\(love\)'，love被標(biāo)記為1。    
• \< #錨定單詞的開(kāi)始，如:'\<grep'匹配包含以grep開(kāi)頭的單詞的行。    
• \> #錨定單詞的結(jié)束，如'grep\>'匹配包含以grep結(jié)尾的單詞的行。    
• x\{m\} #重復(fù)字符x，m次，如：'0\{5\}'匹配包含5個(gè)o的行。    
• x\{m,\} #重復(fù)字符x,至少m次，如：'o\{5,\}'匹配至少有5個(gè)o的行。    
• x\{m,n\} #重復(fù)字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10個(gè)o的行。   
• \w #匹配文字和數(shù)字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零個(gè)或多個(gè)文字或數(shù)字字符，然后是p。   
• \W #\w的反置形式，匹配一個(gè)或多個(gè)非單詞字符，如點(diǎn)號(hào)句號(hào)等。   
• \b #單詞鎖定符，如: '\bgrep\b'只匹配grep。  

基本表達(dá)式的實(shí)例

查找包含"root"的行

grep “root” /tmp/passwd

查找與"0:"之間包含任意兩個(gè)字符的字符串

查找包含oot或ost的行

查找包含"0~9"數(shù)字的行

查找以root開(kāi)頭的行

查找以bash結(jié)尾的行

過(guò)濾文件的空白行

如果過(guò)濾文件為非空白行，可以使用grep -v “^$” /tmp/passwd

POSIX字符：

為了在不同國(guó)家的字符編碼中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符類，如[:alnum:]是[A-Za-z0-9]的另一個(gè)寫法。

要把它們放到[]號(hào)內(nèi)才能成為正則表達(dá)式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符類。

[:alnum:]    #文字?jǐn)?shù)字字符   
[:alpha:]    #文字字符   
[:digit:]    #數(shù)字字符   
[:graph:]    #非空字符（非空格、控制字符）   
[:lower:]    #小寫字符   
[:cntrl:]    #控制字符   
[:print:]    #非空字符（包括空格）   
[:punct:]    #標(biāo)點(diǎn)符號(hào)   
[:space:]    #所有空白字符（新行，空格，制表符）   
[:upper:]    #大寫字符   
[:xdigit:]   #十六進(jìn)制數(shù)字（0-9，a-f，A-F）  

linux 允許通過(guò)方括號(hào)使用POSIX標(biāo)準(zhǔn)規(guī)范，如[:alnum:]將匹配任意單個(gè)字母數(shù)字字符，下面通過(guò)幾個(gè)簡(jiǎn)單例子來(lái)說(shuō)明。

由于過(guò)濾的輸出的內(nèi)容較多，以下僅為部分輸出。

GNU規(guī)范

Linux中的GNU軟件一般支持轉(zhuǎn)義字符，這些轉(zhuǎn)義元字符有：\b為邊界字符，匹配單詞的開(kāi)始或結(jié)尾，\B與\b為反義詞。\B不會(huì)匹配單詞the，僅會(huì)匹配the中間的單詞，如atheist。而\w等同于[_[:alnum:]]，\W等同于[ ^ _ [:alnum:]]。

另外\D表示任意非數(shù)字，\s表示任意空白字符。\S表示任意非空白字符。

實(shí)例

匹配所有字母、數(shù)字及下劃線

grep “\w” /tmp/passwd

上面的內(nèi)容太多，這里不再顯示輸出內(nèi)容。

匹配i結(jié)尾的單詞

總結(jié)

在海量數(shù)據(jù)中，grep命令搜索有效消息提供了便利而又高效的方式，這里零零散散的舉了一些例子，當(dāng)然，grep的用法可不僅僅局限于此。更多了解可以參考man手冊(cè)。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論