linux grep命令數(shù)據(jù)過濾和篩選

Linux世界中有句古老的說法“一切皆文件”，而且很多配置文件是純文本文件，工作中，我們時常需要對大量的服務器進行配置的修改，如果以手動方式在海量的數(shù)據(jù)中進行查找匹配并最終完成修改，則其效率極低。

此時，Linux系統(tǒng)提供了一個非常方便的grep命令，grep是一種強大的文本搜索工具，它能使用正則表達式搜索文本，并把匹配的行打印出來。

下面對grep命令使用進行講解。

grep命令

grep是一個強大的文本搜索工具。grep可用于shell腳本，因為grep通過返回一個狀態(tài)值來說明搜索的狀態(tài)，如果模板搜索成功，則返回0，如果搜索不成功，則返回1，如果搜索的文件不存在，則返回2。

我們利用這些返回值就可進行一些自動化的文本處理工作。

用法：grep【選項】匹配模式【文件】。

常用選項：

• -a 不要忽略二進制數(shù)據(jù)。
• -b 在顯示符合范本樣式的那一行之外，并顯示該行之前的內(nèi)容。
• -c 計算符合范本樣式的列數(shù)。
• -E 將范本樣式為延伸的普通表示法來使用，意味著使用能使用擴展正則表達式。
• -F 將范本樣式視為固定字符串的列表。
• -G 將范本樣式視為普通的表示法來使用。
• -h 在顯示符合范本樣式的那一列之前，不標示該列所屬的文件名稱。
• -i 忽略字符大小寫的差別。
• -l 列出文件內(nèi)容符合指定的范本樣式的文件名稱。
• -L 列出文件內(nèi)容不符合指定的范本樣式的文件名稱。
• -n 在顯示符合范本樣式的那一列之前，標示出該列的編號。
• -q 不顯示任何信息。
• -s 不顯示錯誤信息。
• -v 反轉查找。
• -w 只顯示全字符合的列。
• -x 只顯示全列符合的列。
• -o 只輸出文件中匹配到的部分。

使用實例

找出程序運行的端口

netstat -ap | grep ssh

查找本地ip

ifconfig ens33 | grep netmask | tr -s " " | cut -d " " -f3

使用grep指令在當前目錄下所有文件中搜索指定文本

grep -n -r “test” ./*

統(tǒng)計一個文件中包含特定字符串的個數(shù)

不在屏幕上顯示過濾的結果

grep -q root/etc/passwd

不會輸出任何信息，如果命令運行成功返回0，失敗則返回非0值。一般用于條件測試

什么是正則表達式

正則表達式就是一種計算機描述語言，通過正則表達式可以直接告訴計算機所需要的是字母A并精確匹配定位，也可以告訴計算機需要的是26個字母中的任意一個字母進行匹配等等。

現(xiàn)在很多程序、文本編輯工具、編程語言都支持正則表達式，比如使用grep過濾時就使用正則匹配的方式查找數(shù)據(jù)。

正則表達式及其含義

• ^ #錨定行的開始 如：'^grep'匹配所有以grep開頭的行。    
• $ #錨定行的結束 如：'grep$'匹配所有以grep結尾的行。    
• . #匹配一個非換行符的字符 如：'gr.p'匹配gr后接一個任意字符，然后是p。    
• * #匹配零個或多個先前字符 如：'*grep'匹配所有一個或多個空格后緊跟grep的行。    
• .*  #一起用代表任意字符。   
• []  #匹配一個指定范圍內(nèi)的字符，如'[Gg]rep'匹配Grep和grep。    
• [^] #匹配一個不在指定范圍內(nèi)的字符，如：'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭，緊跟rep的行。    
• \(..\) #標記匹配字符，如'\(love\)'，love被標記為1。    
• \< #錨定單詞的開始，如:'\<grep'匹配包含以grep開頭的單詞的行。    
• \> #錨定單詞的結束，如'grep\>'匹配包含以grep結尾的單詞的行。    
• x\{m\} #重復字符x，m次，如：'0\{5\}'匹配包含5個o的行。    
• x\{m,\} #重復字符x,至少m次，如：'o\{5,\}'匹配至少有5個o的行。    
• x\{m,n\} #重復字符x，至少m次，不多于n次，如：'o\{5,10\}'匹配5--10個o的行。   
• \w #匹配文字和數(shù)字字符，也就是[A-Za-z0-9]，如：'G\w*p'匹配以G后跟零個或多個文字或數(shù)字字符，然后是p。   
• \W #\w的反置形式，匹配一個或多個非單詞字符，如點號句號等。   
• \b #單詞鎖定符，如: '\bgrep\b'只匹配grep。  

基本表達式的實例

查找包含"root"的行

grep “root” /tmp/passwd

查找與"0:"之間包含任意兩個字符的字符串

查找包含oot或ost的行

查找包含"0~9"數(shù)字的行

查找以root開頭的行

查找以bash結尾的行

過濾文件的空白行

如果過濾文件為非空白行，可以使用grep -v “^$” /tmp/passwd

POSIX字符：

為了在不同國家的字符編碼中保持一至，POSIX(The Portable Operating System Interface)增加了特殊的字符類，如[:alnum:]是[A-Za-z0-9]的另一個寫法。

要把它們放到[]號內(nèi)才能成為正則表達式，如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外，都支持POSIX的字符類。

[:alnum:]    #文字數(shù)字字符   
[:alpha:]    #文字字符   
[:digit:]    #數(shù)字字符   
[:graph:]    #非空字符（非空格、控制字符）   
[:lower:]    #小寫字符   
[:cntrl:]    #控制字符   
[:print:]    #非空字符（包括空格）   
[:punct:]    #標點符號   
[:space:]    #所有空白字符（新行，空格，制表符）   
[:upper:]    #大寫字符   
[:xdigit:]   #十六進制數(shù)字（0-9，a-f，A-F）  

linux 允許通過方括號使用POSIX標準規(guī)范，如[:alnum:]將匹配任意單個字母數(shù)字字符，下面通過幾個簡單例子來說明。

由于過濾的輸出的內(nèi)容較多，以下僅為部分輸出。

GNU規(guī)范

Linux中的GNU軟件一般支持轉義字符，這些轉義元字符有：\b為邊界字符，匹配單詞的開始或結尾，\B與\b為反義詞。\B不會匹配單詞the，僅會匹配the中間的單詞，如atheist。而\w等同于[_[:alnum:]]，\W等同于[ ^ _ [:alnum:]]。

另外\D表示任意非數(shù)字，\s表示任意空白字符。\S表示任意非空白字符。

實例

匹配所有字母、數(shù)字及下劃線

grep “\w” /tmp/passwd

上面的內(nèi)容太多，這里不再顯示輸出內(nèi)容。

匹配i結尾的單詞

總結

在海量數(shù)據(jù)中，grep命令搜索有效消息提供了便利而又高效的方式，這里零零散散的舉了一些例子，當然，grep的用法可不僅僅局限于此。更多了解可以參考man手冊。

以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論