Shell編程基礎(chǔ)語法與正則表達(dá)式文本處理指南
Shell編程與正則表達(dá)式實戰(zhàn)指南
引言:Shell與正則表達(dá)式的強(qiáng)大組合
在Linux/Unix系統(tǒng)中,Shell作為連接用戶與內(nèi)核的"橋梁",既是命令解釋器,也是一門強(qiáng)大的腳本語言。配合正則表達(dá)式這一文本處理"利器",能夠大幅提升系統(tǒng)管理、日志分析和批量任務(wù)處理的效率。本文將帶你從基礎(chǔ)到實戰(zhàn),全面掌握這兩項核心技能。
一、Shell編程核心技能
1. 函數(shù):封裝可復(fù)用的代碼塊
Shell函數(shù)是代碼復(fù)用的重要工具,具有以下特點:
- 必須在調(diào)用前定義
- 支持參數(shù)傳遞(通過位置參數(shù)$1, $2等)
- 返回值只能是整數(shù)(通過$?獲?。?/li>
基礎(chǔ)函數(shù)示例
#!/bin/bash
sum(){
read -p "請輸入第一數(shù):" num1
read -p "請輸入第二數(shù):" num2
echo " 你輸入的兩個數(shù):$num1 和 $num2 "
SUM=$(($num1+$num2))
echo "兩個數(shù)的和為:" $SUM
}
sum

參數(shù)處理技巧
show_params() {
echo "第一個參數(shù): $1"
echo "第二個參數(shù): $2"
echo "第十個參數(shù): ${10}" # 注意大括號
echo "參數(shù)總數(shù): $#"
echo "所有參數(shù): $@"
}
show_params 1 2 3 4 5 6 7 8 9 10 11

3. 函數(shù)的返回值
#!/bin/bash
getMax()
{
if [ $1 -lt $2 ]; then
return $2
else
return $1;
fi
}
echo "Shell程序中傳遞的兩個參數(shù)是:$1 , $2"
getMax $1 $2
echo "最大值::$?" # $?表示返回值
使用 ? 并不妥,因為 ?并不妥,因為 ?并不妥,因為?的范圍為0-255。當(dāng)比較的數(shù)字大于255時無法得到正確的結(jié)果。
2. 數(shù)組:存儲多個數(shù)據(jù)的容器
Shell數(shù)組特點:
- 一維數(shù)組,無需聲明大小
- 索引從0開始
- 支持稀疏數(shù)組(不連續(xù)索引)
數(shù)組基本操作
files=(*.txt) # 將當(dāng)前目錄所有txt文件存入數(shù)組
echo "第一個文件: ${files[0]}"
echo "文件總數(shù): ${#files[@]}"
# 遍歷數(shù)組
for file in "${files[@]}"; do
echo "處理文件: $file"
done

關(guān)聯(lián)數(shù)組(Bash 4.0+)
declare -A colors # 聲明關(guān)聯(lián)數(shù)組
colors["red"]="#FF0000"
colors["green"]="#00FF00"
echo "紅色代碼: ${colors[red]}"

二、正則表達(dá)式深度解析
1. 正則表達(dá)式基礎(chǔ)
正則表達(dá)式是一種描述"字符串模式"的規(guī)則,通過元字符組合實現(xiàn)對文本的檢索、替換和過濾。
Linux正則分類
| 分類 | 全稱 | 特點 | 支持工具 |
|---|---|---|---|
| BRE | 基礎(chǔ)正則表達(dá)式 | 功能有限,部分元字符需轉(zhuǎn)義 | grep, sed |
| ERE | 擴(kuò)展正則表達(dá)式 | 功能更強(qiáng),元字符無需轉(zhuǎn)義 | egrep, awk |
2. 核心元字符
基礎(chǔ)元字符
| 元字符 | 含義 | 示例 | 匹配結(jié)果 |
|---|---|---|---|
. | 任意單個字符 | a.c | abc, a1c |
[] | 字符集中的一個 | [aeiou] | a, e |
^ | 行首 | ^start | 行首的start |
$ | 行尾 | end$ | 行尾的end |
重復(fù)次數(shù)元字符
| 元字符 | 含義 | 示例 | 匹配結(jié)果 |
|---|---|---|---|
* | 0次或多次 | ab*c | ac, abc, abbc |
+ | 1次或多次 | ab+c | abc, abbc |
? | 0次或1次 | ab?c | ac, abc |
{n} | 恰好n次 | a{3} | aaa |
3. grep工具實戰(zhàn)
常用選項
| 選項 | 含義 | 示例 |
|---|---|---|
-E | 啟用擴(kuò)展正則 | grep -E 'a+' |
-i | 忽略大小寫 | grep -i 'hello' |
-o | 只輸出匹配部分 | grep -o '[0-9]+' |
-v | 反向匹配 | grep -v '^#' |
實戰(zhàn)案例
# 查找包含"error"或"warning"的行
grep -E 'error|warning' log.txt #-E 可以識別正則表達(dá)式的元字符
|表示為或
# 提取郵箱地址
grep -E -o '\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,}\b' emails.txt三、綜合實戰(zhàn)項目
1. 日志分析系統(tǒng)
#!/bin/bash
analyze_logs() {
# 統(tǒng)計訪問量TOP10 IP
awk '{print $1}' access.log | sort | uniq -c | sort -nr | head -10
# 統(tǒng)計HTTP狀態(tài)碼
awk '{print $9}' access.log | sort | uniq -c
# 查找錯誤請求
awk '$9 ~ /^[45]/ {print $0}' access.log
}
analyze_logs2. 文件批量處理工具
#!/bin/bash
batch_rename() {
for file in *.$1; do
mv "$file" "${file%.*}.$2"
done
}
batch_replace() {
find . -type f -exec sed -i "s/$1/$2/g" {} +
}
# 使用示例
# batch_rename txt md
# batch_replace "old_text" "new_text"四、進(jìn)階學(xué)習(xí)建議
- 深入學(xué)習(xí)文本處理三劍客:
sed:流編輯器,擅長文本替換awk:強(qiáng)大的文本分析工具grep:文本搜索利器
- 正則表達(dá)式進(jìn)階:
- 零寬斷言(lookaround)
- 反向引用
- 復(fù)雜模式匹配(如郵箱、URL等)
- Shell腳本優(yōu)化:
- 錯誤處理機(jī)制
- 性能優(yōu)化技巧
- 模塊化設(shè)計
結(jié)語
Shell編程與正則表達(dá)式是Linux系統(tǒng)管理的核心技能組合。通過本文的學(xué)習(xí),你已經(jīng)掌握了從基礎(chǔ)語法到實戰(zhàn)應(yīng)用的關(guān)鍵知識點。建議在日常工作中多實踐、多思考,將這些技能真正轉(zhuǎn)化為提升效率的"得力助手"。記住,持續(xù)實踐是掌握這些技能的最佳途徑!
到此這篇關(guān)于Shell編程基礎(chǔ)語法與正則表達(dá)式文本處理指南的文章就介紹到這了,更多相關(guān)Shell正則表達(dá)式文本處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
shell腳本將Oracle服務(wù)器中數(shù)據(jù)定時增量刷新到ftp服務(wù)器中
這篇文章主要介紹了shell腳本將Oracle服務(wù)器中數(shù)據(jù)定時增量刷新到ftp服務(wù)器中,非常不錯,具有一定的參考借鑒價值 ,需要的朋友可以參考下2019-08-08
使用shell腳本對Nginx日志進(jìn)行切分的示例代碼
本篇文章主要介紹了使用shell腳本對Nginx日志進(jìn)行切分的示例代碼,具有一定的參考價值,有興趣的可以了解一下2017-08-08
shell之創(chuàng)建文件及內(nèi)容的方法示例
這篇文章主要介紹了shell之創(chuàng)建文件及內(nèi)容的方法示例,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
shell子進(jìn)程多任務(wù)實現(xiàn)進(jìn)程高并發(fā)
本文主要介紹了shell子進(jìn)程多任務(wù)實現(xiàn)進(jìn)程高并發(fā),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
Shell腳本連接oracle數(shù)據(jù)庫的實現(xiàn)代碼
這篇文章主要介紹了Shell腳本連接oracle數(shù)據(jù)庫的實現(xiàn)代碼,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05

