jq命令對JSON進行過濾遍歷結(jié)構(gòu)轉(zhuǎn)換等操作實例
引言
jq是一個靈活的輕量級命令行JSON處理器，你可以使用jq命令對JSON進行過濾、遍歷或者結(jié)構(gòu)轉(zhuǎn)換等操作
項目主頁位于：
https://stedolan.github.io/jq/
你也可以在線體驗：
官方文檔參考：
https://stedolan.github.io/jq/manual/#Basicfilters
下面來讓我們快速入門一下吧
基礎(chǔ)
$ jq -h jq - commandline JSON processor [version 1.6] Usage: jq [options] <jq filter> [file...] jq [options] --args <jq filter> [strings...] jq [options] --jsonargs <jq filter> [JSON_TEXTS...]
常見的用法是jq [options] <jq filter> [file...]，例如
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo'
{
"bar": {
"baz": 123
}
}
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo.bar'
{"baz":123}
其中-c 為options，'.foo' 即為filter，兩者都會在下文介紹
參數(shù)[options]
?? -r output raw strings, not JSON texts
字符串默認(rèn)帶引號，使用-r可以移除字符串的引號
$ echo '{"foo": "bar"}' | jq '.foo'
"bar"
$ echo '{"foo": "bar"}' | jq -r '.foo'
bar
?? -c compact instead of pretty-printed output
jq默認(rèn)輸出格式化之后的json，如果希望能在一行輸出使用 -c
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo | .bar'
{
"baz": 123
}
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq -c '.foo | .bar'
{"baz":123}
過濾器<jq filter>
?? . 輸出原始的 JSON 數(shù)據(jù)
因為jq默認(rèn)是格式化的，所以這個filter可以當(dāng)作格式化
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.'
{
"foo": {
"bar": {
"baz": 123
}
}
}
鏈接符
先看下連接符，具體filter的含義下面會介紹。兩個連接符都是用來組合不同filter來完成特定功能的
?? , 使用多個 filter
需要注意的是使用,每一個filter產(chǎn)生的輸出都是一行
$ echo '{"user":"stedolan", "projects": ["jq", "wikiflow"]}' | jq '.user, .projects[]'
"stedolan"
"jq"
"wikiflow"
?? | 管道
jq '.a.b.c' 、 jq '.a | .b | .c' jq '.a' | jq '.b' | jq '.c'是一樣的
如果第一個filter產(chǎn)生多個結(jié)果，那么下一個filter會對每一個結(jié)果都執(zhí)行。因此.[] | .foo 取出數(shù)組中的每一個"foo"
$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"
對象操作
?? .foo, .foo.bar 獲取對象key的值
'.foo'代表獲取foo這個key
'.foo.bar' 代表獲取foo對象中的bar，它和上文介紹的 .foo|.bar相同
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo'
{
"bar": {
"baz": 123
}
}
$ echo '{ "foo": { "bar": { "baz": 123 } } }' | jq '.foo.bar'
{
"baz": 123
}
?? 如果對象的key包含特殊字符或者以數(shù)字開頭，使用'.foo'會報錯。此時需要使用雙引號包裹: ."foo$"、."1foo"
$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq '.1foo'
jq: error: syntax error, unexpected IDENT, expecting $end (Unix shell quoting issues?) at <top-level>, line 1:
.1foo
jq: 1 compile error
$ echo '{ "1foo": { "bar": { "baz": 123 } } }' | jq '."1foo"'
{
"bar": {
"baz": 123
}
}
??當(dāng)取值不是對象時jq默認(rèn)會報錯，如果想忽略報錯可以使用 .foo?
$ echo '[1,2,3]' | jq '.foo' jq: error (at <stdin>:1): Cannot index array with string "foo" $ echo '[1,2,3]' | jq '.foo?'
數(shù)組操作
?? .[2] 數(shù)組索引
數(shù)組索引也是從0開始，同時支持負(fù)數(shù)
$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[0]'
{
"name": "JSON",
"good": true
}
$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[-2]'
{
"name": "JSON",
"good": true
}
?? .[10:15] 數(shù)組切片
.[10:15] 包含從從0開始10（含）到15（不含）號元素，如果沒有值則默認(rèn)到頭/尾
$ echo '["a","b","c","d","e"]' | jq '.[1:3]' [ "b", "c" ] $ echo '["a","b","c","d","e"]' | jq '.[1:]' [ "b", "c", "d", "e" ]
數(shù)組/對象
?? .[] 遍歷
對于數(shù)組來說，會返回數(shù)組中的所有元素
$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[]'
{
"name": "JSON",
"good": true
}
{
"name": "XML",
"good": false
}
對于對象來說，會返回對象中的所有值
$ echo '{"a":1,"b":[1,2]}' | jq '.[]'
1
[
1,
2
]
結(jié)合上文提到管道，可以取出數(shù)組中的每一個field
$ echo '[{"name":"JSON", "good":true}, {"name":"XML", "good":false}]' | jq '.[] | .name'
"JSON"
"XML"
與shell結(jié)合的常見操作
?? 同時將json中的多個值賦值到多個變量
首先利用, 來同時解析多個json字段
其次用echo把多行輸出轉(zhuǎn)換成單行輸出
最后利用read讀取到多個變量里
$ read json xml <<< $(echo $(echo '{"foo":"JSON","bar":"XML"}' | jq -c '.foo, .bar')) && \
echo "json:$json,xml:$xml"
json:"JSON",xml:"XML"
?? 把多個json字段輸出到一行
上面使用echo是一種方式，還有一種更通用，尤其是處理數(shù)組時更方便的方式
利用@tsv處理，注意輸入需要是數(shù)組
# 不加處理
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r '.[] | .name, .good'
JSON
true
XML
false
# 利用@tsv處理，注意輸入需要是數(shù)組
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r '.[] | [.name, .good] | @tsv'
JSON true
XML false
# 還可以輸出csv格式的
$ echo '[{"name":"JSON","good":true},{"name":"XML","good":false}]' | jq -r '.[] | [.name, .good] | @csv'
"JSON",true
"XML",false
?? 遍歷數(shù)組
對數(shù)組中的每一個元素進行處理
$ echo '["a","b","c","d","e f"]' | jq -c '.[]' | while read i; do echo "val=${i}"; done
val="a"
val="b"
val="c"
val="d"
val="e f"
總結(jié)
以上主要介紹了用jq提取jso，更多關(guān)于jq命令操作JSON的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
find命令用來在指定目錄下查找文件，本文給大家整理了關(guān)于find命令的相關(guān)知識，感興趣的朋友跟隨小編一起看看吧2022-12-12
linux?中sed命令實現(xiàn)刪除文件的任意列(操作代碼)
這篇文章主要介紹了linux中sed命令實現(xiàn)刪除文件的任意列,本文通過實例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-06-06
本文主要介紹了shell腳本讀取命令行參數(shù)的實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-07-07
這篇文章主要介紹了shell腳本編程之case語句學(xué)習(xí)筆記,本文代碼中包含注釋來說明case語句的使用,需要的朋友可以參考下2014-09-09
這篇文章主要為大家詳細(xì)介紹了如何使用AWK在shell中生成日歷小程序，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
為了可以自動把網(wǎng)站上的css、js以及圖片等靜態(tài)資源放在又拍云存儲上，訪問速度明顯提高不少，下面簡單介紹下實現(xiàn)步驟，需要的朋友可以參考下2013-11-11
本文介紹Shell腳本實用的六個技巧示例：使用Shell腳本實現(xiàn)自動化備份、使用Shell腳本實現(xiàn)定時任務(wù)、使用Shell腳本實現(xiàn)遠(yuǎn)程登錄服務(wù)器、使用Shell腳本自動化部署應(yīng)用、使用Shell腳本實現(xiàn)快速部署開發(fā)環(huán)境、使用Shell腳本實現(xiàn)快速檢查服務(wù)器性能2023-11-11
這篇文章介紹了一些在Shell腳本中常用的特殊位置變量,如$n, $0, $#等,并詳細(xì)解釋了它們的功能和用法,感興趣的朋友跟隨小編一起看看吧2025-01-01
Shell腳本實現(xiàn)分析apache日志中ip所在的地區(qū)
這篇文章主要介紹了Shell腳本實現(xiàn)分析apache日志中ip所在的地區(qū),本文使用了一款nali工具實現(xiàn),需要的朋友可以參考下2014-12-12
這篇文章主要介紹了Shell獲取文件的文件名和擴展名的例子,簡明版的代碼實例,看了就懂,需要的朋友可以參考下2014-06-06