快捷導(dǎo)航

python glom模塊的使用簡(jiǎn)介

更新時(shí)間：2021年04月12日 15:16:53 作者：派森醬

這篇文章主要介紹了python glom模塊的使用簡(jiǎn)介，幫助大家更好的利用python處理數(shù)據(jù)，感興趣的朋友可以了解下

工欲善其事，必先利其器！我們想要更輕松更有效率地開(kāi)發(fā)，必須學(xué)會(huì)一些“高級(jí)”技能。前不久看到一位 Python 高僧的代碼，其中使用了一個(gè)短小精悍的模塊，我認(rèn)為還蠻有用的，今天分享給大家。

這個(gè)模塊就叫 glom ，是 Python 處理數(shù)據(jù)的一個(gè)小模塊，它具有如下特點(diǎn)：

嵌套結(jié)構(gòu)并基于路徑訪問(wèn)
使用輕量級(jí)的Pythonic規(guī)范進(jìn)行聲明性數(shù)據(jù)轉(zhuǎn)換
可讀、有意義的錯(cuò)誤信息
內(nèi)置數(shù)據(jù)探測(cè)和調(diào)試功能

看起來(lái)比較抽象，對(duì)不對(duì)？下面我們用實(shí)例來(lái)給大家演示一下。

安裝

作為 Python 內(nèi)置模塊，相信你一定知道怎么安裝：

pip3 install glom

幾秒鐘就搞定！

簡(jiǎn)單使用

我們來(lái)看看最簡(jiǎn)單的用法：

d = {"a": {"b": {"c": 1}}}
print(glom(d, "a.b.c")) # 1

在這里，我們有一個(gè)嵌套三層的 json 結(jié)構(gòu)，我們想獲取最里層的 c 對(duì)應(yīng)的值，正常的寫(xiě)法應(yīng)該是：

print(d["a"]["b"]["c"])

如果到這里，我說(shuō) glom 比傳統(tǒng)方式好一些，因?yàn)槟悴挥靡粚訉拥貙?xiě)中括號(hào)和引號(hào)，你會(huì)不會(huì)嗤之以鼻？

好，我們?cè)賮?lái)看看下面的情況：

d = {"a": {"b": None}}
print(d["a"]["b"]["c"])

遍歷到一個(gè) None 對(duì)象，你會(huì)收到下面的錯(cuò)誤：

Traceback (most recent call last):
  File "/Users/cxhuan/Documents/python_workspace/mypy/pmodules/pglom/glomstudy.py", line 10, in <module>
    print(d["a"]["b"]["c"])
TypeError: 'NoneType' object is not subscriptable

我們來(lái)看看 glom 的處理方式：

from glom import glom

d = {"a": {"b": None}}
print(glom(d, "a.b.c"))

同樣地，glom 不能把錯(cuò)誤的輸出成對(duì)的，你會(huì)得到以下錯(cuò)誤：

Traceback (most recent call last):
  File "/Users/cxhuan/Documents/python_workspace/mypy/pmodules/pglom/glomstudy.py", line 11, in <module>
    print(glom(d, "a.b.c"))
  File "/Library/Frameworks/Python.framework/Versions/3.7/lib/python3.7/site-packages/glom/core.py", line 2181, in glom
    raise err
glom.core.PathAccessError: error raised while processing, details below.
 Target-spec trace (most recent last):
 - Target: {'a': {'b': None}}
 - Spec: 'a.b.c'
glom.core.PathAccessError: could not access 'c', part 2 of Path('a', 'b', 'c'), got error: AttributeError("'NoneType' object has no attribute 'c'")

如果你仔細(xì)看報(bào)錯(cuò)內(nèi)容，你就會(huì)發(fā)現(xiàn)這報(bào)錯(cuò)內(nèi)容極其詳細(xì)，一目了然，這對(duì)于找程序 bug 簡(jiǎn)直是神器！

復(fù)雜用法

剛才簡(jiǎn)單的例子，讓大家對(duì) glom 有了直觀的認(rèn)識(shí)，接下來(lái)我們看看 glom 的 glom 方法的定義：

glom(target, spec, **kwargs)

我們看看參數(shù)的含義：

target：目標(biāo)數(shù)據(jù)，可以是dict、list或者其他任何對(duì)象
spec：是我們希望輸出的內(nèi)容

下面我們來(lái)使用這個(gè)方法。

先看一個(gè)例子。我們有一個(gè) dict ，想要獲取出所有 name 的值，我們可以通過(guò) glom 來(lái)實(shí)現(xiàn)：

data = {"student": {"info": [{"name": "張三"}, {"name": "李四"}]}}
info = glom(data, ("student.info", ["name"]))
print(info) # ['張三', '李四']

如果用傳統(tǒng)方式的話，我們可能會(huì)需要遍歷才能獲取到，但是使用 glom ，我們只需要一行代碼就可以了，輸出是一個(gè)數(shù)組。

如果你不想輸出數(shù)組，而是想要一個(gè) dict 的話，那也是很簡(jiǎn)單的：

info = glom(data, {"info": ("student.info", ["name"])})
print(info) # {'info': ['張三', '李四']

我們只需要將原來(lái)的數(shù)組賦值給一個(gè)字典來(lái)接收就好了。

搞定麻煩需求

假如我現(xiàn)在有兩組數(shù)據(jù)，我要取出 name 的值：

data_1 = {"school": {"student": [{"name": "張三"}, {"name": "李四"}]}}
data_2 = {"school": {"teacher": [{"name": "王老師"}, {"name": "趙老師"}]}}

spec_1 = {"name": ("school.student", ["name"])}
spec_2 = {"name": ("school.teacher", ["name"])}
print(glom(data_1, spec_1)) # {'name': ['張三', '李四']}
print(glom(data_2, spec_2)) # {'name': ['王老師', '趙老師']}

我們通常是這么寫(xiě)，對(duì)嗎？假如我們有好多組數(shù)據(jù)，每組都是類似的取法呢？這時(shí)候我們就會(huì)想辦法避免一個(gè)個(gè)重復(fù)寫(xiě) N 行參數(shù)了，我們可以使用 Coalesce 方法：

data_1 = {"school": {"student": [{"name": "張三"}, {"name": "李四"}]}}
data_2 = {"school": {"teacher": [{"name": "王老師"}, {"name": "趙老師"}]}}

spec = {"name": (Coalesce("school.student", "school.teacher"), ["name"])}
 
print(glom(data_1, spec)) # {'name': ['張三', '李四']}
print(glom(data_2, spec)) # {'name': ['王老師', '趙老師']}

我們可以用 Coalesce 把多個(gè)需求聚合起來(lái)，然后針對(duì)同一個(gè) spec 來(lái)取值就行了。

下面再來(lái)一個(gè)大殺器——取值計(jì)算。glom 還可以對(duì)取值進(jìn)行簡(jiǎn)單計(jì)算，我們來(lái)看例子：

data = {"school": {"student": [{"name": "張三", "age": 8}, {"name": "李四", "age": 10}]}}
spec = {"sum_age": ("school.student", ["age"], sum)}
print(glom(data, spec)) # {'sum_age': 18}