Python語(yǔ)言在科學(xué)計(jì)算和數(shù)據(jù)處理領(lǐng)域應(yīng)用前景廣闊。大數(shù)據(jù)時(shí)代，催生了人們處理大量數(shù)據(jù)的實(shí)際需求。Python應(yīng)用領(lǐng)域的拓展，越來(lái)越多的人將Python用于處理大型數(shù)值數(shù)據(jù)集，使用標(biāo)準(zhǔn)格式來(lái)進(jìn)行數(shù)據(jù)的存儲(chǔ)和通信也顯得越來(lái)越重要，而HDF5也正迅速成為人們存儲(chǔ)科學(xué)數(shù)據(jù)的選擇。本書(shū)會(huì)帶你迅速了解使用HDF5對(duì)大小從GB至TB的數(shù)字?jǐn)?shù)據(jù)集進(jìn)行存檔和共享的細(xì)節(jié)、實(shí)踐以及陷阱，體驗(yàn)在Python語(yǔ)言中用HDF5存儲(chǔ)科學(xué)數(shù)據(jù)。通過(guò)真實(shí)世界的例子以及動(dòng)手練習(xí)，你將依次學(xué)習(xí)科學(xué)數(shù)據(jù)集、層次性組織的組、用戶定義的元數(shù)據(jù)，以及有互操作性的文件等主題。本書(shū)的例子對(duì)于Python2和Python3都適用。 本書(shū)包括以下內(nèi)容：設(shè)置HDF5工具并創(chuàng)建HDF5文件。通過(guò)學(xué)習(xí)HDF5數(shù)據(jù)集對(duì)象來(lái)使用數(shù)據(jù)集。理解數(shù)據(jù)集分塊和壓縮等高級(jí)功能。使用組來(lái)學(xué)習(xí)如何利用HDF5層次性結(jié)構(gòu)。使用HDF5的屬性來(lái)添加元數(shù)據(jù)，創(chuàng)建可以自解釋的文件。利用HDF5的類(lèi)型系統(tǒng)創(chuàng)建有互操作性的文件。使用引用，命名類(lèi)型和維度標(biāo)尺來(lái)表示數(shù)據(jù)之間的關(guān)系。了解在Python中如何編寫(xiě)能跟HDF5互動(dòng)的并行代碼。本書(shū)生產(chǎn)力和創(chuàng)造力的推進(jìn)器的一個(gè)真實(shí)的例子。本書(shū)會(huì)讓你覺(jué)得'HDF5很簡(jiǎn)單'。

本書(shū)向任何有Python數(shù)據(jù)分析基本背景的人介紹如何在Python下使用HDF5。 本書(shū)將著重于HDF5的本地功能集，而不是Python的高層抽象。熟悉Python和NumPy的讀者，更容易閱讀和掌握本書(shū)的內(nèi)容。本書(shū)適合有基礎(chǔ)的Python開(kāi)發(fā)者，尤其適合要使用Python開(kāi)發(fā)數(shù)據(jù)存儲(chǔ)和處理等相關(guān)應(yīng)用的讀者閱讀參考。

目錄

1章 簡(jiǎn)介1
1.1 Python和HDF52
1.1.1 數(shù)據(jù)和元數(shù)據(jù)的組織2
1.1.2 大數(shù)據(jù)復(fù)制3
1.2 HDF5到底是什么4
1.2.1 HDF5文件規(guī)格5
1.2.2 HDF5標(biāo)準(zhǔn)庫(kù)6
1.2.3 HDF5生態(tài)系統(tǒng)6
第2章 開(kāi)始使用7
2.1 HDF基本原理7
2.2 設(shè)置8
2.2.1 Python2還是Python38
2.2.2 代碼示例9
2.2.3 NumPy9
2.2.4 HDF5和h5py11
2.2.5 IPython11
2.2.6 時(shí)間和優(yōu)化12
2.3 HDF5工具13
2.3.1 HDFView13
2.3.2 ViTables14
2.3.3 命令行工具15
2.4 你的**個(gè)HDF5文件16
2.4.1 使用環(huán)境管理器17
2.4.2 文件驅(qū)動(dòng)18
2.4.3 用戶塊19
第3章 使用數(shù)據(jù)集20
3.1 數(shù)據(jù)集基礎(chǔ)20
3.1.1 類(lèi)型和形狀20
3.1.2 讀和寫(xiě)21
3.1.3 創(chuàng)建空數(shù)據(jù)集22
3.1.4 顯式指定存儲(chǔ)類(lèi)型來(lái)節(jié)省空間22
3.1.5 自動(dòng)類(lèi)型轉(zhuǎn)換和直讀23
3.1.6 用astype讀24
3.1.7 改變形狀25
3.1.8 默認(rèn)填充值25
3.2 讀寫(xiě)數(shù)據(jù)25
3.2.1 高效率切片26
3.2.2 start-stop-step索引27
3.2.3 多維切片和標(biāo)量切片28
3.2.4 布爾索引29
3.2.5 坐標(biāo)列表30
3.2.6 自動(dòng)廣播31
3.2.7 直讀入一個(gè)已存在的數(shù)組32
3.2.8 數(shù)據(jù)類(lèi)型注解33
3.3 改變數(shù)據(jù)集的形狀34
3.3.1 創(chuàng)建可變形數(shù)據(jù)集35
3.3.2 用resize重新組織數(shù)據(jù)36
3.3.3 何時(shí)以及如何進(jìn)行resize37
第4章 讓分塊和壓縮來(lái)幫忙38
4.1 連續(xù)存儲(chǔ)38
4.2 分塊存儲(chǔ)40
4.3 設(shè)置分塊形狀41
4.3.1 自動(dòng)分塊41
4.3.2 手動(dòng)選擇一個(gè)形狀42
4.4 性能實(shí)例：可變形數(shù)據(jù)集43
4.5 過(guò)濾器和壓縮44
4.5.1 過(guò)濾器流水線45
4.5.2 壓縮過(guò)濾器45
4.5.3 GZIP/DEFLATE壓縮器46
4.5.4 SZIP壓縮器46
4.5.5 LZF壓縮器47
4.5.6 性能47
4.6 其他過(guò)濾器48
4.6.1 SHUFFLE過(guò)濾器48
4.6.2 FLETCHER32過(guò)濾器49
4.7 第三方過(guò)濾器50
第5章 組、鏈接和迭代：HDF5的層次性51
5.1 根組和子組51
5.2 組的基本原理52
5.2.1 字典風(fēng)格的訪問(wèn)52
5.2.2 特殊屬性53
5.3 使用鏈接53
5.3.1 硬鏈接53
5.3.2 剩余空間和重新打包55
5.3.3 軟鏈接55
5.3.4 外部鏈接56
5.3.5 對(duì)象名字注解58
5.3.6 用get決定對(duì)象類(lèi)型58
5.3.7 用require簡(jiǎn)化你的應(yīng)用程序59
5.4 迭代和容器60
5.4.1 組如何存儲(chǔ)61
5.4.2 字典風(fēng)格的遍歷61
5.4.3 測(cè)試存在性62
5.5 用Visitor模式多級(jí)遍歷63
5.5.1 以名字訪問(wèn)63
5.5.2 多個(gè)鏈接和visit64
5.5.3 訪問(wèn)對(duì)象65
5.5.4 遍歷中止：一個(gè)簡(jiǎn)單的搜索策略66
5.6 復(fù)制對(duì)象66
5.7 對(duì)象比較和哈希67
第6章 用特征存儲(chǔ)元數(shù)據(jù)69
6.1 特征基本原理69
6.1.1 類(lèi)型猜測(cè)70
6.1.2 字符串和文件匹配72
6.1.3 Python對(duì)象73
6.1.4 顯式指定類(lèi)型74
6.2 真實(shí)世界的例子：粒子加速數(shù)據(jù)庫(kù)76
6.2.1 基于HDF5的應(yīng)用格式76
6.2.2 數(shù)據(jù)分析77
第7章 更多關(guān)于類(lèi)型79
7.1 HDF5類(lèi)型系統(tǒng)79
7.2 整型和浮點(diǎn)80
7.3 定長(zhǎng)字符串81
7.4 變長(zhǎng)字符串81
7.4.1 變長(zhǎng)字符串的數(shù)據(jù)類(lèi)型82
7.4.2 變長(zhǎng)字符串?dāng)?shù)據(jù)集的使用83
7.4.3 字節(jié)字符串和Unicode字符串83
7.4.4 使用Unicode字符串84
7.4.5 不要在字符串中保存二進(jìn)制數(shù)據(jù)85
7.4.6 確保你Python 2程序的未來(lái)85
7.5 復(fù)合類(lèi)型85
7.6 復(fù)數(shù)類(lèi)型87
7.7 枚舉類(lèi)型87
7.8 布爾類(lèi)型88
7.9 數(shù)組類(lèi)型89
7.10 不透明類(lèi)型90
7.11 日期和時(shí)間91
第8章 通過(guò)引用、類(lèi)型和維度標(biāo)尺來(lái)組織數(shù)據(jù)92
8.1 對(duì)象引用92
8.1.1 創(chuàng)建和解引用92
8.1.2 引用是一種“永不失效”的鏈接93
8.1.3 引用是一種數(shù)據(jù)94
8.2 區(qū)域引用95
8.2.1 創(chuàng)建和讀取區(qū)域引用95
8.2.2 復(fù)雜索引96
8.2.3 用區(qū)域引用獲得數(shù)據(jù)集96
8.3 命名類(lèi)型97
8.3.1 數(shù)據(jù)類(lèi)型對(duì)象97
8.3.2 鏈接命名類(lèi)型98
8.3.3 管理命名類(lèi)型98
8.4 維度標(biāo)尺98
8.4.1 創(chuàng)建維度標(biāo)尺99
8.4.2 在數(shù)據(jù)集上添加標(biāo)尺100
第9章 HDF5并發(fā)性：多線程和多進(jìn)程102
9.1 Python并發(fā)的基本概念102
9.2 多線程103
9.3 多進(jìn)程105
9.4 MPI和并發(fā)HDF5108
9.4.1 一個(gè)非常快速的MPI介紹108
9.4.2 基于MPI的HDF5程序109
9.4.3 集體操作和獨(dú)立操作110
9.4.4 原子操作模式111
0章 下一步114
10.1 尋求幫助114
10.2 做出貢獻(xiàn)115