Python語言在科學計算和數(shù)據(jù)處理領(lǐng)域應(yīng)用前景廣闊。大數(shù)據(jù)時代，催生了人們處理大量數(shù)據(jù)的實際需求。Python應(yīng)用領(lǐng)域的拓展，越來越多的人將Python用于處理大型數(shù)值數(shù)據(jù)集，使用標準格式來進行數(shù)據(jù)的存儲和通信也顯得越來越重要，而HDF5也正迅速成為人們存儲科學數(shù)據(jù)的選擇。本書會帶你迅速了解使用HDF5對大小從GB至TB的數(shù)字數(shù)據(jù)集進行存檔和共享的細節(jié)、實踐以及陷阱，體驗在Python語言中用HDF5存儲科學數(shù)據(jù)。通過真實世界的例子以及動手練習，你將依次學習科學數(shù)據(jù)集、層次性組織的組、用戶定義的元數(shù)據(jù)，以及有互操作性的文件等主題。本書的例子對于Python2和Python3都適用。 本書包括以下內(nèi)容：設(shè)置HDF5工具并創(chuàng)建HDF5文件。通過學習HDF5數(shù)據(jù)集對象來使用數(shù)據(jù)集。理解數(shù)據(jù)集分塊和壓縮等高級功能。使用組來學習如何利用HDF5層次性結(jié)構(gòu)。使用HDF5的屬性來添加元數(shù)據(jù)，創(chuàng)建可以自解釋的文件。利用HDF5的類型系統(tǒng)創(chuàng)建有互操作性的文件。使用引用，命名類型和維度標尺來表示數(shù)據(jù)之間的關(guān)系。了解在Python中如何編寫能跟HDF5互動的并行代碼。本書生產(chǎn)力和創(chuàng)造力的推進器的一個真實的例子。本書會讓你覺得'HDF5很簡單'。

本書向任何有Python數(shù)據(jù)分析基本背景的人介紹如何在Python下使用HDF5。 本書將著重于HDF5的本地功能集，而不是Python的高層抽象。熟悉Python和NumPy的讀者，更容易閱讀和掌握本書的內(nèi)容。本書適合有基礎(chǔ)的Python開發(fā)者，尤其適合要使用Python開發(fā)數(shù)據(jù)存儲和處理等相關(guān)應(yīng)用的讀者閱讀參考。

目錄

1章 簡介1
1.1 Python和HDF52
1.1.1 數(shù)據(jù)和元數(shù)據(jù)的組織2
1.1.2 大數(shù)據(jù)復制3
1.2 HDF5到底是什么4
1.2.1 HDF5文件規(guī)格5
1.2.2 HDF5標準庫6
1.2.3 HDF5生態(tài)系統(tǒng)6
第2章 開始使用7
2.1 HDF基本原理7
2.2 設(shè)置8
2.2.1 Python2還是Python38
2.2.2 代碼示例9
2.2.3 NumPy9
2.2.4 HDF5和h5py11
2.2.5 IPython11
2.2.6 時間和優(yōu)化12
2.3 HDF5工具13
2.3.1 HDFView13
2.3.2 ViTables14
2.3.3 命令行工具15
2.4 你的**個HDF5文件16
2.4.1 使用環(huán)境管理器17
2.4.2 文件驅(qū)動18
2.4.3 用戶塊19
第3章 使用數(shù)據(jù)集20
3.1 數(shù)據(jù)集基礎(chǔ)20
3.1.1 類型和形狀20
3.1.2 讀和寫21
3.1.3 創(chuàng)建空數(shù)據(jù)集22
3.1.4 顯式指定存儲類型來節(jié)省空間22
3.1.5 自動類型轉(zhuǎn)換和直讀23
3.1.6 用astype讀24
3.1.7 改變形狀25
3.1.8 默認填充值25
3.2 讀寫數(shù)據(jù)25
3.2.1 高效率切片26
3.2.2 start-stop-step索引27
3.2.3 多維切片和標量切片28
3.2.4 布爾索引29
3.2.5 坐標列表30
3.2.6 自動廣播31
3.2.7 直讀入一個已存在的數(shù)組32
3.2.8 數(shù)據(jù)類型注解33
3.3 改變數(shù)據(jù)集的形狀34
3.3.1 創(chuàng)建可變形數(shù)據(jù)集35
3.3.2 用resize重新組織數(shù)據(jù)36
3.3.3 何時以及如何進行resize37
第4章 讓分塊和壓縮來幫忙38
4.1 連續(xù)存儲38
4.2 分塊存儲40
4.3 設(shè)置分塊形狀41
4.3.1 自動分塊41
4.3.2 手動選擇一個形狀42
4.4 性能實例：可變形數(shù)據(jù)集43
4.5 過濾器和壓縮44
4.5.1 過濾器流水線45
4.5.2 壓縮過濾器45
4.5.3 GZIP/DEFLATE壓縮器46
4.5.4 SZIP壓縮器46
4.5.5 LZF壓縮器47
4.5.6 性能47
4.6 其他過濾器48
4.6.1 SHUFFLE過濾器48
4.6.2 FLETCHER32過濾器49
4.7 第三方過濾器50
第5章 組、鏈接和迭代：HDF5的層次性51
5.1 根組和子組51
5.2 組的基本原理52
5.2.1 字典風格的訪問52
5.2.2 特殊屬性53
5.3 使用鏈接53
5.3.1 硬鏈接53
5.3.2 剩余空間和重新打包55
5.3.3 軟鏈接55
5.3.4 外部鏈接56
5.3.5 對象名字注解58
5.3.6 用get決定對象類型58
5.3.7 用require簡化你的應(yīng)用程序59
5.4 迭代和容器60
5.4.1 組如何存儲61
5.4.2 字典風格的遍歷61
5.4.3 測試存在性62
5.5 用Visitor模式多級遍歷63
5.5.1 以名字訪問63
5.5.2 多個鏈接和visit64
5.5.3 訪問對象65
5.5.4 遍歷中止：一個簡單的搜索策略66
5.6 復制對象66
5.7 對象比較和哈希67
第6章 用特征存儲元數(shù)據(jù)69
6.1 特征基本原理69
6.1.1 類型猜測70
6.1.2 字符串和文件匹配72
6.1.3 Python對象73
6.1.4 顯式指定類型74
6.2 真實世界的例子：粒子加速數(shù)據(jù)庫76
6.2.1 基于HDF5的應(yīng)用格式76
6.2.2 數(shù)據(jù)分析77
第7章 更多關(guān)于類型79
7.1 HDF5類型系統(tǒng)79
7.2 整型和浮點80
7.3 定長字符串81
7.4 變長字符串81
7.4.1 變長字符串的數(shù)據(jù)類型82
7.4.2 變長字符串數(shù)據(jù)集的使用83
7.4.3 字節(jié)字符串和Unicode字符串83
7.4.4 使用Unicode字符串84
7.4.5 不要在字符串中保存二進制數(shù)據(jù)85
7.4.6 確保你Python 2程序的未來85
7.5 復合類型85
7.6 復數(shù)類型87
7.7 枚舉類型87
7.8 布爾類型88
7.9 數(shù)組類型89
7.10 不透明類型90
7.11 日期和時間91
第8章 通過引用、類型和維度標尺來組織數(shù)據(jù)92
8.1 對象引用92
8.1.1 創(chuàng)建和解引用92
8.1.2 引用是一種“永不失效”的鏈接93
8.1.3 引用是一種數(shù)據(jù)94
8.2 區(qū)域引用95
8.2.1 創(chuàng)建和讀取區(qū)域引用95
8.2.2 復雜索引96
8.2.3 用區(qū)域引用獲得數(shù)據(jù)集96
8.3 命名類型97
8.3.1 數(shù)據(jù)類型對象97
8.3.2 鏈接命名類型98
8.3.3 管理命名類型98
8.4 維度標尺98
8.4.1 創(chuàng)建維度標尺99
8.4.2 在數(shù)據(jù)集上添加標尺100
第9章 HDF5并發(fā)性：多線程和多進程102
9.1 Python并發(fā)的基本概念102
9.2 多線程103
9.3 多進程105
9.4 MPI和并發(fā)HDF5108
9.4.1 一個非?？焖俚腗PI介紹108
9.4.2 基于MPI的HDF5程序109
9.4.3 集體操作和獨立操作110
9.4.4 原子操作模式111
0章 下一步114
10.1 尋求幫助114
10.2 做出貢獻115