本書(shū)基于作者近幾年來(lái)的研究開(kāi)發(fā)成果及應(yīng)用實(shí)踐，對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系進(jìn)行了系統(tǒng)歸納，闡述了物聯(lián)網(wǎng)環(huán)境下感知數(shù)據(jù)的特性、數(shù)據(jù)模型、事務(wù)模型以及調(diào)度處理方法等核心概念及關(guān)鍵技術(shù)，并對(duì)物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)、管理、計(jì)算與分析的基本概念和關(guān)鍵技術(shù)進(jìn)行了剖析。本書(shū)還介紹了自行研發(fā)的面向物聯(lián)網(wǎng)的ChinDB實(shí)時(shí)感知數(shù)據(jù)庫(kù)系統(tǒng)以及針對(duì)云計(jì)算環(huán)境下物聯(lián)網(wǎng)大數(shù)據(jù)管理與應(yīng)用的DeCloud云平臺(tái)，介紹了它們?cè)谥悄芙煌?、智能電廠、教育、安全監(jiān)控等多個(gè)行業(yè)的應(yīng)用。書(shū)中所有實(shí)例，均來(lái)自作者所在團(tuán)隊(duì)的實(shí)際應(yīng)用，大部分在物聯(lián)網(wǎng)項(xiàng)目中得到了實(shí)踐應(yīng)用。本書(shū)對(duì)物聯(lián)網(wǎng)應(yīng)用的開(kāi)發(fā)以及兩化融合、工業(yè)4.0環(huán)境下的大數(shù)據(jù)處理分析具有重要參考價(jià)值。

目錄

第1篇 緣起與發(fā)展趨勢(shì)篇
第1章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展 3
1.1 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展 3
1.1.1 傳感器與智能硬件 4
1.1.2 物聯(lián)網(wǎng)服務(wù)平臺(tái) 5
1.1.3 工業(yè)4.0與CPS 5
1.2 物聯(lián)網(wǎng)與大數(shù)據(jù) 7
1.3 物聯(lián)網(wǎng)產(chǎn)業(yè)的機(jī)遇與挑戰(zhàn) 9
1.3.1 物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn) 9
1.3.2 物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫(kù) 10
1.3.3 物聯(lián)網(wǎng)大數(shù)據(jù)處理與應(yīng)用 11
第2章 大數(shù)據(jù)處理技術(shù)的發(fā)展 12
2.1 大數(shù)據(jù)存儲(chǔ)和管理技術(shù) 12
2.1.1 面向大數(shù)據(jù)的文件系統(tǒng) 13
2.1.2 面向大數(shù)據(jù)的數(shù)據(jù)庫(kù)系統(tǒng) 15
2.2 大數(shù)據(jù)計(jì)算技術(shù) 19
2.2.1 批處理計(jì)算模式 19
2.2.2 交互式查詢(xún)計(jì)算模式 20
2.2.3 流處理計(jì)算模式 21
2.2.4 大數(shù)據(jù)實(shí)時(shí)處理的架構(gòu)：Lamda架構(gòu) 23
2.3 大數(shù)據(jù)分析技術(shù) 24
2.3.1 傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析 26
2.3.2 文本數(shù)據(jù)分析 26
2.3.3 多媒體數(shù)據(jù)分析 27
2.3.4 社交網(wǎng)絡(luò)數(shù)據(jù)分析 27
2.3.5 物聯(lián)網(wǎng)傳感數(shù)據(jù)分析 28
2.3.6 大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢(shì) 28
第2篇 技術(shù)解析篇
第3章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系 31
3.1 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn) 31
3.1.1 互聯(lián)網(wǎng)大數(shù)據(jù)的特征 31
3.1.2 物聯(lián)網(wǎng)大數(shù)據(jù)的特征 34
3.2 技術(shù)體系 37
3.2.1 感知數(shù)據(jù)采集與傳輸 38
3.2.2 感知數(shù)據(jù)管理與實(shí)時(shí)計(jì)算 41
3.2.3 物聯(lián)網(wǎng)平臺(tái)與大數(shù)據(jù)中心 42
第4章 感知數(shù)據(jù)特性與模型 44
4.1 感知數(shù)據(jù)的特性分析 44
4.1.1 常用的感知數(shù)據(jù)類(lèi)型 44
4.1.2 感知數(shù)據(jù)的主要特征 46
4.2 感知數(shù)據(jù)的表示與組織 49
4.2.1 物聯(lián)網(wǎng)數(shù)據(jù)模型 49
4.2.2 時(shí)態(tài)對(duì)象模型 51
4.3 感知數(shù)據(jù)庫(kù)的定位 52
4.3.1 感知數(shù)據(jù)庫(kù)的定位 52
4.3.2 感知數(shù)據(jù)庫(kù)的特征 53
4.4 感知數(shù)據(jù)庫(kù)與傳統(tǒng)數(shù)據(jù)庫(kù) 53
4.4.1 感知數(shù)據(jù)庫(kù)與關(guān)系數(shù)據(jù)庫(kù) 53
4.4.2 感知數(shù)據(jù)庫(kù)與實(shí)時(shí)數(shù)據(jù)庫(kù)系統(tǒng) 54
4.4.3 感知數(shù)據(jù)庫(kù)與工廠數(shù)據(jù)庫(kù)系統(tǒng) 55
4.4.4 感知數(shù)據(jù)庫(kù)與流數(shù)據(jù)處理系統(tǒng) 55
第5章 感知數(shù)據(jù)庫(kù)管理系統(tǒng) 57
5.1 感知數(shù)據(jù)庫(kù)的總體設(shè)計(jì) 57
5.1.1 總體設(shè)計(jì)的主要原則 57
5.1.2 感知數(shù)據(jù)庫(kù)的設(shè)計(jì)框架 58
5.2 感知數(shù)據(jù)庫(kù)的分布部署體系 62
5.2.1 系統(tǒng)的集群部署模式 62
5.2.2 多層級(jí)的系統(tǒng)部署體系 64
5.2.3 服務(wù)分布的部署體系 66
5.3 感知數(shù)據(jù)庫(kù)中的關(guān)鍵技術(shù) 67
5.3.1 智能設(shè)備及傳感器接口技術(shù) 67
5.3.2 流數(shù)據(jù)實(shí)時(shí)在線處理技術(shù) 68
5.3.3 事件驅(qū)動(dòng)的高效處理機(jī)制 69
5.3.4 感知數(shù)據(jù)的壓縮存儲(chǔ)技術(shù) 75
第6章 實(shí)時(shí)事務(wù)調(diào)度處理技術(shù) 79
6.1 常見(jiàn)事務(wù)特性分析 79
6.1.1 感知事務(wù) 80
6.1.2 觸發(fā)事務(wù) 80
6.1.3 用戶(hù)事務(wù) 81
6.2 事務(wù)調(diào)度與并發(fā)控制 81
6.2.1 事務(wù)的調(diào)度方法 81
6.2.2 并發(fā)控制策略 82
6.3 服務(wù)器與操作系統(tǒng) 83
6.3.1 服務(wù)器體系結(jié)構(gòu)與發(fā)展 83
6.3.2 操作系統(tǒng)的多任務(wù)機(jī)制 87
6.4 事務(wù)的執(zhí)行框架與模式 90
6.4.1 通用系統(tǒng)模型與調(diào)度方法 91
6.4.2 事務(wù)處理框架的設(shè)計(jì)模式 91
6.5 系統(tǒng)框架的分析與性能優(yōu)化 94
第7章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理 97
7.1 云文件系統(tǒng)的關(guān)鍵技術(shù) 99
7.1.1 HDFS的目標(biāo)和基本假設(shè)條件 99
7.1.2 HDFS體系架構(gòu) 100
7.1.3 性能保障 102
7.2 NoSQL數(shù)據(jù)庫(kù)關(guān)鍵技術(shù) 106
7.2.1 NoSQL數(shù)據(jù)庫(kù)概述 106
7.2.2 基于NoSQL數(shù)據(jù)庫(kù)的物聯(lián)網(wǎng)大數(shù)據(jù)存儲(chǔ)與管理 118
第8章 物聯(lián)網(wǎng)大數(shù)據(jù)計(jì)算與分析 123
8.1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計(jì)算 123
8.1.1 MapReduce的設(shè)計(jì)思想 124
8.1.2 MapReduce的工作機(jī)制 126
8.1.3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用 128
8.2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢(xún) 130
8.2.1 原生SQL on HBase 131
8.2.2 SQL on Hadoop 132
8.2.3 基于HBase的交互式查詢(xún) 133
8.3 物聯(lián)網(wǎng)大數(shù)據(jù)流式計(jì)算 134
8.3.1 流式計(jì)算的需求特點(diǎn) 134
8.3.2 流數(shù)據(jù)基本概念 135
8.3.3 流數(shù)據(jù)查詢(xún)操作 140
8.3.4 流數(shù)據(jù)定制化服務(wù) 142
8.3.5 評(píng)測(cè)基準(zhǔn) 145
8.3.6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應(yīng)用 146
8.4 物聯(lián)網(wǎng)大數(shù)據(jù)分析 150
8.4.1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析 151
8.4.2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析 157
第3篇 產(chǎn)品研發(fā)篇
第9章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne 175
9.1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān) 175
9.1.1 CubeOne產(chǎn)品概述 175
9.1.2 CubeOne功能特點(diǎn) 176
9.1.3 CubeOne的應(yīng)用領(lǐng)域 178
9.2 無(wú)線傳感器網(wǎng)絡(luò)網(wǎng)關(guān) 178
9.2.1 無(wú)線傳感器網(wǎng)絡(luò)概述 178
9.2.2 ZigBee-WiFi網(wǎng)關(guān) 180
9.2.3 ZigBee網(wǎng)絡(luò)應(yīng)用案例 182
第10章 ChinDB感知數(shù)據(jù)庫(kù)系統(tǒng) 185
10.1 ChinDB系統(tǒng)概述 185
10.2 ChinDB組成與功能特點(diǎn) 186
10.3 ChinDB數(shù)據(jù)組織管理 188
10.3.1 標(biāo)簽點(diǎn)及其屬性 188
10.3.2 標(biāo)簽點(diǎn)的組織方式 189
10.3.3 關(guān)系數(shù)據(jù)管理 190
10.3.4 歷史數(shù)據(jù)管理 190
10.4 ECA規(guī)則與實(shí)時(shí)計(jì)算 191
10.5 ChinDB的HA方案 192
10.5.1 HA概述及模式分類(lèi) 192
10.5.2 ChinDB HA的部署模式 193
10.6 物聯(lián)網(wǎng)應(yīng)用平臺(tái) 195
10.6.1 物聯(lián)網(wǎng)平臺(tái)概述 195
10.6.2 平臺(tái)主要特點(diǎn) 196
10.6.3 應(yīng)用領(lǐng)域與應(yīng)用案例 198
第11章 DeCloud物聯(lián)大數(shù)據(jù)云平臺(tái) 202
11.1 DeCloud組成 202
11.1.1 軟件概述 202
11.1.2 通信服務(wù) 204
11.1.3 計(jì)算服務(wù) 206
11.1.4 存儲(chǔ)服務(wù) 207
11.1.5 數(shù)據(jù)發(fā)布/訂閱服務(wù) 208
11.2 DeCloud在智能交通領(lǐng)域的應(yīng)用 209
11.3 DeCloud在教育物聯(lián)網(wǎng)云服務(wù)平臺(tái)中的應(yīng)用 215
11.4 DeCloud在電廠設(shè)備故障預(yù)警的應(yīng)用 218
11.5 DeCloud在電梯安全監(jiān)控中的應(yīng)用 222
11.6 DeCloud在高精度位置服務(wù)中的應(yīng)用 225
總結(jié)與展望