本書講解的是在R語言平臺上使用大數(shù)據(jù)技術構建可擴展機器學習模型的新技術成果。它全面展示了如何采用機器學習算法在原始數(shù)據(jù)的基礎上構建機器學習模型。本書還能讓那些希望利用ApacheHadoop、Hive、Pig和Spark來實現(xiàn)可擴展機器學習模型的讀者從中受益。

目錄

目錄
譯者序
關于作者
關于技術審稿人
致謝
第1章機器學習和R語言入門1
1.1了解發(fā)展歷程2
1.1.1統(tǒng)計學習2
1.1.2機器學習2
1.1.3人工智能3
1.1.4數(shù)據(jù)挖掘3
1.1.5數(shù)據(jù)科學4
1.2概率與統(tǒng)計5
1.2.1計數(shù)和概率的定義5
1.2.2事件和關系7
1.2.3隨機性、概率和分布8
1.2.4置信區(qū)間和假設檢驗9
1.3R語言入門13
1.3.1基本組成部分13
1.3.2R語言的數(shù)據(jù)結構14
1.3.3子集處理15
1.3.4函數(shù)和Apply系列17
1.4機器學習過程工作流19
1.4.1計劃19
1.4.2探索19
1.4.3構建20
1.4.4評估20
1.5其他技術20
1.6小結21
1.7參考資料21
第2章數(shù)據(jù)準備和探索22
2.1規(guī)劃數(shù)據(jù)收集23
2.1.1變量類型23
2.1.2數(shù)據(jù)格式24
2.1.3數(shù)據(jù)源29
2.2初始數(shù)據(jù)分析30
2.2.1初步印象30
2.2.2把多個數(shù)據(jù)源組織到一起32
2.2.3整理數(shù)據(jù)34
2.2.4補充更多信息36
2.2.5重塑37
2.3探索性數(shù)據(jù)分析38
2.3.1摘要統(tǒng)計量38
2.3.2矩41
2.4案例研究：信用卡欺詐46
2.4.1數(shù)據(jù)導入46
2.4.2數(shù)據(jù)變換47
2.4.3數(shù)據(jù)探索48
2.5小結49
2.6參考資料49
第3章抽樣與重抽樣技術50
3.1介紹抽樣技術50
3.2抽樣的術語51
3.2.1樣本51
3.2.2抽樣分布52
3.2.3總群體的均值和方差52
3.2.4樣本均值和方差52
3.2.5匯總的均值和方差52
3.2.6抽樣點53
3.2.7抽樣誤差53
3.2.8抽樣率53
3.2.9抽樣偏誤53
3.2.10無放回的抽樣53
3.2.11有放回的抽樣54
3.3信用卡欺詐：總群體的統(tǒng)計量54
3.3.1數(shù)據(jù)描述54
3.3.2總群體的均值55
3.3.3總群體的方差55
3.3.4匯總的均值和方差55
3.4抽樣在業(yè)務上的意義58
3.4.1抽樣的特征59
3.4.2抽樣的缺點59
3.5概率和非概率抽樣59
3.5.1非概率抽樣的類型60
3.6關于抽樣分布的統(tǒng)計理論61
3.6.1大數(shù)定律61
3.6.2中心極限定理63
3.7概率抽樣技術66
3.7.1總群體的統(tǒng)計量66
3.7.2簡單隨機抽樣69
3.7.3系統(tǒng)性隨機抽樣74
3.7.4分層隨機抽樣77
3.7.5聚類抽樣82
3.7.6自助抽樣86
3.8蒙特卡羅方法：接受-拒絕91
3.9通過抽樣節(jié)省計算開銷的定性分析93
3.10小結94
第4章R語言里的數(shù)據(jù)可視化95
4.1ggplot2組件包簡介96
4.2世界經(jīng)濟發(fā)展指標97
4.3折線圖97
4.4堆疊柱狀圖102
4.5散點圖106
4.6箱形圖107
4.7直方圖和密度圖109
4.8餅圖113
4.9相關圖114
4.10熱點圖116
4.11氣泡圖117
4.12瀑布圖120
4.13系統(tǒng)樹圖122
4.14關鍵字云124
4.15?；鶊D125
4.16時間序列圖127
4.17隊列圖128
4.18空間圖130
4.19小結133
4.20參考資料133
第5章特征工程135
5.1特征工程簡介136
5.1.1過濾器方法137
5.1.2包裝器方法137
5.1.3嵌入式方法138
5.2了解工作數(shù)據(jù)138
5.2.1數(shù)據(jù)摘要139
5.2.2因變量的屬性139
5.2.3特征的可用性：連續(xù)型或分類型141
5.2.4設置數(shù)據(jù)的假設142
5.3特征排名143
5.4變量子集的選擇146
5.4.1過濾器方法146
5.4.2包裝器方法149
5.4.3嵌入式方法154
5.5降維158
5.6特征工程核對清單161
5.7小結162
5.8參考資料162
第6章機器學習理論和實踐163
6.1機器學習的類型165
6.1.1有監(jiān)督學習166
6.1.2無監(jiān)督學習166
6.1.3半監(jiān)督學習166
6.1.4強化學習166
6.2機器學習算法的類別167
6.3實際環(huán)境的數(shù)據(jù)集170
6.3.1房產(chǎn)售價170
6.3.2購買偏好170
6.3.3Twitter訂閱和文章171
6.3.4乳腺癌171
6.3.5購物籃172
6.3.6亞馬遜美食評論172
6.4回歸分析173
6.5相關分析174
6.5.1線性回歸176
6.5.2簡單線性回歸177
6.5.3多元線性回歸180
6.5.4模型診斷：線性回歸182
6.5.5多項回歸191
6.5.6邏輯回歸194
6.5.7洛基（logit）變換195
6.5.8幾率比196
6.5.9模型診斷：邏輯回歸202
6.5.10多項邏輯回歸209
6.5.11廣義線性模型212
6.5.12結論213
6.6支持向量機213
6.6.1線性SVM214
6.6.2二元SVM分類模型215
6.6.3多類別SVM217
6.6.4結論218
6.7決策樹218
6.7.1決策樹的類型219
6.7.2決策指標220
6.7.3決策樹學習方法222
6.7.4集成樹235
6.7.5結論240
6.8樸素貝葉斯方法241
6.8.1條件概率241
6.8.2貝葉斯定理241
6.8.3先驗概率242
6.8.4后驗概率242
6.8.5似然和邊際似然242
6.8.6樸素貝葉斯方法242
6.8.7結論246
6.9聚類分析246
6.9.1聚類方法簡介247
6.9.2聚類算法247
6.9.3內(nèi)部評估255
6.9.4外部評估256
6.9.5結論257
6.10關聯(lián)規(guī)則挖掘258
6.10.1關聯(lián)概念簡介258
6.10.2規(guī)則挖掘算法259
6.10.3推薦算法265
6.10.4結論270
6.11人工神經(jīng)網(wǎng)絡271
6.11.1人類認知學習271
6.11.2感知器272
6.11.3Sigmoid神經(jīng)元274
6.11.4神經(jīng)網(wǎng)絡的體系架構275
6.11.5有監(jiān)督與無監(jiān)督的神經(jīng)網(wǎng)絡276
6.11.6神經(jīng)網(wǎng)絡的學習算法277
6.11.7前饋反向傳播278
6.11.8深度學習284
6.11.9結論289
6.12文本挖掘方法289
6.12.1文本挖掘簡介290
6.12.2文本摘要291
6.12.3TF-IDF292
6.12.4詞性標注294
6.12.5關鍵字云297
6.12.6文本分析：MicrosoftCognitiveServices297
6.12.7結論305
6.13在線機器學習算法305
6.13.1模糊C均值聚類306
6.13.2結論308
6.14構建模型的核對清單309
6.15小結309
6.16參考資料309
第7章機器學習模型的評估311
7.1數(shù)據(jù)集311
7.1.1房產(chǎn)售價312
7.1.2購買偏好313
7.2模型性能和評估入門314
7.3模型性能評估的目標315
7.4總群體的穩(wěn)定性指數(shù)316
7.5連續(xù)型輸出的模型評估320
7.5.1平均絕對誤差321
7.5.2均方根誤差323
7.5.3R2324
7.6離散型輸出的模型評估326
7.6.1分類矩陣327
7.6.2靈敏度和特異性330
7.6.3ROC曲線下的面積331
7.7概率技術334
7.7.1K折交叉驗證334
7.7.2自助抽樣336
7.8Kappa誤差指標337
7.9小結340
7.10參考資料341
第8章模型性能改進342
8.1機器學習和統(tǒng)計建模343
8.2Caret組件包概述344
8.3超參數(shù)簡介346
8.4超參數(shù)優(yōu)化348
8.4.1人工搜索349
8.4.2人工網(wǎng)格搜索351
8.4.3自動網(wǎng)格搜索353
8.4.4最優(yōu)搜索354
8.4.5隨機搜索356
8.4.6自定義搜索357
8.5偏誤和方差權衡359
8.5.1裝袋或自助聚合363
8.5.2增強363
8.6集成學習簡介363
8.6.1投票集成364
8.6.2集成學習中的高級方法365
8.7在R語言里演示集成技術367
8.7.1裝袋樹367
8.7.2決策樹的梯度增強369
8.7.3混合knn和rpart372
8.7.4利用caretEnemble進行堆疊374
8.8高級主題：機器學習模型的貝葉斯優(yōu)化377
8.9小結381
8.10參考資料382
第9章可擴展機器學習和相關技術384
9.1分布式處理和存儲384
9.1.1GoogleFileSystem385
9.1.2MapReduce386
9.1.3R語言里的并行執(zhí)行386
9.2Hadoop生態(tài)系統(tǒng)389
9.2.1MapReduce390
9.2.2Hive393
9.2.3ApachePig396
9.2.4HBase399
9.2.5Spark400
9.3在R語言環(huán)境下用Spark進行機器學習401
9.3.1設置環(huán)境變量401
9.3.2初始化Spark會話402
9.3.3加載數(shù)據(jù)并運行預處理402
9.3.4創(chuàng)建SparkDataFrame403
9.3.5構建機器學習模型403
9.3.6對測試數(shù)據(jù)進行預測404
9.3.7終止SparkR會話404
9.4在R語言里利用H2O進行機器學習405
9.4.1安裝組件包406
9.4.2H2O集群的初始化406
9.4.3在R語言里使用H2O的深度學習演示407
9.5小結410
9.6參考資料411