本書介紹了一些主流技術(shù)在商業(yè)項(xiàng)目中的應(yīng)用，包括機(jī)器學(xué)習(xí)中的分類、聚類和線性回歸，搜索引擎，推薦系統(tǒng)，用戶行為跟蹤，架構(gòu)設(shè)計(jì)的基本理念及常用的消息和緩存機(jī)制。在這個(gè)過程中，我們有機(jī)會(huì)實(shí)踐R、Mahout、Solr、Elasticsearch、Hadoop、HBase、Hive、Flume、Kafka、Storm等系統(tǒng)。如前所述，本書最大的特色就是，從商業(yè)需求出發(fā)演變到合理的技術(shù)方案和實(shí)現(xiàn)，因此根據(jù)不同的應(yīng)用場(chǎng)景、不同的數(shù)據(jù)集合、不同的進(jìn)階難度，我們?yōu)樽x者提供了反復(fù)溫習(xí)和加深印象的機(jī)會(huì)。

目錄
 

目錄
推薦序
前言
引子 1
第一篇　支持高效的運(yùn)營
第1章　方案設(shè)計(jì)和技術(shù)選型：分類 5
1.1　分類的基本概念 6
1.2　分類任務(wù)的處理流程 7
1.3　算法：樸素貝葉斯和K最近鄰 8
1.3.1　樸素貝葉斯 8
1.3.2　K最近鄰 9
1.4　分類效果評(píng)估 10
1.5　相關(guān)軟件：R和Mahout 12
1.5.1　R簡(jiǎn)介 12
1.5.2　Mahout簡(jiǎn)介 13
1.5.3　Hadoop簡(jiǎn)介 14
1.6　案例實(shí)踐 17
1.6.1　實(shí)驗(yàn)環(huán)境設(shè)置 17
1.6.2　中文分詞 18
1.6.3　使用R進(jìn)行樸素貝葉斯分類 22
1.6.4　使用R進(jìn)行K最近鄰分類 37
1.6.5　單機(jī)環(huán)境使用Mahout運(yùn)行樸素貝葉斯分類 39
1.6.6　多機(jī)環(huán)境使用Mahout運(yùn)行樸素貝葉斯分類 47
1.7　更多的思考 58
第2章　方案設(shè)計(jì)和技術(shù)選型：聚類 60
2.1　聚類的基本概念 60
2.2　算法：K均值和層次型聚類 61
2.2.1　K均值聚類 61
2.2.2　層次型聚類 62
2.3　聚類的效果評(píng)估 64
2.4　案例實(shí)踐 66
2.4.1　使用R進(jìn)行K均值聚類 66
2.4.2　使用Mahout進(jìn)行K均值聚類 69
第3章　方案設(shè)計(jì)和技術(shù)選型：因變量連續(xù)的回歸分析 74
3.1　線性回歸的基本概念 74
3.2　案例實(shí)踐 76
3.2.1　實(shí)驗(yàn)環(huán)境設(shè)置 76
3.2.2　R中數(shù)據(jù)的標(biāo)準(zhǔn)化 78
3.2.3　使用R的線性回歸分析 81
第二篇 為顧客發(fā)現(xiàn)喜歡的商品：
基礎(chǔ)篇
第4章　方案設(shè)計(jì)和技術(shù)選型：搜索 94
4.1　搜索引擎的基本概念 94
4.1.1　相關(guān)性 95
4.1.2　及時(shí)性 97
4.2　搜索引擎的評(píng)估 100
4.3　為什么不是數(shù)據(jù)庫 103
4.4　系統(tǒng)框架 104
4.4.1　離線預(yù)處理 104
4.4.2　在線查詢 107
4.5　常見的搜索引擎實(shí)現(xiàn) 108
4.5.1　Lucene簡(jiǎn)介 108
4.5.2　Solr簡(jiǎn)介 113
4.5.3　Elasticsearch簡(jiǎn)介 120
4.6　案例實(shí)踐 123
4.6.1　實(shí)驗(yàn)環(huán)境設(shè)置 123
4.6.2　基于Solr的實(shí)現(xiàn) 123
4.6.3　基于Elasticsearch的實(shí)現(xiàn) 154
4.6.4　統(tǒng)一的搜索API 175
第三篇 為顧客發(fā)現(xiàn)喜歡的商品：高級(jí)篇
第5章　方案設(shè)計(jì)和技術(shù)選型：NoSQL和搜索的整合 195
5.1　問題分析 195
5.2　HBase簡(jiǎn)介 196
5.3　結(jié)合HBase和搜索引擎 203
5.4　案例實(shí)踐 204
5.4.1　實(shí)驗(yàn)環(huán)境設(shè)置 204
5.4.2　HBase的部署 205
5.4.3　HBase和搜索引擎的集成 211
第6章　方案設(shè)計(jì)和技術(shù)選型：查詢分類和搜索的整合 219
6.1　問題分析 219
6.2　結(jié)合分類器和搜索引擎 219
6.3　案例實(shí)踐 225
6.3.1　實(shí)驗(yàn)環(huán)境設(shè)置 225
6.3.2　構(gòu)建查詢分類器 226
6.3.3　定制化的搜索排序 229
6.3.4　整合查詢分類和定制化排序 236
第7章　方案設(shè)計(jì)和技術(shù)選型：個(gè)性化搜索 245
7.1　問題分析 245
7.2　結(jié)合用戶畫像和搜索引擎 245
7.3　案例實(shí)踐 249
7.3.1　用戶畫像的讀取 250
7.3.2　個(gè)性化搜索引擎 253
7.3.3　結(jié)果對(duì)比 260
第8章　方案設(shè)計(jì)和技術(shù)選型：搜索分片 267
8.1　問題分析 267
8.2　利用搜索的分片機(jī)制 269
8.3　案例實(shí)踐 271
8.3.1　Solr路由的實(shí)現(xiàn) 271
8.3.2　Elasticsearch路由的實(shí)現(xiàn) 278
第9章　方案設(shè)計(jì)和技術(shù)選型：搜索提示 283
9.1　問題分析 283
9.2　案例實(shí)踐：基礎(chǔ)方案 284
9.2.1　Solr搜索建議和拼寫糾錯(cuò)的實(shí)現(xiàn) 284
9.2.2　Elasticsearch搜索建議和拼寫糾錯(cuò)的實(shí)現(xiàn) 286
9.3　改進(jìn)方案 291
9.4　案例實(shí)踐：改進(jìn)方案 294
第10章　方案設(shè)計(jì)和技術(shù)選型：推薦 303
10.1　推薦系統(tǒng)的基本概念 305
10.2　推薦的核心要素 306
10.2.1　系統(tǒng)角色 306
10.2.2　相似度 307
10.2.3　相似度傳播框架 307
10.3　推薦系統(tǒng)的分類 307
10.4　混合模型 311
10.5　系統(tǒng)架構(gòu) 312
10.6　Mahout中的推薦算法 313
10.7　電商常見的推薦系統(tǒng)方案 314
10.7.1　電商常見的推薦系統(tǒng)方案 314
10.7.2　相似度的計(jì)算 317
10.7.3　協(xié)同過濾 319
10.7.4　結(jié)果的查詢 320
10.8　案例實(shí)踐 321
10.8.1　基于內(nèi)容特征的推薦 321
10.8.2　基于行為特征的推薦 341
第四篇　獲取數(shù)據(jù)，跟蹤效果
第11章　方案設(shè)計(jì)和技術(shù)選型：行為跟蹤 369
11.1　基本概念 370
11.1.1　網(wǎng)站的核心框架 370
11.1.2　行為數(shù)據(jù)的類型 371
11.1.3　行為數(shù)據(jù)的模式 372
11.1.4　設(shè)計(jì)理念 374
11.2　使用谷歌分析 375
11.3　自行設(shè)計(jì)之Flume、HDFS和Hive的整合 378
11.3.1　數(shù)據(jù)的收集——Flume簡(jiǎn)介 378
11.3.2　數(shù)據(jù)的存儲(chǔ)——Hadoop HDFS回顧 382
11.3.3　批量數(shù)據(jù)分析——Hive簡(jiǎn)介 383
11.3.4　Flume、HDFS和Hive的整合方案 386
11.4　自行設(shè)計(jì)之Flume、Kafka和Storm的整合 386
11.4.1　實(shí)時(shí)性數(shù)據(jù)分析之Kafka簡(jiǎn)介 386
11.4.2　實(shí)時(shí)性數(shù)據(jù)分析之Storm簡(jiǎn)介 388
11.4.3　Flume、Kafka和Storm的整合方案 390
11.5　案例實(shí)踐 391
11.5.1　數(shù)據(jù)模式的設(shè)計(jì) 392
11.5.2　實(shí)驗(yàn)環(huán)境設(shè)置 392
11.5.3　谷歌分析實(shí)戰(zhàn) 394
11.5.4　自主設(shè)計(jì)實(shí)戰(zhàn)之Flume、HDFS和Hive的整合 401
11.5.5　自主設(shè)計(jì)實(shí)戰(zhàn)之Flume、Kafka和Storm的整合 410
11.6　更多的思考 424
后記 425