Apache Doris 是一個(gè)現(xiàn)代化的 MPP（Massively Parallel Processing，即大規(guī)模并行處理）分析型數(shù)據(jù)庫(kù)產(chǎn)品。僅需亞秒級(jí)響應(yīng)時(shí)間即可獲得查詢結(jié)果，有效地支持實(shí)時(shí)數(shù)據(jù)分析。

一、Doris架構(gòu)

Doris 的架構(gòu)很簡(jiǎn)潔，只設(shè) FE(Frontend)、BE(Backend)兩種角色、兩個(gè)進(jìn)程，不依賴于外部組件，方便部署和運(yùn)維，F(xiàn)E、BE 都可線性擴(kuò)展。

• FE（Frontend）：存儲(chǔ)、維護(hù)集群元數(shù)據(jù)；負(fù)責(zé)接收、解析查詢請(qǐng)求，規(guī)劃查詢計(jì)劃，調(diào)度查詢執(zhí)行，返回查詢結(jié)果。主要有三個(gè)角色：
  • Leader 和 Follower：主要是用來(lái)達(dá)到元數(shù)據(jù)的高可用，保證單節(jié)點(diǎn)宕機(jī)的情況下，元數(shù)據(jù)能夠?qū)崟r(shí)地在線恢復(fù)，而不影響整個(gè)服務(wù)。
  • Observer：用來(lái)擴(kuò)展查詢節(jié)點(diǎn)，同時(shí)起到元數(shù)據(jù)備份的作用。如果在發(fā)現(xiàn)集群壓力非常大的情況下，需要去擴(kuò)展整個(gè)查詢的能力，那么可以加 observer 的節(jié)點(diǎn)。observer 不參與任何的寫(xiě)入，只參與讀取。
• BE（Backend）：負(fù)責(zé)物理數(shù)據(jù)的存儲(chǔ)和計(jì)算；依據(jù) FE 生成的物理計(jì)劃，分布式執(zhí)行查詢。
• 數(shù)據(jù)的可靠性由 BE 保證，BE 會(huì)對(duì)整個(gè)數(shù)據(jù)存儲(chǔ)多副本或者是三副本。副本數(shù)可根據(jù)需求動(dòng)態(tài)調(diào)整。
• MySQL Client：Doris 借助 MySQL 協(xié)議，用戶使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客戶端，都可以直接訪問(wèn) Doris。
• Broker：Broker 為一個(gè)獨(dú)立的無(wú)狀態(tài)進(jìn)程。封裝了文件系統(tǒng)接口，提供 Doris 讀取遠(yuǎn)端存儲(chǔ)系統(tǒng)中文件的能力，包括 HDFS，S3，BOS 等。

FE負(fù)責(zé)存儲(chǔ)元數(shù)據(jù)和接收前端請(qǐng)求，BE負(fù)責(zé)執(zhí)行查詢，Observer負(fù)責(zé)擴(kuò)展查詢；
此處的Doris只是引用了Mysql的客戶端協(xié)議，方便用戶可以通過(guò)MysqlClient直接訪問(wèn)Doris，類(lèi)似的mysql -user -password -P 9030就能通過(guò)像登錄mysql客戶端的方式訪問(wèn)Doris。

二、基本概念

1. Row & Column

一張表包括行（Row）和列（Column）。Row 即用戶的一行數(shù)據(jù)。Column 用于描述一行數(shù)據(jù)中不同的字段。

• 在默認(rèn)的數(shù)據(jù)模型中，Column 只分為排序列和非排序列。存儲(chǔ)引擎會(huì)按照排序列對(duì)數(shù)據(jù)進(jìn)行排序存儲(chǔ)，并建立稀疏索引，以便在排序數(shù)據(jù)上進(jìn)行快速查找。
• 在聚合模型中，Column 可以分為兩大類(lèi)：Key 和 Value。從業(yè)務(wù)角度看，Key 和Value 可以分別對(duì)應(yīng)維度列和指標(biāo)列。

從聚合模型的角度來(lái)說(shuō)，Key 列相同的行，會(huì)聚合成一行。其中 Value 列的聚合方式由用戶在表時(shí)指定。

2. Partition & Tablet

在 Doris 的存儲(chǔ)引擎中，用戶數(shù)據(jù)首先被劃分成若干個(gè)分區(qū)（Partition），劃分的規(guī)則通常是按照用戶指定的分區(qū)列進(jìn)行范圍劃分，比如按時(shí)間劃分。而在每個(gè)分區(qū)內(nèi)，數(shù)據(jù)被進(jìn)一步的按照 Hash 的方式分桶，分桶的規(guī)則是要找用戶指定的分桶列的值進(jìn)行 Hash 后分桶。每個(gè)分桶就是一個(gè)數(shù)據(jù)分片（Tablet），也是數(shù)據(jù)劃分的最小邏輯單元。

• Tablet 之間的數(shù)據(jù)是沒(méi)有交集的，獨(dú)立存儲(chǔ)的。Tablet 也是數(shù)據(jù)移動(dòng)、復(fù)制等操作的最小物理存儲(chǔ)單元。
• Partition 可以視為是邏輯上最小的管理單元。數(shù)據(jù)的導(dǎo)入與刪除，都可以或僅能針對(duì)一個(gè) Partition 進(jìn)行。

此處的Partition & Tablet類(lèi)似Hive中的分區(qū)分桶。

3. 建表示例

建表語(yǔ)法:

CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [database.]table_name
 (
 	column_definition1[, column_definition2, ...]
 	[, index_definition1[, index_definition12,]]
 )
 [ENGINE = [olap|mysql|broker|hive]]
 [key_desc]
 [COMMENT "table comment"];
 [partition_desc]
 [distribution_desc]
 [rollup_index]
 [PROPERTIES ("key"="value", ...)]
 [BROKER PROPERTIES ("key"="value", ...)];

Doris 的建表是一個(gè)同步命令，命令返回成功，即表示建表成功。
Doris 支持支持單分區(qū)和復(fù)合分區(qū)兩種建表方式。

• 復(fù)合分區(qū)：既有分區(qū)也有分桶
  • 第一級(jí)稱為 Partition，即分區(qū)。用戶可以指定某一維度列作為分區(qū)列（當(dāng)前只支持整型和時(shí)間類(lèi)型的列），并指定每個(gè)分區(qū)的取值范圍。
  • 第二級(jí)稱為 Distribution，即分桶。用戶可以指定一個(gè)或多個(gè)維度列以及桶數(shù)對(duì)數(shù)據(jù)進(jìn)行 HASH 分布。
• 單分區(qū):只做 HASH 分布，即只分桶。

字段類(lèi)型

注：聚合模型在定義字段類(lèi)型后，可以指定字段的 agg_type 聚合類(lèi)型，如果不指定，則該列為 key 列。否則，該列為 value 列, 類(lèi)型包括：SUM、MAX、MIN、REPLACE。

Range Partition

CREATE TABLE IF NOT EXISTS example_db.expamle_range_tbl
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `date` DATE NOT NULL COMMENT "數(shù)據(jù)灌入日期時(shí)間",
 `timestamp` DATETIME NOT NULL COMMENT "數(shù)據(jù)灌入的時(shí)間戳",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
 `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `cost` BIGINT SUM DEFAULT "0" COMMENT "用戶總消費(fèi)",
 `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用戶最大停留時(shí)間",
 `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用戶最小停留時(shí)間"
)
ENGINE=olap
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
PARTITION BY RANGE(`date`)
(
 PARTITION `p201701` VALUES LESS THAN ("2017-02-01"),
 PARTITION `p201702` VALUES LESS THAN ("2017-03-01"),
 PARTITION `p201703` VALUES LESS THAN ("2017-04-01")
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 16
PROPERTIES
(
 "replication_num" = "3",
 "storage_medium" = "SSD",
 "storage_cooldown_time" = "2018-01-01 12:00:00"
);

上述建表語(yǔ)句中，AGGREGATE KEY(user_id, date, timestamp, city, age, sex)屬于是key列，下邊的列在定義類(lèi)型后添加了聚合類(lèi)型(MAX,MIN,REPLACE,SUM)的列稱為value列。

 `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `cost` BIGINT SUM DEFAULT "0" COMMENT "用戶總消費(fèi)",
 `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用戶最大停留時(shí)間",
 `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用戶最小停留時(shí)間"

此處還使用了復(fù)合分區(qū)，使用PARTITION BY RANGE(date)指定使用date字段進(jìn)行范圍分區(qū)，分區(qū)的范圍是左閉右開(kāi)的，并通過(guò)HASH算法根據(jù)user_id列進(jìn)行分桶。

PARTITION BY RANGE(`date`)
(
 PARTITION `p201701` VALUES LESS THAN ("2017-02-01"),
 PARTITION `p201702` VALUES LESS THAN ("2017-03-01"),
 PARTITION `p201703` VALUES LESS THAN ("2017-04-01")
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 16

List Partition

CREATE TABLE IF NOT EXISTS example_db.expamle_list_tbl
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `date` DATE NOT NULL COMMENT "數(shù)據(jù)灌入日期時(shí)間",
 `timestamp` DATETIME NOT NULL COMMENT "數(shù)據(jù)灌入的時(shí)間戳",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
 `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 
00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `cost` BIGINT SUM DEFAULT "0" COMMENT "用戶總消費(fèi)",
 `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用戶最大停留時(shí)間",
 `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用戶最小停留時(shí)
間"
)
ENGINE=olap
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
PARTITION BY LIST(`city`)
(
 PARTITION `p_cn` VALUES IN ("Beijing", "Shanghai", "Hong Kong"),
 PARTITION `p_usa` VALUES IN ("New York", "San Francisco"),
 PARTITION `p_jp` VALUES IN ("Tokyo")
)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 16
PROPERTIES
(
 "replication_num" = "3",
 "storage_medium" = "SSD",
 "storage_cooldown_time" = "2018-01-01 12:00:00"
);

（1）列的定義

在AGGREGATE KEY 數(shù)據(jù)模型中，所有沒(méi)有指定聚合方式（SUM、REPLACE、MAX、MIN）的列視為 Key 列。而其余則為 Value 列。

定義列時(shí)，可參照如下建議：

• Key 列必須在所有 Value 列之前。
• 盡量選擇整型類(lèi)型。因?yàn)檎皖?lèi)型的計(jì)算和查找比較效率遠(yuǎn)高于字符串。
• 對(duì)于不同長(zhǎng)度的整型類(lèi)型的選擇原則，遵循夠用即可。
• 對(duì)于 VARCHAR 和 STRING 類(lèi)型的長(zhǎng)度，遵循 夠用即可。
• 所有列的總字節(jié)長(zhǎng)度（包括 Key 和 Value）不能超過(guò) 100KB。

（2）分區(qū)分桶

Doris 支持兩層的數(shù)據(jù)劃分。第一層是 Partition，支持 Range 和 List 的劃分方式。第二層是 Bucket（Tablet），僅支持 Hash 的劃分方式。
也可以僅使用一層分區(qū)。使用一層分區(qū)時(shí)，只支持 Bucket 劃分。
Partition

• Partition 列可以指定一列或多列。分區(qū)類(lèi)必須為 KEY 列。多列分區(qū)的使用方式在后面介紹。
• 不論分區(qū)列是什么類(lèi)型，在寫(xiě)分區(qū)值時(shí)，都需要加雙引號(hào)。
• 分區(qū)數(shù)量理論上沒(méi)有上限。
• 當(dāng)不使用 Partition 建表時(shí)，系統(tǒng)會(huì)自動(dòng)生成一個(gè)和表名同名的，全值范圍的Partition。該 Partition 對(duì)用戶不可見(jiàn)，并且不可刪改。

Range 分區(qū) : 分區(qū)列通常為時(shí)間列，以方便的管理新舊數(shù)據(jù)。不可添加范圍重疊的分區(qū)。

• VALUES LESS THAN (…) 僅指定上界，系統(tǒng)會(huì)將前一個(gè)分區(qū)的上界作為該分區(qū)的下界，生成一個(gè)左閉右開(kāi)的區(qū)間。分區(qū)的刪除不會(huì)改變已存在分區(qū)的范圍。刪除分區(qū)可能出現(xiàn)空洞。
• VALUES […) 指定同時(shí)指定上下界，生成一個(gè)左閉右開(kāi)的區(qū)間。

通過(guò) VALUES […) 同時(shí)指定上下界比較容易理解。這里舉例說(shuō)明，當(dāng)使用 VALUES LESS THAN (…) 語(yǔ)句進(jìn)行分區(qū)的增刪操作時(shí)，分區(qū)范圍的變化情況：

（1）如上 expamle_range_tbl 示例，當(dāng)建表完成后，會(huì)自動(dòng)生成如下 3 個(gè)分區(qū)：

p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201703: [2017-03-01, 2017-04-01)

（2）增加一個(gè)分區(qū) p201705 VALUES LESS THAN (“2017-06-01”)，分區(qū)結(jié)果如下：

p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201703: [2017-03-01, 2017-04-01)
p201705: [2017-04-01, 2017-06-01)

（3）此時(shí)刪除分區(qū) p201703，則分區(qū)結(jié)果如下：

p201701: [MIN_VALUE, 2017-02-01)
p201702: [2017-02-01, 2017-03-01)
p201705: [2017-04-01, 2017-06-01)

注意: p201702 和 p201705 的分區(qū)范圍并沒(méi)有發(fā)生變化，而這兩個(gè)分區(qū)之間，出現(xiàn)了一個(gè)空洞：[2017-03-01, 2017-04-01)。即如果導(dǎo)入的數(shù)據(jù)范圍在這個(gè)空洞范圍內(nèi)，是無(wú)法導(dǎo)入的。

List 分區(qū):分區(qū)列支持 BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, LARGEINT, DATE, DATETIME, CHAR, VARCHAR 數(shù)據(jù)類(lèi)型，分區(qū)值為枚舉值。只有當(dāng)數(shù)據(jù)為目標(biāo)分區(qū)枚舉值其中之一時(shí)，才可以命中分區(qū)。不可添加范圍重疊的分區(qū)。

Partition 支持通過(guò) VALUES IN (…) 來(lái)指定每個(gè)分區(qū)包含的枚舉值。下面通過(guò)示例說(shuō)明，進(jìn)行分區(qū)的增刪操作時(shí)，分區(qū)的變化。

（1）如上 example_list_tbl 示例，當(dāng)建表完成后，會(huì)自動(dòng)生成如下 3 個(gè)分區(qū)：

p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_jp: ("Tokyo")

（2）增加一個(gè)分區(qū) p_uk VALUES IN (“London”)，分區(qū)結(jié)果如下：

p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_jp: ("Tokyo")
p_uk: ("London")

（3）刪除分區(qū) p_jp，分區(qū)結(jié)果如下：

p_cn: ("Beijing", "Shanghai", "Hong Kong")
p_usa: ("New York", "San Francisco")
p_uk: ("London")

Bucket

• 如果使用了 Partition，則 DISTRIBUTED … 語(yǔ)句描述的是數(shù)據(jù)在各個(gè)分區(qū)內(nèi)的劃分規(guī)則。如果不使用 Partition，則描述的是對(duì)整個(gè)表的數(shù)據(jù)的劃分規(guī)則。
• 分桶列可以是多列，但必須為 Key 列。分桶列可以和 Partition 列相同或不同。
• 分桶列的選擇，是在 查詢吞吐 和 查詢并發(fā) 之間的一種權(quán)衡：
  • 如果選擇多個(gè)分桶列，則數(shù)據(jù)分布更均勻。如果一個(gè)查詢條件不包含所有分桶列的等值條件，那么該查詢會(huì)觸發(fā)所有分桶同時(shí)掃描，這樣查詢的吞吐會(huì)增加，單個(gè)查詢的延遲隨之降低。這個(gè)方式適合大吞吐低并發(fā)的查詢場(chǎng)景。

指定的分桶列越多，分桶的粒度越細(xì)。
比如使用學(xué)科＋班級(jí)的key列進(jìn)行分桶，如果查詢時(shí)只指定了班級(jí)，那么會(huì)發(fā)生全分區(qū)掃描。‘

• 如果僅選擇一個(gè)或少數(shù)分桶列，則對(duì)應(yīng)的點(diǎn)查詢可以僅觸發(fā)一個(gè)分桶掃描。此時(shí)，當(dāng)多個(gè)點(diǎn)查詢并發(fā)時(shí)，這些查詢有較大的概率分別觸發(fā)不同的分桶掃描，各個(gè)查詢之間的 IO 影響較?。ㄓ绕洚?dāng)不同桶分布在不同磁盤(pán)上時(shí)），所以這種方式適合高并發(fā)的點(diǎn)查詢場(chǎng)景。
• 分桶的數(shù)量理論上沒(méi)有上限。

復(fù)合分區(qū)使用場(chǎng)景:
（1）有時(shí)間維度或類(lèi)似帶有有序值的維度，可以以這類(lèi)維度列作為分區(qū)列。分區(qū)粒度可以根據(jù)導(dǎo)入頻次、分區(qū)數(shù)據(jù)量等進(jìn)行評(píng)估。
（2）歷史數(shù)據(jù)刪除需求：如有刪除歷史數(shù)據(jù)的需求（比如僅保留最近 N 天的數(shù)據(jù)）。使用復(fù)合分區(qū)，可以通過(guò)刪除歷史分區(qū)來(lái)達(dá)到目的。也可以通過(guò)在指定分區(qū)內(nèi)發(fā)送 DELETE 語(yǔ)句進(jìn)行數(shù)據(jù)刪除。
（3）解決數(shù)據(jù)傾斜問(wèn)題：每個(gè)分區(qū)可以單獨(dú)指定分桶數(shù)量。如按天分區(qū)，當(dāng)每天的數(shù)據(jù)量差異很大時(shí)，可以通過(guò)指定分區(qū)的分桶數(shù)，合理劃分不同分區(qū)的數(shù)據(jù),分桶列建議選擇區(qū)分度大的列。

（3）多列分區(qū)

Range 分區(qū)

PARTITION BY RANGE(`date`, `id`)
(
 PARTITION `p201701_1000` VALUES LESS THAN ("2017-02-01", "1000"),
 PARTITION `p201702_2000` VALUES LESS THAN ("2017-03-01", "2000"),
 PARTITION `p201703_all` VALUES LESS THAN ("2017-04-01")
)

指定 date(DATE 類(lèi)型) 和 id(INT 類(lèi)型) 作為分區(qū)列。以上示例最終得到的分區(qū)如下：

p201701_1000: [(MIN_VALUE, MIN_VALUE), ("2017-02-01", "1000") )
p201702_2000: [("2017-02-01", "1000"), ("2017-03-01", "2000") )
p201703_all: [("2017-03-01", "2000"), ("2017-04-01", MIN_VALUE))

注意，最后一個(gè)分區(qū)用戶缺省只指定了 date 列的分區(qū)值，所以 id 列的分區(qū)值會(huì)默認(rèn)填充 MIN_VALUE。當(dāng)用戶插入數(shù)據(jù)時(shí)，分區(qū)列值會(huì)按照順序依次比較，最終得到對(duì)應(yīng)的分區(qū)。舉例如下：

數(shù)據(jù) --> 分區(qū)
2017-01-01, 200 --> p201701_1000
2017-01-01, 2000 --> p201701_1000
2017-02-01, 100 --> p201701_1000
2017-02-01, 2000 --> p201702_2000
2017-02-15, 5000 --> p201702_2000
2017-03-01, 2000 --> p201703_all
2017-03-10, 1 --> p201703_all
2017-04-01, 1000 --> 無(wú)法導(dǎo)入
2017-05-01, 1000 --> 無(wú)法導(dǎo)入

List 分區(qū)

PARTITION BY LIST(`id`, `city`)
(
 PARTITION `p1_city` VALUES IN (("1", "Beijing"), ("1", 
"Shanghai")),
 PARTITION `p2_city` VALUES IN (("2", "Beijing"), ("2", 
"Shanghai")),
 PARTITION `p3_city` VALUES IN (("3", "Beijing"), ("3", 
"Shanghai"))
)

指定 id(INT 類(lèi)型) 和 city(VARCHAR 類(lèi)型) 作為分區(qū)列。最終得到的分區(qū)如下：

p1_city: [("1", "Beijing"), ("1", "Shanghai")]
p2_city: [("2", "Beijing"), ("2", "Shanghai")]
p3_city: [("3", "Beijing"), ("3", "Shanghai")]

當(dāng)用戶插入數(shù)據(jù)時(shí)，分區(qū)列值會(huì)按照順序依次比較，最終得到對(duì)應(yīng)的分區(qū)。舉例如下：

數(shù)據(jù) ---> 分區(qū)
1, Beijing ---> p1_city
1, Shanghai ---> p1_city
2, Shanghai ---> p2_city
3, Beijing ---> p3_city
1, Tianjin ---> 無(wú)法導(dǎo)入
4, Beijing ---> 無(wú)法導(dǎo)入

（4）PROPERTIES

• replication_num
  • 每個(gè) Tablet 的副本數(shù)量。默認(rèn)為 3，建議保持默認(rèn)即可。在建表語(yǔ)句中，所有 Partition 中的 Tablet 副本數(shù)量統(tǒng)一指定。而在增加新分區(qū)時(shí)，可以單獨(dú)指定新分區(qū)中 Tablet 的副本數(shù)量。
  • 副本數(shù)量可以在運(yùn)行時(shí)修改。強(qiáng)烈建議保持奇數(shù)。
  • 最大副本數(shù)量取決于集群中獨(dú)立 IP 的數(shù)量（注意不是 BE 數(shù)量）。Doris 中副本分布的原則是，不允許同一個(gè) Tablet 的副本分布在同一臺(tái)物理機(jī)上，而識(shí)別物理機(jī)即通過(guò) IP。所以，即使在同一臺(tái)物理機(jī)上部署了 3 個(gè)或更多 BE 實(shí)例，如果這些 BE 的 IP 相同，則依然只能設(shè)置副本數(shù)為 1。
  • 對(duì)于一些小，并且更新不頻繁的維度表，可以考慮設(shè)置更多的副本數(shù)。這樣在 Join 查詢
  • 時(shí)，可以有更大的概率進(jìn)行本地?cái)?shù)據(jù) Join。
• storage_medium & storage_cooldown_time
  • BE 的數(shù)據(jù)存儲(chǔ)目錄可以顯式的指定為 SSD 或者 HDD（通過(guò) .SSD 或者 .HDD 后綴區(qū)分）。建表時(shí)，可以統(tǒng)一指定所有 Partition 初始存儲(chǔ)的介質(zhì)。注意，后綴作用是顯式指定磁盤(pán)介質(zhì)，而不會(huì)檢查是否與實(shí)際介質(zhì)類(lèi)型相符。

（5）ENGINE

ENGINE 的類(lèi)型是 olap，即默認(rèn)的 ENGINE 類(lèi)型。在 Doris 中，只有這個(gè)ENGINE 類(lèi)型是由 Doris 負(fù)責(zé)數(shù)據(jù)管理和存儲(chǔ)的。其他 ENGINE 類(lèi)型，如 mysql、broker、es 等等，本質(zhì)上只是對(duì)外部其他數(shù)據(jù)庫(kù)或系統(tǒng)中的表的映射，以保證 Doris 可以讀取這些數(shù)據(jù)。而 Doris 本身并不創(chuàng)建、管理和存儲(chǔ)任何非 olap ENGINE 類(lèi)型的表和數(shù)據(jù)。

三、數(shù)據(jù)模型

Doris 的數(shù)據(jù)模型主要分為 3 類(lèi)：Aggregate、Uniq、Duplicate

1. Aggregate 模型

表中的列按照是否設(shè)置了 AggregationType，分為 Key（維度列）和 Value（指標(biāo)列）。沒(méi)有設(shè)置 AggregationType 的稱為 Key，設(shè)置了 AggregationType 的稱為 Value。

當(dāng)導(dǎo)入數(shù)據(jù)時(shí)，對(duì)于 Key 列相同的行會(huì)聚合成一行， Value 列會(huì)按照設(shè)置的AggregationType 進(jìn)行聚合。AggregationType 目前有以下四種聚合方式：

• SUM：求和，多行的 Value 進(jìn)行累加
• REPLACE：替代，下一批數(shù)據(jù)中的 Value 會(huì)替換之前導(dǎo)入過(guò)的行中的 Value。REPLACE_IF_NOT_NULL ：當(dāng)遇到 null 值則不更新。
• MAX：保留最大值。
• MIN：保留最小值。

數(shù)據(jù)的聚合，在 Doris 中有如下三個(gè)階段發(fā)生:
（1）每一批次數(shù)據(jù)導(dǎo)入的 ETL 階段。該階段會(huì)在每一批次導(dǎo)入的數(shù)據(jù)內(nèi)部進(jìn)行聚合。
（2）底層 BE 進(jìn)行數(shù)據(jù) Compaction 的階段。該階段，BE 會(huì)對(duì)已導(dǎo)入的不同批次的數(shù)據(jù)進(jìn)行進(jìn)一步的聚合。
（3）數(shù)據(jù)查詢階段。在數(shù)據(jù)查詢時(shí)，對(duì)于查詢涉及到的數(shù)據(jù)，會(huì)進(jìn)行對(duì)應(yīng)的聚合。數(shù)據(jù)在不同時(shí)間，可能聚合的程度不一致。比如一批數(shù)據(jù)剛導(dǎo)入時(shí)，可能還未與之前已存在的數(shù)據(jù)進(jìn)行聚合。但是對(duì)于用戶而言，用戶只能查詢到聚合后的數(shù)據(jù)。即不同的聚合程度對(duì)于用戶查詢而言是透明的。用戶需始終認(rèn)為數(shù)據(jù)以最終的完成的聚合程度存在，而不應(yīng)假設(shè)某些聚合還未發(fā)生。

舉個(gè)栗子:導(dǎo)入數(shù)據(jù)聚合

CREATE TABLE IF NOT EXISTS test_db.example_site_visit
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `date` DATE NOT NULL COMMENT "數(shù)據(jù)灌入日期時(shí)間",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
`last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 
00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `last_visit_date_not_null` DATETIME REPLACE_IF_NOT_NULL DEFAULT 
"1970-01-01 00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `cost` BIGINT SUM DEFAULT "0" COMMENT "用戶總消費(fèi)",
 `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用戶最大停留時(shí)間",
 `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用戶最小停留時(shí)
間"
)
AGGREGATE KEY(`user_id`, `date`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10;

插入數(shù)據(jù):

執(zhí)行結(jié)果:

聚合發(fā)生在所有key列的值都一樣的情況下，類(lèi)似group by c1,c2,c3

Insert into 單條數(shù)據(jù)這種操作在 Doris 里不能在生產(chǎn)使用，會(huì)引發(fā)寫(xiě)阻塞，因?yàn)槊恳慌蔚臄?shù)據(jù)導(dǎo)入會(huì)引發(fā)數(shù)據(jù)的聚合邏輯操作。

再舉個(gè)栗子: 保留明細(xì)數(shù)據(jù)

CREATE TABLE IF NOT EXISTS test_db.example_site_visit2
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `date` DATE NOT NULL COMMENT "數(shù)據(jù)灌入日期時(shí)間",
 `timestamp` DATETIME COMMENT "數(shù)據(jù)灌入時(shí)間，精確到秒",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
 `last_visit_date` DATETIME REPLACE DEFAULT "1970-01-01 
00:00:00" COMMENT "用戶最后一次訪問(wèn)時(shí)間",
 `cost` BIGINT SUM DEFAULT "0" COMMENT "用戶總消費(fèi)",
 `max_dwell_time` INT MAX DEFAULT "0" COMMENT "用戶最大停留時(shí)間",
 `min_dwell_time` INT MIN DEFAULT "99999" COMMENT "用戶最小停留時(shí)
間"
)
AGGREGATE KEY(`user_id`, `date`, `timestamp`, `city`, `age`, `sex`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10;

使用更細(xì)粒度的列從而讓Key列的值都不一樣，達(dá)到保存明細(xì)數(shù)據(jù)的效果，上述使用timestamp這種細(xì)粒度的列值，能夠記錄到每條數(shù)據(jù)。

2. Uniq 模型

在某些多維分析場(chǎng)景下，用戶更關(guān)注的是如何保證 Key 的唯一性，即如何獲得 Primary Key 唯一性約束。因此，我們引入了 Uniq 的數(shù)據(jù)模型。該模型本質(zhì)上是聚合模型的一個(gè)特例，也是一種簡(jiǎn)化的表結(jié)構(gòu)表示方式。

建表語(yǔ)句:

CREATE TABLE IF NOT EXISTS test_db.user
(
 `user_id` LARGEINT NOT NULL COMMENT "用戶 id",
 `username` VARCHAR(50) NOT NULL COMMENT "用戶昵稱",
 `city` VARCHAR(20) COMMENT "用戶所在城市",
 `age` SMALLINT COMMENT "用戶年齡",
 `sex` TINYINT COMMENT "用戶性別",
 `phone` LARGEINT COMMENT "用戶電話",
 `address` VARCHAR(500) COMMENT "用戶地址",
 `register_time` DATETIME COMMENT "用戶注冊(cè)時(shí)間"
)
UNIQUE KEY(`user_id`, `username`)
DISTRIBUTED BY HASH(`user_id`) BUCKETS 10;

插入數(shù)據(jù):

insert into test_db.user values\
(10000,'wuyanzu',' 北 京 ',18,0,12345678910,' 北 京 朝 陽(yáng) 區(qū) ','2017-10-01 07:00:00'),\
(10000,'wuyanzu',' 北 京 ',19,0,12345678910,' 北 京 朝 陽(yáng) 區(qū) ','2017-10-01 07:00:00'),\
(10000,'zhangsan','北京',20,0,12345678910,'北京海淀區(qū)','2017-11-15 06:10:20');

執(zhí)行結(jié)果:

Unique模型確保了UNIQUE KEY(user_id, username)的唯一行，而其他的列會(huì)選擇最新的列值。

3. Duplicate 模型

在某些多維分析場(chǎng)景下，數(shù)據(jù)既沒(méi)有主鍵，也沒(méi)有聚合需求。Duplicate 數(shù)據(jù)模型可以滿足這類(lèi)需求。數(shù)據(jù)完全按照導(dǎo)入文件中的數(shù)據(jù)進(jìn)行存儲(chǔ)，不會(huì)有任何聚合。即使兩行數(shù)據(jù)完全相同，也都會(huì)保留。 而在建表語(yǔ)句中指定的 DUPLICATE KEY，只是用來(lái)指明底層數(shù)據(jù)按照那些列進(jìn)行排序。

4. 模型選建議

因?yàn)閿?shù)據(jù)模型在建表時(shí)就已經(jīng)確定，且無(wú)法修改。所以，選擇一個(gè)合適的數(shù)據(jù)模型非常重要。

（1）Aggregate 模型可以通過(guò)預(yù)聚合，極大地降低聚合查詢時(shí)所需掃描的數(shù)據(jù)量和查詢的計(jì)算量，非常適合有固定模式的報(bào)表類(lèi)查詢場(chǎng)景。但是該模型對(duì) count(*) 查詢很不友好。同時(shí)因?yàn)楣潭?Value 列上的聚合方式，在進(jìn)行其他類(lèi)型的聚合查詢時(shí)，需要考慮語(yǔ)意正確性

（2）Uniq 模型針對(duì)需要唯一主鍵約束的場(chǎng)景，可以保證主鍵唯一性約束。但是無(wú)法利用 ROLLUP 等預(yù)聚合帶來(lái)的查詢優(yōu)勢(shì)（因?yàn)楸举|(zhì)是 REPLACE，沒(méi)有 SUM 這種聚合方式）。

（3）Duplicate 適合任意維度的 Ad-hoc 查詢。雖然同樣無(wú)法利用預(yù)聚合的特性，但是不 受聚合模型的約束，可以發(fā)揮列存模型的優(yōu)勢(shì)（只讀取相關(guān)列，而不需要讀取所有 Key 列）

如何應(yīng)對(duì)業(yè)務(wù)上的Count(*)場(chǎng)景問(wèn)題:
Doris提供的預(yù)聚合導(dǎo)致用戶在查詢時(shí)，獲取的結(jié)果都是對(duì)key聚合后的結(jié)果，無(wú)法獲取到相應(yīng)key列的條數(shù)這樣的結(jié)果。

因此，當(dāng)業(yè)務(wù)上有頻繁的 count( * ) 查詢時(shí)，增加一個(gè) count 列，并且導(dǎo)入數(shù)據(jù)中，該列值恒為 1。則 select count() from table; 的結(jié)果等價(jià)于 select sum(count) from table;。而后者的查詢效率將遠(yuǎn)高于前者。不過(guò)這種方式也有使用限制，就是用戶需要自行保證，不會(huì)重復(fù)導(dǎo)入AGGREGATE KEY 列都相同的行。否則，select sum(count) from table; 只能表述原始導(dǎo)入的行數(shù)，而不是 select count() from table; 的語(yǔ)義。

另一種方式，就是 將如上的 count 列的聚合類(lèi)型改為 REPLACE，且依然值恒為 1。那
么 select sum(count) from table; 和 select count(*) from table; 的結(jié)果將是一致的。并且這種
方式，沒(méi)有導(dǎo)入重復(fù)行的限制。

四、ROLLUP

ROLLUP 在多維分析中是“上卷”的意思，即將數(shù)據(jù)按某種指定的粒度進(jìn)行進(jìn)一步聚合。

• 在 Doris 中，我們將用戶通過(guò)建表語(yǔ)句創(chuàng)建出來(lái)的表稱為 Base 表（Base Table）。Base 表中保存著按用戶建表語(yǔ)句指定的方式存儲(chǔ)的基礎(chǔ)數(shù)據(jù)。
• 在 Base 表之上，我們可以創(chuàng)建任意多個(gè) ROLLUP 表。這些 ROLLUP 的數(shù)據(jù)是基于 Base 表產(chǎn)生的，并且在物理上是獨(dú)立存儲(chǔ)的。
• ROLLUP 表的基本作用，在于在 Base 表的基礎(chǔ)上，獲得更粗粒度的聚合數(shù)據(jù)。

1. Aggregate模型的ROLLUP

因?yàn)?Uniq 只是 Aggregate 模型的一個(gè)特例，所以不加以區(qū)別。

查看表的結(jié)構(gòu)信息

例如想要查看每個(gè)用戶的總消費(fèi)，建立一個(gè)只有 user_id 和 cost 的 rollup。alter table example_site_visit2 add rollup rollup_cost_userid(user_id,cost);

再次查看表結(jié)構(gòu)

• 創(chuàng)建rollup不會(huì)改變?cè)械谋斫Y(jié)構(gòu)，并且對(duì)用戶而言是不可見(jiàn)的。
• 可以通過(guò) explain 查看執(zhí)行計(jì)劃，是否使用到了 rollup
• explain SELECT user_id, sum(cost) FROM example_site_visit2 GROUP BY user_id;

查看你ROLLUP表的完成狀態(tài)。
SHOW ALTER TABLE ROLLUP;

Aggregate模型的roolup表完成了對(duì)基表更粗粒度的聚合，具體的，當(dāng)數(shù)據(jù)插入到基表中時(shí)，Doris會(huì)自動(dòng)將數(shù)據(jù)按照指定的聚合鍵進(jìn)行分組，并計(jì)算每個(gè)分組的聚合結(jié)果，roolup表也是如此完成數(shù)據(jù)的預(yù)聚合。

2. Duplicate 模型中的 ROLLUP

因?yàn)?Duplicate 模型沒(méi)有聚合的語(yǔ)意。所以該模型中的 ROLLUP，已經(jīng)失去了“上卷”這一層含義。而僅僅是作為調(diào)整列順序，以命中前綴索引的作用。

前綴索引

不同于傳統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)，Doris 不支持在任意列上創(chuàng)建索引。Doris 這類(lèi) MPP 架構(gòu)的 OLAP 數(shù)據(jù)庫(kù)，通常都是通過(guò)提高并發(fā)，來(lái)處理大量數(shù)據(jù)的。

本質(zhì)上，Doris 的數(shù)據(jù)存儲(chǔ)在類(lèi)似 SSTable（Sorted String Table）的數(shù)據(jù)結(jié)構(gòu)中。該結(jié)構(gòu)是一種有序的數(shù)據(jù)結(jié)構(gòu)，可以按照指定的列進(jìn)行排序存儲(chǔ)。在這種數(shù)據(jù)結(jié)構(gòu)上，以排序列作為條件進(jìn)行找，會(huì)非常的高效。

在 Aggregate、Uniq 和 Duplicate 三種數(shù)據(jù)模型中。底層的數(shù)據(jù)存儲(chǔ)，是按照各自建表語(yǔ)句中，AGGREGATE KEY、UNIQ KEY 和 DUPLICATE KEY 中指定的列進(jìn)行排序存儲(chǔ)的。而前綴索引，即在排序的基礎(chǔ)上，實(shí)現(xiàn)的一種根據(jù)給定前綴列，快速查詢數(shù)據(jù)的索引方式。

我們將一行數(shù)據(jù)的前 36 個(gè)字節(jié) 作為這行數(shù)據(jù)的前綴索引。當(dāng)遇到 VARCHAR 類(lèi)型時(shí)，前綴索引會(huì)直接截?cái)唷?/strong>

SELECT * FROM table WHERE user_id=1829239 and age=20；

SELECT * FROM table WHERE age=20；

SELECT * FROM table where age=20 and message LIKE "%error%";

create materialized view 物化視圖名 as {sql語(yǔ)句}
DROP MATERIALIZED VIEW 物化視圖名 on Base 表名;

ALTER TABLE table1 RENAME table2;

ALTER TABLE example_table RENAME ROLLUP rollup1 rollup2;

ALTER TABLE example_table RENAME PARTITION p1 p2;

ALTER TABLE example_db.my_table
ADD PARTITION p1 VALUES LESS THAN ("2014-01-01");

ALTER TABLE example_db.my_table
ADD PARTITION p1 VALUES LESS THAN ("2015-01-01")
DISTRIBUTED BY HASH(k1) BUCKETS 20;

ALTER TABLE example_db.my_table
ADD PARTITION p1 VALUES LESS THAN ("2015-01-01")
("replication_num"="1");

ALTER TABLE example_db.my_table
MODIFY PARTITION p1 SET("replication_num"="1");

ALTER TABLE example_db.my_table
MODIFY PARTITION (*) SET("storage_medium"="HDD");

ALTER TABLE example_db.my_table
MODIFY PARTITION (*) SET("storage_medium"="HDD");

ALTER TABLE example_db.my_table
DROP PARTITION p1;

ALTER TABLE example_db.my_table
ADD PARTITION p1 VALUES [("2014-01-01"), ("2014-02-01"));

ALTER TABLE example_db.my_table
ADD ROLLUP example_rollup_index(k1, k3, v1, v2);

ALTER TABLE example_db.my_table
ADD ROLLUP example_rollup_index2 (k1, v1)
FROM example_rollup_index;

ALTER TABLE example_db.my_table
ADD ROLLUP example_rollup_index(k1, k3, v1)
PROPERTIES("timeout" = "3600");

ALTER TABLE example_db.my_table
DROP ROLLUP example_rollup_index2;

DELETE FROM table_name [PARTITION partition_name]
WHERE
column_name1 op { value | value_list } [ AND column_name2 op { value 
| value_list } ...];

delete from student_kafka where id=1;