Linkis是一個(gè)打通了多個(gè)計(jì)算存儲(chǔ)引擎如：Spark、TiSpark、Hive、Python和HBase等，對(duì)外提供統(tǒng)一REST/WebSocket/JDBC接口，提交執(zhí)行SQL、Pyspark、HiveQL、Scala等腳本的計(jì)算中間件。

Linkis基于微服務(wù)架構(gòu)，提供了金融級(jí)多租戶隔離、資源管控、權(quán)限隔離等企業(yè)級(jí)特性，支持統(tǒng)一變量、UDF、函數(shù)、用戶資源文件管理，具備高并發(fā)、高性能、高可用的大數(shù)據(jù)作業(yè)/請(qǐng)求全生命周期管理能力。

核心特點(diǎn)：

1、統(tǒng)一作業(yè)執(zhí)行服務(wù)：一個(gè)分布式的REST/WebSocket服務(wù)，用于接收用戶提交的各種腳本請(qǐng)求。

目前支持的計(jì)算引擎有：Spark、Python、TiSpark、Hive和Shell等。

支持的腳本語(yǔ)言有：SparkSQL、Spark Scala、Pyspark、R、Python、HQL和Shell等；

2、資源管理服務(wù)： 支持實(shí)時(shí)管控每個(gè)系統(tǒng)和用戶的資源使用情況，限制系統(tǒng)和用戶的資源使用量和并發(fā)數(shù)，并提供實(shí)時(shí)的資源動(dòng)態(tài)圖表，方便查看和管理系統(tǒng)和用戶的資源；

目前已支持的資源類型：Yarn隊(duì)列資源、服務(wù)器（CPU和內(nèi)存）、用戶并發(fā)個(gè)數(shù)等。

3、應(yīng)用管理服務(wù)：管理所有系統(tǒng)的所有用戶應(yīng)用，包括離線批量應(yīng)用、交互式查詢應(yīng)用和實(shí)時(shí)流式應(yīng)用，為離線和交互式應(yīng)用提供強(qiáng)大的復(fù)用能力，并提供應(yīng)用全生命周期管理，自動(dòng)釋放用戶多余的空閑應(yīng)用；

4、統(tǒng)一存儲(chǔ)服務(wù)：通用的IO架構(gòu)，能快速對(duì)接各種存儲(chǔ)系統(tǒng)，提供統(tǒng)一調(diào)用入口，支持所有常用格式數(shù)據(jù)，集成度高，簡(jiǎn)單易用；

5、統(tǒng)一上下文服務(wù)：統(tǒng)一用戶和系統(tǒng)資源文件（JAR、ZIP、Properties等），用戶、系統(tǒng)、計(jì)算引擎的參數(shù)和變量統(tǒng)一管理，一處設(shè)置，處處自動(dòng)引用；

6、物料庫(kù)：系統(tǒng)和用戶級(jí)物料管理，可分享和流轉(zhuǎn)，支持全生命周期自動(dòng)管理；

7、元數(shù)據(jù)服務(wù)：實(shí)時(shí)的庫(kù)表結(jié)構(gòu)和分區(qū)情況展示。

RoadMap

1. Linkis管理臺(tái)

用戶可以查看和管理自己的Job

用戶可以查看和管理自己的引擎

用戶可以查看Yarn的資源使用情況和用戶資源使用排名

用戶可以配置引擎的啟動(dòng)參數(shù)

用戶可以設(shè)置變量

2. 支持標(biāo)簽功能

支持給EngineManager打標(biāo)簽

啟動(dòng)引擎時(shí)，支持為引擎打標(biāo)簽

支持通過(guò)標(biāo)簽訪問(wèn)目標(biāo)引擎

3. AppGovernance應(yīng)用治理實(shí)現(xiàn)

系統(tǒng)級(jí)、用戶級(jí)應(yīng)用全生命周期管理，包括離線批量、交互式查詢和實(shí)時(shí)流式應(yīng)用

為離線和交互式應(yīng)用提供復(fù)用能力和智能切換能力

智能限流、應(yīng)用智能保護(hù)

4. 支持Flink和Spark Structured Streaming