Linkis 在上層應(yīng)用程序和底層引擎之間構(gòu)建了一層計(jì)算中間件。通過使用 Linkis 提供的 REST/WebSocket/JDBC 等標(biāo)準(zhǔn)接口， 上層應(yīng)用可以方便地連接訪問 MySQL/Spark/Hive/Presto/Flink 等底層引擎，同時(shí)實(shí)現(xiàn)變量、腳本、函數(shù)和資源文件等用戶資源的跨上層應(yīng)用互通。

作為計(jì)算中間件，Linkis 提供了強(qiáng)大的連通、復(fù)用、編排、擴(kuò)展和治理管控能力。通過計(jì)算中間件將應(yīng)用層和引擎層解耦，簡(jiǎn)化了復(fù)雜的網(wǎng)絡(luò)調(diào)用關(guān)系， 降低了整體復(fù)雜度，同時(shí)節(jié)約了整體開發(fā)和維護(hù)成本。

Linkis 自 2019 年開源發(fā)布以來，已累計(jì)積累了 700 多家試驗(yàn)企業(yè)和 1000+沙盒試驗(yàn)用戶，涉及金融、電信、制造、互聯(lián)網(wǎng)等多個(gè)行業(yè)。 許多公司已經(jīng)將 Linkis 作為大數(shù)據(jù)平臺(tái)底層計(jì)算存儲(chǔ)引擎的統(tǒng)一入口，和計(jì)算請(qǐng)求/任務(wù)的治理管控利器。

核心特點(diǎn)

1、豐富的底層計(jì)算存儲(chǔ)引擎支持

目前支持的計(jì)算存儲(chǔ)引擎 Spark、Hive、Flink、Python、Pipeline、Sqoop、openLooKeng、Presto、ElasticSearch、JDBC 和 Shell 等

正在支持中的計(jì)算存儲(chǔ)引擎 Trino(計(jì)劃 1.3.1)、SeaTunnel(計(jì)劃 1.3.1) 等

支持的腳本語言 SparkSQL、HiveQL、Python、Shell、Pyspark、R、Scala 和 JDBC 等

2、強(qiáng)大的計(jì)算治理能力

基于 Orchestrator、Label Manager 和定制的 Spring Cloud Gateway 等服務(wù)，Linkis 能夠提供基于多級(jí)標(biāo)簽的跨集群/跨 IDC 細(xì)粒度路由、負(fù)載均衡、多租戶、流量控制、資源控制和編排策略 (如雙活、主備等) 支持能力

3、全棧計(jì)算存儲(chǔ)引擎架構(gòu)支持

能夠接收、執(zhí)行和管理針對(duì)各種計(jì)算存儲(chǔ)引擎的任務(wù)和請(qǐng)求，包括離線批量任務(wù)、交互式查詢?nèi)蝿?wù)、實(shí)時(shí)流式任務(wù)和存儲(chǔ)型任務(wù)

4、資源管理能力

ResourceManager 不僅具備對(duì) Yarn 和 Linkis EngineManager 的資源管理能力，還將提供基于標(biāo)簽的多級(jí)資源分配和回收能力，讓 ResourceManager 具備跨集群、跨計(jì)算資源類型的強(qiáng)大資源管理能力

5、統(tǒng)一上下文服務(wù)

為每個(gè)計(jì)算任務(wù)生成 context id，跨用戶、系統(tǒng)、計(jì)算引擎的關(guān)聯(lián)管理用戶和系統(tǒng)資源文件(JAR、ZIP、Properties 等)，結(jié)果集，參數(shù)變量，函數(shù)等，一處設(shè)置，處處自動(dòng)引用

6、統(tǒng)一物料

系統(tǒng)和用戶級(jí)物料管理，可分享和流轉(zhuǎn)，跨用戶、系統(tǒng)共享物料

7、統(tǒng)一數(shù)據(jù)源管理

提供了 hive、es、mysql、kafka 類型數(shù)據(jù)源的增刪查改、版本控制、連接測(cè)試等功能

8、數(shù)據(jù)源對(duì)應(yīng)的元數(shù)據(jù)查詢

提供了 hive、es、mysql、kafka 元數(shù)據(jù)的數(shù)據(jù)庫、表、分區(qū)查詢

編譯和安裝部署

 ## 后端編譯
注意:如果使用 -Dlinkis.build.web=true 來構(gòu)建web鏡像，需要首先執(zhí)行 管理臺(tái) linkis-web 的編譯

### Mac OS/Linux 系統(tǒng)
# 1. 首次編譯，請(qǐng)執(zhí)行如下命令
./mvnw -N install
# 2. 構(gòu)建 Linkis 部署包
# - 選項(xiàng) 1: 僅構(gòu)建 Linkis 服務(wù)部署包
./mvnw clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
# - 選項(xiàng) 2: 構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像
# - 選項(xiàng) 2.1: 構(gòu)建的鏡像中不包含 mysql jdbc 包
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true
# - 選項(xiàng) 2.2: 構(gòu)建的鏡像中包含 mysql jdbc 包
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.with.jdbc=true
# - 選項(xiàng) 3: 構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像（包括 Web 控制臺(tái)）
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true
# - 選項(xiàng) 4: 僅構(gòu)建 Linkis 服務(wù)部署包和 Docker 鏡像（包括 Web 控制臺(tái)和 LDH 鏡像，LDH 鏡像包換了多個(gè)預(yù)先配置和部署好的 Hadoop 組件，主要面向測(cè)試用途）
./mvnw clean install -Pdocker -Dmaven.javadoc.skip=true -Dmaven.test.skip=true -Dlinkis.build.web=true -Dlinkis.build.ldh=true -Dlinkis.build.with.jdbc=true

### Windows 系統(tǒng)
mvnw.cmd -N install
mvnw.cmd clean install -Dmaven.javadoc.skip=true -Dmaven.test.skip=true

## 管理臺(tái)編譯
cd incubator-linkis/linkis-web
npm install
npm run build

 集成 MySQL JDBC 驅(qū)動(dòng)

由于MySQL的許可協(xié)議限制，官方發(fā)布的 Linkis 鏡像沒有集成 MySQL JDBC 驅(qū)動(dòng)。 然而，在現(xiàn)階段，Linkis 仍然依賴這個(gè)庫才能正常運(yùn)行。 為了解決這個(gè)問題， 我們提供了一個(gè)腳本，它可以幫助你快速的基于官方的 Linkis 鏡像創(chuàng)建一個(gè)集成了MySQL JDBC 的自定義鏡像。 這個(gè)工具創(chuàng)建的鏡像默認(rèn)的名稱是 linkis:with-jdbc。

$> LINKIS_IMAGE=linkis:1.3.1
$> ./linkis-dist/docker/scripts/make-linikis-image-with-mysql-jdbc.sh