Big Data Tools是一款JetBrains大數(shù)據(jù)開發(fā)工具，即一款集成 Spark 且支持編輯和運(yùn)行 Zeppelin Notebooks 的 IntelliJ IDEA 插件，從而為開發(fā)者們帶來更加高效、舒適的大數(shù)據(jù)處理和開發(fā)體驗(yàn)。是為使用Zeppelin和Spark的數(shù)據(jù)工程師和其他專業(yè)人員所量身定做的一款軟件。

它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，數(shù)字開放空間，Microsoft Azure 和 Hadoop 分布式文件系統(tǒng)（HDFS）來監(jiān)視和處理數(shù)據(jù)的特定功能。

插件特征

瀏覽，創(chuàng)建和刪除筆記本

Coding Assistance for Scala

代碼完成

重命名重構(gòu)

提取變量

函數(shù)跳轉(zhuǎn)

顯示用法

創(chuàng)建和刪除段落

運(yùn)行段落

瀏覽段落的輸出

支持基本的可視化

將會(huì)有更多的語言和集成。

將大數(shù)據(jù)工具用于

-Zeppelin筆記本中的探索性分析、可視化和原型設(shè)計(jì)工作。

-直接從IDE運(yùn)行和監(jiān)視Spark或Flink作業(yè)。

-與亞馬遜電子病歷集群合作。

-查看大數(shù)據(jù)文件，如CSV、Parquet、ORC和Avro。

-用Kafka制作和消費(fèi)信息。

-預(yù)覽配置單元元存儲(chǔ)數(shù)據(jù)庫。

-深入了解Hadoop環(huán)境。

更新日志

新增功能
Zeppelin
更多提取選項(xiàng)。除了將選定的Scala代碼提取到一個(gè)單獨(dú)的方法或類中之外，您現(xiàn)在還可以：
提取齊柏林飛艇音符的所有Scala段落，
從特定段落中提取Scala代碼。
口譯員可以全局刷新，而不僅僅是每個(gè)筆記本。
Zeppelin依賴項(xiàng)、解釋器設(shè)置和解釋器綁定現(xiàn)在都合并到一個(gè)對(duì)話框中，即“依賴項(xiàng)”和“解釋器設(shè)置”。
為PySpark中的列名添加補(bǔ)全。
Hive Metastore
支持配置單元版本v2。
Kafka
支持連接到Kafka模式注冊(cè)表。
已為Kafka架構(gòu)注冊(cè)表啟用SSH隧道。
支持AWS IAM身份驗(yàn)證。
Kerberos
支持的Kerberos連接：
Kafka，
Hive Metastore，
HDFS。
遠(yuǎn)程文件存儲(chǔ)
大數(shù)據(jù)工具中對(duì)所有云的擴(kuò)展支持：
通用元信息，
文件版本控制，
顯示和編輯對(duì)象和存儲(chǔ)桶的標(biāo)記，
顯示跨源復(fù)制狀態(tài)（CORS）。
按存儲(chǔ)中的名稱篩選存儲(chǔ)桶。
創(chuàng)建目錄操作現(xiàn)在允許創(chuàng)建嵌套目錄。
為“復(fù)制文件路徑”操作添加了新選項(xiàng)：
復(fù)制密鑰路徑，
復(fù)制預(yù)簽名路徑。
“導(dǎo)航到”操作現(xiàn)在可用于HDFS、本地和SFTP連接。