Big Data Tools是一款JetBrains大數(shù)據(jù)開發(fā)工具，即一款集成 Spark 且支持編輯和運行 Zeppelin Notebooks 的 IntelliJ IDEA 插件，從而為開發(fā)者們帶來更加高效、舒適的大數(shù)據(jù)處理和開發(fā)體驗。是為使用Zeppelin和Spark的數(shù)據(jù)工程師和其他專業(yè)人員所量身定做的一款軟件。

它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，數(shù)字開放空間，Microsoft Azure 和 Hadoop 分布式文件系統(tǒng)（HDFS）來監(jiān)視和處理數(shù)據(jù)的特定功能。

插件特征

瀏覽，創(chuàng)建和刪除筆記本

Coding Assistance for Scala

代碼完成

重命名重構(gòu)

提取變量

函數(shù)跳轉(zhuǎn)

顯示用法

創(chuàng)建和刪除段落

運行段落

瀏覽段落的輸出

支持基本的可視化

將會有更多的語言和集成。

將大數(shù)據(jù)工具用于

-Zeppelin筆記本中的探索性分析、可視化和原型設(shè)計工作。

-直接從IDE運行和監(jiān)視Spark或Flink作業(yè)。

-與亞馬遜電子病歷集群合作。

-查看大數(shù)據(jù)文件，如CSV、Parquet、ORC和Avro。

-用Kafka制作和消費信息。

-預(yù)覽配置單元元存儲數(shù)據(jù)庫。

-深入了解Hadoop環(huán)境。

更新日志

新增功能
Zeppelin
更多提取選項。除了將選定的Scala代碼提取到一個單獨的方法或類中之外，您現(xiàn)在還可以：
提取齊柏林飛艇音符的所有Scala段落，
從特定段落中提取Scala代碼。
口譯員可以全局刷新，而不僅僅是每個筆記本。
Zeppelin依賴項、解釋器設(shè)置和解釋器綁定現(xiàn)在都合并到一個對話框中，即“依賴項”和“解釋器設(shè)置”。
為PySpark中的列名添加補全。
Hive Metastore
支持配置單元版本v2。
Kafka
支持連接到Kafka模式注冊表。
已為Kafka架構(gòu)注冊表啟用SSH隧道。
支持AWS IAM身份驗證。
Kerberos
支持的Kerberos連接：
Kafka，
Hive Metastore，
HDFS。
遠(yuǎn)程文件存儲
大數(shù)據(jù)工具中對所有云的擴(kuò)展支持：
通用元信息，
文件版本控制，
顯示和編輯對象和存儲桶的標(biāo)記，
顯示跨源復(fù)制狀態(tài)（CORS）。
按存儲中的名稱篩選存儲桶。
創(chuàng)建目錄操作現(xiàn)在允許創(chuàng)建嵌套目錄。
為“復(fù)制文件路徑”操作添加了新選項：
復(fù)制密鑰路徑，
復(fù)制預(yù)簽名路徑。
“導(dǎo)航到”操作現(xiàn)在可用于HDFS、本地和SFTP連接。