IDEA 中使用 Big Data Tools 連接大數(shù)據(jù)組件
簡(jiǎn)介
Big Data Tools 插件可用于 Intellij Idea 2019.2 及以后的版本。它提供了使用 Zeppelin，AWS S3，Spark，Google Cloud Storage，Minio，Linode，數(shù)字開(kāi)放空間，Microsoft Azure 和 Hadoop 分布式文件系統(tǒng)（HDFS）來(lái)監(jiān)視和處理數(shù)據(jù)的特定功能。
下面來(lái)看一下 Big Data Tools 的安裝和使用，主要會(huì)配置 Flink,Kafka 和 HDFS。
安裝 Big Data Tools 插件
點(diǎn)擊安裝完成之后，需要重啟一下 IDEA，插件才能生效，上面我已經(jīng)安裝過(guò)了。
Flink 配置（不推薦）
flink 需要下載即將發(fā)布的 IDEA 2022.2-EAP 版本才有，因?yàn)橹笆遣恢С?flink 的。
先點(diǎn)擊 IDEA 右側(cè)的 Big Data Tools，然后點(diǎn)擊加號(hào)就可以添加 Flink 組件了。
輸入 Flink WEB UI 地址，點(diǎn)擊 OK 就可以了。
這樣就可以直接在 IDEA 里面查看 Flink Dashboard，跟在 Web UI 上的功能完全一樣，點(diǎn)擊箭頭所指的地方可以直接跳轉(zhuǎn)到 Flink UI,雖然可以直接在 IDEA 里面查看 Dashboard，但是個(gè)人感覺(jué)還是在 Flink Web UI 上查看更加方便，可能是看習(xí)慣了。不是太推薦這個(gè)功能。
Kafka 配置（推薦）
然后來(lái)看一下 kafka 的配置。
同樣的，點(diǎn)擊加號(hào)選擇 Kafka 然后設(shè)置一下 Kafka 集群的 broker list ，點(diǎn)擊 OK 就行了。
可以看到所有 topic 的詳細(xì)信息，包括 partition，replicas 等，還可以查看 Consumers 的情況，這個(gè)功能還是不錯(cuò)的，雖然現(xiàn)在也有很多開(kāi)源的 kafka 監(jiān)控工具，但是配置起來(lái)還是有一點(diǎn)門(mén)檻，這個(gè)插件的配置幾乎是零門(mén)檻，對(duì)于簡(jiǎn)單的查看 kafka 的信息還是非常不錯(cuò)的。
HDFS 配置（推薦）
最后再來(lái)配置一個(gè) HDFS。
Authentication type 選擇 Explicit uri 然后設(shè)置一下 HDFS 服務(wù)地址就可以了。
直接就可以查看 HDFS 上的目錄及文件，這個(gè)功能還是非常方便的，就不用在登錄 HDFS-Web 去查看文件了。
總結(jié)
從 Big Data Tools 插件的安裝配置到使用，主要介紹了 Flink，Kafka,HDFS,這三個(gè)組件的配置使用，整個(gè)配置過(guò)程是非常簡(jiǎn)單的，當(dāng)然這個(gè)插件支持的組件遠(yuǎn)不止這些，包括像 spark，hive，zeppelin 等都是支持的，感興趣的同學(xué)可以自己在 IDEA 里面體驗(yàn)一下，整體上來(lái)說(shuō)，這個(gè)插件還是非常有用的。
到此這篇關(guān)于IDEA 中使用 Big Data Tools 連接大數(shù)據(jù)組件的文章就介紹到這了,更多相關(guān)IDEA Big Data Tools 連接大數(shù)據(jù) 內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
- idea配置連接數(shù)據(jù)庫(kù)的超詳細(xì)步驟
- IntelliJ IDEA連接MySQL數(shù)據(jù)庫(kù)詳細(xì)圖解
- IDEA使用properties配置文件進(jìn)行mysql數(shù)據(jù)庫(kù)連接的教程圖解
- IDEA無(wú)法連接mysql數(shù)據(jù)庫(kù)的6種解決方法大全
- 使用IDEA配置Tomcat和連接MySQL數(shù)據(jù)庫(kù)（JDBC）詳細(xì)步驟
- Intellij IDEA連接Navicat數(shù)據(jù)庫(kù)的方法
- IDEA配置連接MYSQL數(shù)據(jù)庫(kù)遇到Failed這個(gè)問(wèn)題解決
- Idea連接MySQL數(shù)據(jù)庫(kù)出現(xiàn)中文亂碼的問(wèn)題
- IDEA使用JDBC安裝配置jar包連接MySQL數(shù)據(jù)庫(kù)
相關(guān)文章
頁(yè)面上輸入驗(yàn)證碼是比較常見(jiàn)的一個(gè)功能,實(shí)現(xiàn)起來(lái)也很簡(jiǎn)單.給大家寫(xiě)一個(gè)簡(jiǎn)單的生成驗(yàn)證碼的示例程序,需要的朋友可以借鑒一下2017-05-05
這篇文章主要介紹了Java操作Redis詳細(xì)介紹，涉及對(duì)key的操作，string數(shù)據(jù)類(lèi)型，list數(shù)據(jù)類(lèi)型等相關(guān)內(nèi)容，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11
這篇文章主要介紹了ssm整合shiro使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
使用Jackson-json解析一個(gè)嵌套的json字符串
這篇文章主要介紹了使用Jackson-json解析一個(gè)嵌套的json字符串，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-09-09
Mybatis 實(shí)現(xiàn)一個(gè)搜索框?qū)Χ鄠€(gè)字段進(jìn)行模糊查詢
這篇文章主要介紹了Mybatis 實(shí)現(xiàn)一個(gè)搜索框?qū)Χ鄠€(gè)字段進(jìn)行模糊查詢，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2021-01-01
這篇文章主要給大家介紹了關(guān)于MyBatis源碼分析之日志logging的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
這篇文章主要介紹了Java基礎(chǔ)詳解之內(nèi)存泄漏,文中有非常詳細(xì)的代碼示例,對(duì)正在學(xué)習(xí)java的小伙伴們有很好地幫助,需要的朋友可以參考下2021-04-04
SpringMVC Cron定時(shí)器Demo常見(jiàn)問(wèn)題解決方案
這篇文章主要介紹了SpringMVC Cron定時(shí)器Demo常見(jiàn)問(wèn)題解決方案,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-11-11
深入了解SpringBoot中@ControllerAdvice的介紹及三種用法
這篇文章主要為大家詳細(xì)介紹了SpringBoot中@ControllerAdvice的介紹及三種用法，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-02-02
這篇文章主要介紹了java反射耗時(shí)測(cè)試案例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-10-10