Idea?編譯并運(yùn)行?Spark?3.1.1?源碼的方法
Idea 編譯并運(yùn)行 Spark 3.1.1 源碼
1、下載源碼
直接使用 idea clone spark 源碼，git 地址： https://github.com/apache/spark.git
如果網(wǎng)絡(luò)連接不上github的話可以去官網(wǎng)下載源碼壓縮包。下載地址：https://archive.apache.org/dist/spark/
clone 或 import 之后會(huì)有 maven 和 sbt 兩個(gè)選項(xiàng)導(dǎo)入，直接識(shí)別成 maven 項(xiàng)目，checkout自己需要的版本，我本次編譯版本為3.1分支
2、編譯源碼
直接使用 idea 頁(yè)面 ui 編譯，找到 Spark Project Parent POM 然后點(diǎn)擊 clean 和 package，勾選上 skipTest。
編譯過(guò)程中，報(bào)了如下異常：
這是maven插件的問(wèn)題，我們跳過(guò)這個(gè)的功能，使用如下maven 語(yǔ)句編譯：
mvn clean package -DskipTests -Denforcer.skip=true
編譯過(guò)程中，又拋了如下異常：
Execute failed: java.io.IOException: Cannot run program “bash” (in directory “D:\Develop\workspace\spark\core”): CreateProcess error=2, 系統(tǒng)找不到指定的文件。
這個(gè)是本地Windows環(huán)境不能執(zhí)行bash導(dǎo)致的，需要本機(jī)安裝Git工具, 將git路徑添加到系統(tǒng)環(huán)境變量 Path 中，然后重啟電腦就可以解決。
之后就等待編譯完成即可，可能時(shí)間有點(diǎn)長(zhǎng)，15分鐘左右。
3、運(yùn)行源碼
嘗試根據(jù)官網(wǎng)案例運(yùn)行代碼
運(yùn)行 ./bin/run-example SparkPi 10 命令報(bào)找不到 HADOOP_HOME，配置一下HADOOP_HOME，然后重啟電腦即可。
配置完成之后，運(yùn)行成功
spark shell 也可以正常啟動(dòng)，證明我們的代碼可以正常運(yùn)行了，更多的操作就留給大家自己操作了，下面就可以正常的進(jìn)行代碼debug查看源碼了。
到此這篇關(guān)于Idea 編譯并運(yùn)行 Spark 3.1.1 源碼的文章就介紹到這了,更多相關(guān)Idea 編譯運(yùn)行 Spark內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
本文主要介紹了servlet創(chuàng)建web后端程序的示例代碼，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-06-06
在 SpringBoot中,提供了一種新的屬性注入方式,支持各種java基本數(shù)據(jù)類型及復(fù)雜類型的注入,下面這篇文章主要給大家介紹了關(guān)于SpringBoot屬性注入的多種方式,需要的朋友可以參考下2021-10-10
MyBatis使用動(dòng)態(tài)SQL標(biāo)簽的小陷阱
MyBatis是一個(gè)支持普通SQL查詢，存儲(chǔ)過(guò)程和高級(jí)映射的優(yōu)秀持久層框架，MyBatis越來(lái)越受大家的喜愛(ài)了。下面給大家分享MyBatis使用動(dòng)態(tài)SQL標(biāo)簽的小陷阱，感興趣的朋友一起看看吧2016-10-10
springboot配置文件綁定實(shí)現(xiàn)解析
這篇文章主要介紹了springboot配置文件綁定實(shí)現(xiàn)解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-01-01
SpringBoot3.x中spring.factories?SPI?服務(wù)發(fā)現(xiàn)機(jī)制的改變問(wèn)題小結(jié)
spring.factories其實(shí)是SpringBoot提供的SPI機(jī)制，底層實(shí)現(xiàn)是基于SpringFactoriesLoader檢索ClassLoader中所有jar引入的META-INF/spring.factories文件，這篇文章主要介紹了SpringBoot3.x中spring.factories?SPI?服務(wù)發(fā)現(xiàn)機(jī)制的改變,需要的朋友可以參考下2023-05-05
去掉IntelliJ IDEA 中 mybatis 對(duì)應(yīng)的 xml 文件警告的教程圖解
本文通過(guò)圖文并茂的形式給大家介紹了去掉IntelliJ IDEA 中 mybatis 對(duì)應(yīng)的 xml 文件警告的教程,需要的朋友可以參考下2018-06-06
在SpringBoot中,如何使用Netty實(shí)現(xiàn)遠(yuǎn)程調(diào)用方法總結(jié)
我們?cè)谶M(jìn)行網(wǎng)絡(luò)連接的時(shí)候,建立套接字連接是一個(gè)非常消耗性能的事情,特別是在分布式的情況下,用線程池去保持多個(gè)客戶端連接,是一種非常消耗線程的行為.那么我們?cè)撏ㄟ^(guò)什么技術(shù)去解決上述的問(wèn)題呢,那么就不得不提一個(gè)網(wǎng)絡(luò)連接的利器——Netty,需要的朋友可以參考下2021-06-06
SpringBoot3整合mybatis-plus的實(shí)現(xiàn)
MyBatis-Plus是一個(gè)MyBatis的增強(qiáng)工具,在MyBatis的基礎(chǔ)上只做增強(qiáng)不做改變,本文主要介紹了Mybatis-Plus3.x的具體使用,具有一定的參考價(jià)值,感興趣的可以了解一下2023-10-10
SpringCloud之Admin服務(wù)監(jiān)控實(shí)現(xiàn)流程示例詳解
這篇文章主要為大家介紹了SpringCloud之Admin服務(wù)監(jiān)控流程示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-09-09
SpringBoot接入釘釘自定義機(jī)器人預(yù)警通知
本文主要介紹了SpringBoot接入釘釘自定義機(jī)器人預(yù)警通知，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07