Spring Boot與Spark、Cassandra系統(tǒng)集成開發(fā)示例
本文演示以Spark作為分析引擎,Cassandra作為數(shù)據(jù)存儲(chǔ),而使用Spring Boot來開發(fā)驅(qū)動(dòng)程序的示例。
1.前置條件
- 安裝Spark(本文使用Spark-1.5.1,如安裝目錄為/opt/spark)
- 安裝Cassandra(3.0+)
創(chuàng)建keyspace
CREATE KEYSPACE hfcb WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 };
創(chuàng)建table
CREATE TABLE person ( id text PRIMARY KEY, first_name text, last_name text );
插入測(cè)試數(shù)據(jù)
insert into person (id,first_name,last_name) values('1','wang','yunfei'); insert into person (id,first_name,last_name) values('2','peng','chao'); insert into person (id,first_name,last_name) values('3','li','jian'); insert into person (id,first_name,last_name) values('4','zhang','jie'); insert into person (id,first_name,last_name) values('5','liang','wei');
2.spark-cassandra-connector安裝
讓Spark-1.5.1能夠使用Cassandra作為數(shù)據(jù)存儲(chǔ),需要加上下面jar包的依賴(示例將包放置于 /opt/spark/managed-lib/ 目錄,可任意):
cassandra-clientutil-3.0.2.jar cassandra-driver-core-3.1.4.jar guava-16.0.1.jar cassandra-thrift-3.0.2.jar joda-convert-1.2.jar joda-time-2.9.9.jar libthrift-0.9.1.jar spark-cassandra-connector_2.10-1.5.1.jar
在 /opt/spark/conf 目錄下,新建 spark-env.sh 文件,輸入下面內(nèi)容
SPARK_CLASSPATH=/opt/spark/managed-lib/*
3.Spring Boot應(yīng)用開發(fā)
添加 spark-cassandra-connector 和 spark 依賴
<dependency> <groupId>com.datastax.spark</groupId> <artifactId>spark-cassandra-connector_2.10</artifactId> <version>1.5.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <version>1.5.1</version> </dependency> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.10</artifactId> <version>1.5.1</version> </dependency>
在 application.yml 中配置 spark 與 cassandra 路徑
spark.master: spark://master:7077 cassandra.host: 192.168.1.140 cassandra.keyspace: hfcb
此處特別說明 spark://master:7077 是域名形式而不是ip地址,可修改本地 hosts 文件將 master 與 ip 地址映射。
配置 SparkContext 和 CassandraSQLContext
@Configuration public class SparkCassandraConfig { @Value("${spark.master}") String sparkMasterUrl; @Value("${cassandra.host}") String cassandraHost; @Value("${cassandra.keyspace}") String cassandraKeyspace; @Bean public JavaSparkContext javaSparkContext(){ SparkConf conf = new SparkConf(true) .set("spark.cassandra.connection.host", cassandraHost) // .set("spark.cassandra.auth.username", "cassandra") // .set("spark.cassandra.auth.password", "cassandra") .set("spark.submit.deployMode", "client"); JavaSparkContext context = new JavaSparkContext(sparkMasterUrl, "SparkDemo", conf); return context; } @Bean public CassandraSQLContext sqlContext(){ CassandraSQLContext cassandraSQLContext = new CassandraSQLContext(javaSparkContext().sc()); cassandraSQLContext.setKeyspace(cassandraKeyspace); return cassandraSQLContext; } }
簡單調(diào)用
@Repository public class PersonRepository { @Autowired CassandraSQLContext cassandraSQLContext; public Long countPerson(){ DataFrame people = cassandraSQLContext.sql("select * from person order by id"); return people.count(); } }
啟動(dòng)即可如常規(guī)Spring Boot程序一樣執(zhí)行。
源碼地址: https://github.com/wiselyman/spring-spark-cassandra.git
總結(jié)
以上所述是小編給大家介紹的Spring Boot與Spark、Cassandra系統(tǒng)集成開發(fā)示例,希望對(duì)大家有所幫助,如果大家有任何疑問請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
相關(guān)文章
SpringBoot+Druid開啟監(jiān)控頁面的實(shí)現(xiàn)示例
本文主要介紹了SpringBoot+Druid開啟監(jiān)控頁面的實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-06-06Java編譯錯(cuò)誤信息提示java.lang.ExceptionInInitializer解決
這篇文章主要介紹了Java編譯錯(cuò)誤信息提示java.lang.ExceptionInInitializer的分析講解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-07-07Java 模擬數(shù)據(jù)庫連接池的實(shí)現(xiàn)代碼
這篇文章主要介紹了Java 模擬數(shù)據(jù)庫連接池的實(shí)現(xiàn),本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-02-02Rabbitmq延遲隊(duì)列實(shí)現(xiàn)定時(shí)任務(wù)的方法
這篇文章主要介紹了Rabbitmq延遲隊(duì)列實(shí)現(xiàn)定時(shí)任務(wù),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-05-05Spring?Data?JPA?映射VO/DTO對(duì)象方式
這篇文章主要介紹了Spring?Data?JPA?映射VO/DTO對(duì)象方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2021-11-11Java動(dòng)態(tài)規(guī)劃之硬幣找零問題實(shí)現(xiàn)示例
本文主要介紹了Java動(dòng)態(tài)規(guī)劃之硬幣找零問題實(shí)現(xiàn)示例,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08jsp、struts、spring、mybatis實(shí)現(xiàn)前端頁面功能模塊化拆分的方案
這篇文章主要介紹了 jsp、struts、spring、mybatis實(shí)現(xiàn)前端頁面功能模塊化拆分的方案,非常不錯(cuò),需要的朋友參考下2017-01-01