Spring Batch 入門示例
我將向您展示如何使用Spring Boot創(chuàng)建一個的Spring Batch的Hello World示例。
(循序漸進(jìn))
因此，如果您是Spring Batch的初學(xué)者，您一定會喜歡本指南。
準(zhǔn)備好了嗎?
如果您想了解更多關(guān)于Spring Batch的信息，請訪問
1.Spring Batch框架工作原理
在深入研究代碼之前，讓我們先看看Spring Batch框架。它包含以下主要構(gòu)建塊:
一個Batch(批處理)過程由一個Job(作業(yè))組成。這個實體封裝了整個批處理過程。
一個Job(作業(yè))可以由一個或多個Step(步驟)組成。在大多數(shù)情況下，一個步驟將讀取數(shù)據(jù)(通過ItemReader)，處理數(shù)據(jù)(使用ItemProcessor)，然后寫入數(shù)據(jù)(通過ItemWriter)。
JobLauncher處理啟動一個Job(作業(yè))。
最后，JobRepository存儲關(guān)于配置和執(zhí)行的Job(作業(yè))的元數(shù)據(jù)。
為了演示Spring Batch是如何工作的，讓我們構(gòu)建一個簡單的Hello World批處理作業(yè)。
在本例中，我們從person.csv文件中讀取一個人的姓和名。從這些數(shù)據(jù)生成一個問候語。然后將此問候語寫入greeting .txt文件。
2.示例概述
我們會使用以下工具/框架:
Spring Batch 4.1Spring Boot 2.1Maven 3.6
我們的項目目錄結(jié)構(gòu)如下:
3. Maven配置
我們使用Maven構(gòu)建并運行示例。如果還沒有，下載并安裝Apache Maven。
讓我們使用Spring Initializr來生成Maven項目。確保選擇Batch作為依賴項。
單擊Generate Project生成并下載Spring Boot項目模板。在項目的根目錄中，您將發(fā)現(xiàn)一個pom.xml文件，它是Maven項目的XML配置文件。
為了避免必須管理不同Spring依賴項的版本兼容性，我們將從spring-boot-starter-parent 父POM繼承默認(rèn)配置。
生成的項目包含Spring Boo Starters管理著不同的Spring依賴項。
spring-boot-starter-batch導(dǎo)入Spring Boot和Spring Batch依賴項。
spring-boot-starter-test 包含用于測試Spring引導(dǎo)應(yīng)用程序的依賴項。它導(dǎo)入了包括JUnit、Hamcrest和Mockito在內(nèi)的庫。
這個也有依賴性spring-batch-test。這個庫包含一些幫助類，它們將幫助測試批處理作業(yè)。
在plugins部分，您將找到Spring Boot Maven插件:spring-boot-maven- plugin。它幫助我們構(gòu)建一個單一的、可運行的uber-jar。這是執(zhí)行和發(fā)布代碼的一種方便方法。此外，插件允許您通過Maven命令啟動示例。
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>com.codenotfound</groupId>
<artifactId>spring-batch-hello-world</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>spring-batch-hello-world</name>
<description>Spring Batch Hello World Example</description>
<url>https://codenotfound.com/spring-batch-example.html</url>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.5.RELEASE</version>
<relativePath /> <!-- lookup parent from repository -->
</parent>
<properties>
<java.version>11</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-batch</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<dependency>
<groupId>org.springframework.batch</groupId>
<artifactId>spring-batch-test</artifactId>
<scope>test</scope>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
4. Spring Boot 配置
我們使用Spring Boot，目的是讓一個Spring Batch應(yīng)用程序可以“直接運行”。
首先創(chuàng)建一個SpringBatchApplication類。它包含main()方法，該方法使用Spring Boot的SpringApplication.run()啟動應(yīng)用程序。
注意
@SpringBootApplication是一個方便的注解，它添加了:@Configuration、@EnableAutoConfiguration和@ComponentScan。
有關(guān)Spring Boot的更多信息，請查看Spring Boot入門指南。
默認(rèn)情況下，Spring Batch使用數(shù)據(jù)庫存儲已配置的批處理作業(yè)上的元數(shù)據(jù)。
在本例中，我們不直接使用數(shù)據(jù)庫，而是使用基于內(nèi)存映射的Map,運行Spring Batch。
spring-boot-starter-batch starter依賴于spring-boot-starter-jdbc，并將嘗試實例化數(shù)據(jù)源。添加 exclude = {DataSourceAutoConfiguration.class}注解中添加@SpringBootApplication。這可以防止Spring Boot為數(shù)據(jù)庫連接自動配置DataSource。
package com.codenotfound;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;
import org.springframework.boot.autoconfigure.jdbc.DataSourceAutoConfiguration;
@SpringBootApplication(exclude = {DataSourceAutoConfiguration.class})
public class SpringBatchApplication {
public static void main(String[] args) {
SpringApplication.run(SpringBatchApplication.class, args);
}
}
5. 創(chuàng)建實體模型
在處理數(shù)據(jù)之前，通常希望將其映射到實體對象。
在我的示例中，輸入數(shù)據(jù)存儲在src/test/resources/csv/persons.csv文件中。
文件中的每一行都包含一個逗號分隔的姓和名。
John, Doe
Jane, Doe
我們將把這個數(shù)據(jù)映射到Person對象。這是一個包含姓和名的簡單POJO。
package com.codenotfound.model;
public class Person {
private String firstName;
private String lastName;
public Person() {
// default constructor
}
public String getFirstName() {
return firstName;
}
public void setFirstName(String firstName) {
this.firstName = firstName;
}
public String getLastName() {
return lastName;
}
public void setLastName(String lastName) {
this.lastName = lastName;
}
@Override
public String toString() {
return firstName + " " + lastName;
}
}
6. 配置 Spring Batch Job
我們首先創(chuàng)建一個BatchConfig類，它將配置Spring Batch。類頂部的@Configuration注解表明Spring可以使用該類作為bean定義的源。
我們添加了@EnableBatchProcessing注解，它支持所有所需Spring Batch特性。它還提供了設(shè)置批處理作業(yè)的基本配置。
通過添加這個注解會需要很多操作。下面是@EnableBatchProcessing創(chuàng)建的概述:
- JobRepository (bean名稱 "jobRepository")
- JobLauncher (bean名稱 "jobLauncher")
- JobRegistry (bean名稱 "jobRegistry")
- JobExplorer (bean名稱 "jobExplorer")
- PlatformTransactionManager (bean名稱 "transactionManager")
- JobBuilderFactory (bean名稱"jobBuilders")，它可以方便地防止您必須將作業(yè)存儲庫注入到每個Job(作業(yè))中
- StepBuilderFactory (bean名稱 "stepBuilders")，以方便您避免將作業(yè)存儲庫和事務(wù)管理器注入到每個Step(步驟)中
為了使Spring Batch使用基于Map的JobRepository，我們需要擴(kuò)展DefaultBatchConfigurer。重寫setDataSource()方法以不設(shè)置DataSource。這將導(dǎo)致自動配置使用基于Map的JobRepository。
package com.codenotfound.batch;
import javax.sql.DataSource;
import org.springframework.batch.core.configuration.annotation.DefaultBatchConfigurer;
import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.context.annotation.Configuration;
@Configuration@EnableBatchProcessingpublic class BatchConfig extends DefaultBatchConfigurer {
@Override
public void setDataSource(DataSource dataSource) {
// initialize will use a Map based JobRepository (instead of database)
}
}
現(xiàn)在讓我們繼續(xù)配置Hello World Spring Batch 作業(yè)。
創(chuàng)建一個HelloWorldJobConfig配置類，并用添加@Configuration注解。
在HelloWorldJobConfig Bean中，我們使用JobBuilderFactory來創(chuàng)建作業(yè)。我們傳遞Job(作業(yè))的名稱和需要運行的Step(步驟)。
注意
在helloWorlJob()Bean中,Spring將自動注入 jobBuilders 和 stepBuilders Beans。
在HelloWorldStepBean中定義了我們的步驟執(zhí)行的不同項。我們使用StepBuilderFactory創(chuàng)建步驟。
首先，我們傳入步驟的名稱。使用chunk()，我們指定每個事務(wù)中處理的項的數(shù)量。Chunk還指定步驟的輸入(Person)和輸出(String)類型。然后，我們將ItemReader (reader)、ItemProcessor (processor)和ItemWriter (writer)添加到步驟中。
我們使用FlatFileItemReader讀取person CSV文件。這個類提供了讀取和解析CSV文件的基本功能。
有一個FlatFileItemReaderBuilder實現(xiàn)，它允許我們創(chuàng)建一個FlatFileItemReader。我們首先指定讀取文件中每一行的結(jié)果是Person對象。然后，我們將使用name()方法為FlatFileItemReader添加一個名稱，并指定需要讀取的資源(在本例中是persons.csv文件)。
為了讓FlatFileItemReader處理我們的文件，我們需要指定一些額外的信息。首先，我們定義文件中的數(shù)據(jù)是帶分隔符的(默認(rèn)為逗號作為分隔符)。
我們還指定了如何將一行中的每個字段映射到Person對象。這是使用names()來完成的，通過將名稱與對象上的setter匹配，可以使Spring Batch映射字段。
在本文的例子中，一行的第一個字段將使用firstName setter進(jìn)行映射。為了實現(xiàn)這一點，我們還需要指定targetType,即Person對象。
注意：
names(new String[] {"firstName", "lastName"})
PersonItemProcessor處理數(shù)據(jù)。它將一個Person轉(zhuǎn)換成一個問候String。我們將在下面的一個單獨的類中定義它。
一旦數(shù)據(jù)被處理，我們將把它寫入一個文本文件。我們使用FlatFileItemWriter來完成這項任務(wù)。
我們使用FlatFileItemWriterBuilder實現(xiàn)來創(chuàng)建一個FlatFileItemWriter。我們?yōu)?code>writer添加一個名稱，并指定需要將數(shù)據(jù)寫入其中的資源(在本例中是greeting.txt文件)。
FlatFileItemWriter需要知道如何將生成的輸出轉(zhuǎn)換成可以寫入文件的單個字符串。在本例中，我們的輸出已經(jīng)是一個字符串，我們可以使用PassThroughLineAggregator。這是最基本的實現(xiàn)，它假定對象已經(jīng)是一個字符串。
package com.codenotfound.batch;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.item.file.FlatFileItemReader;
import org.springframework.batch.item.file.FlatFileItemWriter;
import org.springframework.batch.item.file.builder.FlatFileItemReaderBuilder;
import org.springframework.batch.item.file.builder.FlatFileItemWriterBuilder;
import org.springframework.batch.item.file.transform.PassThroughLineAggregator;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.core.io.ClassPathResource;
import org.springframework.core.io.FileSystemResource;
import com.codenotfound.model.Person;
@Configurationpublic class HelloWorldJobConfig {
@Bean
public Job helloWorlJob(JobBuilderFactory jobBuilders,
StepBuilderFactory stepBuilders) {
return jobBuilders.get("helloWorldJob")
.start(helloWorldStep(stepBuilders)).build();
}
@Bean
public Step helloWorldStep(StepBuilderFactory stepBuilders) {
return stepBuilders.get("helloWorldStep")
.<Person, String>chunk(10).reader(reader())
.processor(processor()).writer(writer()).build();
}
@Bean
public FlatFileItemReader<Person> reader() {
return new FlatFileItemReaderBuilder<Person>()
.name("personItemReader")
.resource(new ClassPathResource("csv/persons.csv"))
.delimited().names(new String[] {"firstName", "lastName"})
.targetType(Person.class).build();
}
@Bean
public PersonItemProcessor processor() {
return new PersonItemProcessor();
}
@Bean
public FlatFileItemWriter<String> writer() {
return new FlatFileItemWriterBuilder<String>()
.name("greetingItemWriter")
.resource(new FileSystemResource(
"target/test-outputs/greetings.txt"))
.lineAggregator(new PassThroughLineAggregator<>()).build();
}
}
7. 處理數(shù)據(jù)
在大多數(shù)情況下，您將希望在批處理作業(yè)期間應(yīng)用一些數(shù)據(jù)處理。可以使用ItemProcessor來操作。
在我們的示例中，我們將Person對象轉(zhuǎn)換為一個簡單的問候語String
為此，我們創(chuàng)建一個實現(xiàn)ItemProcessor接口的PersonItemProcessor。我們實現(xiàn)了process()方法，它將人名和姓氏添加到字符串中。
調(diào)試的過程中，我們記錄日志結(jié)果。
package com.codenotfound.batch;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.batch.item.ItemProcessor;
import com.codenotfound.model.Person;
public class PersonItemProcessor
implements ItemProcessor<Person, String> {
private static final Logger LOGGER =
LoggerFactory.getLogger(PersonItemProcessor.class);
@Override
public String process(Person person) throws Exception {
String greeting = "Hello " + person.getFirstName() + " "
+ person.getLastName() + "!";
LOGGER.info("converting '{}' into '{}'", person, greeting);
return greeting;
}
}
8.測試Spring Batch 示例
為了測試本的例子，我們創(chuàng)建了一個基本的單元測試用例。它將運行批處理作業(yè)并檢查是否成功完成。
我們使用@RunWith和@SpringBootTest測試注解告訴JUnit使用Spring的測試支持運行，并使用SpringBoot的支持引導(dǎo)。
Spring Batch附帶一個JobLauncherTestUtils實用程序類，用于測試批處理作業(yè)。
我們首先創(chuàng)建一個內(nèi)部BatchTestConfig類，將helloWorld作業(yè)添加到JobLauncherTestUtils bean中。然后使用此bean的launchJob()方法運行批處理作業(yè)。
如果執(zhí)行的作業(yè)沒有任何錯誤，則ExitCode的值為COMPLETED。
package com.codenotfound;
import static org.assertj.core.api.Assertions.assertThat;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.JobExecution;
import org.springframework.batch.core.launch.NoSuchJobException;
import org.springframework.batch.test.JobLauncherTestUtils;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import org.springframework.context.annotation.Import;
import org.springframework.test.context.junit4.SpringRunner;
import com.codenotfound.batch.job.BatchConfig;
import com.codenotfound.batch.job.HelloWorldJobConfig;
@RunWith(SpringRunner.class)
@SpringBootTest(
classes = {SpringBatchApplicationTests.BatchTestConfig.class})
public class SpringBatchApplicationTests {
@Autowired
private JobLauncherTestUtils jobLauncherTestUtils;
@Test
public void testHelloWorldJob() throws Exception {
JobExecution jobExecution = jobLauncherTestUtils.launchJob();
assertThat(jobExecution.getExitStatus().getExitCode())
.isEqualTo("COMPLETED");
}
@Configuration
@Import({BatchConfig.class, HelloWorldJobConfig.class})
static class BatchTestConfig {
@Autowired
private Job helloWorlJob;
@Bean
JobLauncherTestUtils jobLauncherTestUtils()
throws NoSuchJobException {
JobLauncherTestUtils jobLauncherTestUtils =
new JobLauncherTestUtils();
jobLauncherTestUtils.setJob(helloWorlJob);
return jobLauncherTestUtils;
}
}
}
要觸發(fā)上述測試用例，請在項目根文件夾中打開命令提示符，并執(zhí)行以下Maven命令:
mvn test
結(jié)果是構(gòu)建成功，并在此期間執(zhí)行批處理作業(yè)。
. ____ _ __ _ _
/\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \
( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \
\\/ ___)| |_)| | | | | || (_| | ) ) ) )
' |____| .__|_| |_|_| |_\__, | / / / /
=========|_|==============|___/=/_/_/_/
:: Spring Boot :: (v2.1.5.RELEASE)
2019-05-30 19:11:12.784 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Starting SpringBatchApplicationTests on DESKTOP-2RB3C1U with PID 14588 (started by Codenotfound in C:\Users\Codenotfound\repos\spring-batch\spring-batch-hello-world)
2019-05-30 19:11:12.785 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : No active profile set, falling back to default profiles: default
2019-05-30 19:11:13.305 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No datasource was provided...using a Map based JobRepository
2019-05-30 19:11:13.306 WARN 14588 --- [ main] o.s.b.c.c.a.DefaultBatchConfigurer : No transaction manager was provided, using a ResourcelessTransactionManager
2019-05-30 19:11:13.328 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : No TaskExecutor has been set, defaulting to synchronous executor.
2019-05-30 19:11:13.350 INFO 14588 --- [ main] c.c.SpringBatchApplicationTests : Started SpringBatchApplicationTests in 0.894 seconds (JVM running for 1.777)
2019-05-30 19:11:13.732 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] launched with the following parameters: [{random=459672}]
2019-05-30 19:11:13.759 INFO 14588 --- [ main] o.s.batch.core.job.SimpleStepHandler : Executing step: [helloWorldStep]
2019-05-30 19:11:13.812 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting 'John Doe' into 'Hello John Doe!'
2019-05-30 19:11:13.822 INFO 14588 --- [ main] c.c.batch.PersonItemProcessor : converting 'Jane Doe' into 'Hello Jane Doe!'
2019-05-30 19:11:13.842 INFO 14588 --- [ main] o.s.b.c.l.support.SimpleJobLauncher : Job: [SimpleJob: [name=helloWorldJob]] completed with the following parameters: [{random=459672}] and the following status: [COMPLETED]
[INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0, Time elapsed: 1.953 s - in com.codenotfound.SpringBatchApplicationTests
[INFO]
[INFO] Results:
[INFO]
[INFO] Tests run: 1, Failures: 0, Errors: 0, Skipped: 0
[INFO]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 6.852 s
[INFO] Finished at: 2019-05-30T19:11:14+02:00
[INFO] ------------------------------------------------------------------------
您可以在target/test-output /greeting .txt文件中找到結(jié)果:
Hello John Doe!
Hello Jane Doe!
如果您想運行上面的代碼示例，您可以在這里獲得完整的源代碼。
在本入門教程中，您學(xué)習(xí)了如何使用Spring Boot和Maven創(chuàng)建一個簡單的Spring Batch示例。
到此這篇關(guān)于Spring Batch 入門示例的文章就介紹到這了,更多相關(guān)Spring Batch 入門內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
Springboot?整合maven插口調(diào)用maven?release?plugin實現(xiàn)一鍵打包功能
這篇文章主要介紹了Springboot?整合maven插口調(diào)用maven?release?plugin實現(xiàn)一鍵打包功能,整合maven-invoker使程序去執(zhí)行mvn命令，結(jié)合示例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下2022-03-03
Java編程中使用XFire框架調(diào)用WebService程序接口
這篇文章主要介紹了Java編程中使用XFire調(diào)用WebService程序接口的方法,WebService是一種跨編程語言和跨操作系統(tǒng)平臺的遠(yuǎn)程調(diào)用技術(shù),需要的朋友可以參考下2015-12-12
Java基礎(chǔ)之ArrayList的擴(kuò)容機(jī)制
這篇文章主要介紹了Java基礎(chǔ)之ArrayList的擴(kuò)容機(jī)制,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)java基礎(chǔ)的小伙伴們有很好的幫助,需要的朋友可以參考下2021-05-05
解決mybatis generator MySQL自增ID出現(xiàn)重復(fù)問題MySQLIntegrityC
在MySQL中使用MyBatis時,可能會遇到由于主鍵重復(fù)導(dǎo)致的插入失敗問題,此問題通常發(fā)生在連續(xù)插入多條數(shù)據(jù)時,如果selectKey的order配置錯誤,如使用BEFORE而不是AFTER,將會導(dǎo)致獲取的ID未更新,引起主鍵重復(fù)錯誤,正確的配置應(yīng)使用AFTER2024-10-10
mybatis中sql語句CDATA標(biāo)簽的用法說明
這篇文章主要介紹了mybatis中sql語句CDATA標(biāo)簽的用法說明，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2021-06-06
這篇文章主要介紹了Java設(shè)計模式之代理模式解析,代理模式為一個對象提供一個替身,以控制對這個對象的訪問,即通過代理對象訪問目標(biāo)對象,需要的朋友可以參考下2023-12-12
SpringBoot+MyBatis+AOP實現(xiàn)讀寫分離的示例代碼
高并發(fā)這個階段，肯定是需要做MySQL讀寫分離的。本文主要介紹了SpringBoot+MyBatis+AOP實現(xiàn)讀寫分離的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-11-11
SpringBoot實現(xiàn)異步任務(wù)的項目實踐
本文將使用SpringBoot 去實現(xiàn)異步之間的調(diào)用,提高系統(tǒng)的并發(fā)性能、用戶體驗,具有一定的參考價值,感興趣的可以了解一下2023-10-10
這篇文章主要介紹了分享Java多線程實現(xiàn)的四種方式，文章基于?Java的相關(guān)資料展開多線程的詳細(xì)介紹，具有一的的參考價值，需要的小伙伴可以參考一下2022-05-05
這篇文章主要介紹了Java中的JetCache實戰(zhàn)，JetCache是一個基于Java的緩存系統(tǒng)封裝，提供統(tǒng)一的API和注解來簡化緩存的使用，下文更多相關(guān)資料需要的小伙伴可以參考一下2022-04-04