MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算。概念"Map(映射)"和"Reduce(歸約)"和他們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。他極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。

在編寫MapReduce程序時(shí)，Map和Reduce之間傳遞的數(shù)據(jù)需要是ArrayList類型的，在調(diào)試運(yùn)行時(shí)遇到了這樣的一個(gè)錯(cuò)誤：

java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()

經(jīng)查詢官網(wǎng)API文檔后發(fā)現(xiàn)這樣的一段話：

A Writable for arrays containing instances of a class. The elements of this writable must all be instances of the same class. If this writable will be the input for a Reducer, you will need to create a subclass that sets the value to be of the proper type. For example: public class IntArrayWritable extends ArrayWritable { public IntArrayWritable() { super(IntWritable.class); } }

原來(lái)是要自己實(shí)現(xiàn)一個(gè)ArrayWritable類的派生類，使用時(shí)只要實(shí)現(xiàn)兩個(gè)構(gòu)造函數(shù)即可

public static class TextArrayWritable extends ArrayWritable {
 public TextArrayWritable() {
 super(Text.class);
 }
 
 public TextArrayWritable(String[] strings) {
 super(Text.class);
 Text[] texts = new Text[strings.length];
 for (int i = 0; i < strings.length; i++) {
 texts[i] = new Text(strings[i]);
 }
 set(texts);
 }
}

您可能感興趣的文章:

相關(guān)文章

Springboot WebFlux集成Spring Security實(shí)現(xiàn)JWT認(rèn)證的示例
這篇文章主要介紹了Springboot WebFlux集成Spring Security實(shí)現(xiàn)JWT認(rèn)證的示例，幫助大家更好的理解和學(xué)習(xí)使用springboot框架，感興趣的朋友可以了解下
2021-04-04
java8中@Contended注解的使用
本文主要介紹了java8中@Contended注解的使用，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2023-07-07
Spring整合Quartz實(shí)現(xiàn)動(dòng)態(tài)定時(shí)器的示例代碼
本篇文章主要介紹了Spring整合Quartz實(shí)現(xiàn)動(dòng)態(tài)定時(shí)器的示例代碼，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。
2017-01-01
java實(shí)現(xiàn)文件上傳功能
這篇文章主要為大家詳細(xì)介紹了java實(shí)現(xiàn)文件上傳功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2020-12-12
httpclient模擬post請(qǐng)求json封裝表單數(shù)據(jù)的實(shí)現(xiàn)方法
下面小編就為大家?guī)?lái)一篇httpclient模擬post請(qǐng)求json封裝表單數(shù)據(jù)的實(shí)現(xiàn)方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2016-12-12
深入理解Java中@Accessors和@Builder
本文主要介紹了@Accessors和@Builder使用,區(qū)別與坑,對(duì)使用這兩個(gè)注解的有一定的幫助,具有一定的參考價(jià)值,感興趣的可以了解一下
2023-08-08
通過(guò)Docker啟動(dòng)Solace并在Spring?Boot通過(guò)JMS整合Solace的操作方法
本文將介紹如何在Spring中使用，雖然代碼使用的是Spring Boot，但并沒(méi)有使用相關(guān)starter，跟Spring的整合一樣，可通用，JMS是通過(guò)的消息處理框架，可以深入學(xué)習(xí)一下，不同的MQ在JMS的整合上都是類似的，感興趣的朋友跟隨小編一起看看吧
2023-01-01
Java基本知識(shí)點(diǎn)之變量和數(shù)據(jù)類型
這篇文章主要給大家介紹了關(guān)于Java基本知識(shí)點(diǎn)之變量和數(shù)據(jù)類型的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
Java實(shí)現(xiàn)簡(jiǎn)單郵件發(fā)送
這篇文章主要介紹了Java實(shí)現(xiàn)簡(jiǎn)單郵件發(fā)送的相關(guān)資料，實(shí)例講解了java郵件發(fā)送實(shí)現(xiàn)方法，感興趣的小伙伴們可以參考一下
2016-02-02
Java NumberFormat格式化float類型的bug
今天小編就為大家分享一篇關(guān)于Java NumberFormat格式化float類型的bug，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
2018-10-10