MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算。概念"Map(映射)"和"Reduce(歸約)"和他們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。他極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。

在編寫MapReduce程序時，Map和Reduce之間傳遞的數(shù)據(jù)需要是ArrayList類型的，在調(diào)試運行時遇到了這樣的一個錯誤：

java.lang.RuntimeException: java.lang.NoSuchMethodException: org.apache.hadoop.io.ArrayWritable.<init>()

經(jīng)查詢官網(wǎng)API文檔后發(fā)現(xiàn)這樣的一段話：

A Writable for arrays containing instances of a class. The elements of this writable must all be instances of the same class. If this writable will be the input for a Reducer, you will need to create a subclass that sets the value to be of the proper type. For example: public class IntArrayWritable extends ArrayWritable { public IntArrayWritable() { super(IntWritable.class); } }

原來是要自己實現(xiàn)一個ArrayWritable類的派生類，使用時只要實現(xiàn)兩個構(gòu)造函數(shù)即可

public static class TextArrayWritable extends ArrayWritable {
 public TextArrayWritable() {
 super(Text.class);
 }
 
 public TextArrayWritable(String[] strings) {
 super(Text.class);
 Text[] texts = new Text[strings.length];
 for (int i = 0; i < strings.length; i++) {
 texts[i] = new Text(strings[i]);
 }
 set(texts);
 }
}

您可能感興趣的文章:

相關(guān)文章

Springboot WebFlux集成Spring Security實現(xiàn)JWT認(rèn)證的示例
這篇文章主要介紹了Springboot WebFlux集成Spring Security實現(xiàn)JWT認(rèn)證的示例，幫助大家更好的理解和學(xué)習(xí)使用springboot框架，感興趣的朋友可以了解下
2021-04-04
java8中@Contended注解的使用
本文主要介紹了java8中@Contended注解的使用，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-07-07
Spring整合Quartz實現(xiàn)動態(tài)定時器的示例代碼
本篇文章主要介紹了Spring整合Quartz實現(xiàn)動態(tài)定時器的示例代碼，具有一定的參考價值，感興趣的小伙伴們可以參考一下。
2017-01-01
java實現(xiàn)文件上傳功能
這篇文章主要為大家詳細(xì)介紹了java實現(xiàn)文件上傳功能，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2020-12-12
httpclient模擬post請求json封裝表單數(shù)據(jù)的實現(xiàn)方法
下面小編就為大家?guī)硪黄猦ttpclient模擬post請求json封裝表單數(shù)據(jù)的實現(xiàn)方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2016-12-12
深入理解Java中@Accessors和@Builder
本文主要介紹了@Accessors和@Builder使用,區(qū)別與坑,對使用這兩個注解的有一定的幫助,具有一定的參考價值,感興趣的可以了解一下
2023-08-08
通過Docker啟動Solace并在Spring?Boot通過JMS整合Solace的操作方法
本文將介紹如何在Spring中使用，雖然代碼使用的是Spring Boot，但并沒有使用相關(guān)starter，跟Spring的整合一樣，可通用，JMS是通過的消息處理框架，可以深入學(xué)習(xí)一下，不同的MQ在JMS的整合上都是類似的，感興趣的朋友跟隨小編一起看看吧
2023-01-01
Java基本知識點之變量和數(shù)據(jù)類型
這篇文章主要給大家介紹了關(guān)于Java基本知識點之變量和數(shù)據(jù)類型的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
Java實現(xiàn)簡單郵件發(fā)送
這篇文章主要介紹了Java實現(xiàn)簡單郵件發(fā)送的相關(guān)資料，實例講解了java郵件發(fā)送實現(xiàn)方法，感興趣的小伙伴們可以參考一下
2016-02-02
Java NumberFormat格式化float類型的bug
今天小編就為大家分享一篇關(guān)于Java NumberFormat格式化float類型的bug，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
2018-10-10