快捷導(dǎo)航

shuffle的關(guān)鍵階段sort(Map端和Reduce端)源碼分析

更新時(shí)間：2019年01月10日 11:14:02 作者：qq_43193797

今天小編就為大家分享一篇關(guān)于shuffle的關(guān)鍵階段sort(Map端和Reduce端)源碼分析，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧

源碼中有這樣一段代碼

1. Map端排序獲取的比較器

public RawComparator getOutputKeyComparator() {
  // 獲取mapreduce.job.output.key.comparator.class，必須是RawComparator類型，如果沒設(shè)置，是null
  Class<? extends RawComparator> theClass = getClass(
   JobContext.KEY_COMPARATOR, null, RawComparator.class);
  // 如果用戶自定義了這個(gè)參數(shù)，那么實(shí)例化用戶自定義的比較器
  if (theClass != null)
   return ReflectionUtils.newInstance(theClass, this);
  // 默認(rèn)情況，用戶是沒用自定義這個(gè)參數(shù)
  // 判斷Map輸出的key，是否是WritableComparable的子類
 //  如果是，調(diào)用當(dāng)前類的內(nèi)部的Comparator!
  return WritableComparator.get(getMapOutputKeyClass().asSubclass(WritableComparable.class), this);
 }

總結(jié)：如何對(duì)感興趣的數(shù)據(jù)進(jìn)行排序？

① 數(shù)據(jù)必須作為key

② 排序是框架自動(dòng)排序，我們提供基于key的比較器，也就是Comparator，必須是RawComparator類型

a) 自定義類，實(shí)現(xiàn)RawComparator，重寫compare()

指定mapreduce.job.output.key.comparator.class為自定義的比較器類型

b）key實(shí)現(xiàn)WritableComparable(推薦)

③ 實(shí)質(zhì)都是調(diào)用相關(guān)的comparaTo()方法，進(jìn)行比較

2. Reduce端進(jìn)行分組的比較器

RawComparator comparator = job.getOutputValueGroupingComparator();
// 獲取mapreduce.job.output.group.comparator.class，必須是RawComparator類型
// 如果沒用設(shè)置，直接獲取MapTask排序使用的比較器
// 也是比較key
public RawComparator getOutputValueGroupingComparator() {
  Class<? extends RawComparator> theClass = getClass(
   JobContext.GROUP_COMPARATOR_CLASS, null, RawComparator.class);
  if (theClass == null) {
   return getOutputKeyComparator();
  }
  // 如果設(shè)置了，就使用設(shè)置的比較器
  return ReflectionUtils.newInstance(theClass, this);
 }

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接

您可能感興趣的文章: