1. 云栖社区>
  2. 全部标签>
  3. #Spark排序#
Spark排序

#Spark排序#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

想了解Spark ShuffleMapTask计算的输出文件,是如何把大于内存的输入数据(HDFS数据源)进行合并相同key,并进行排序的

[问题]).ShuffleMapTask输出数据文件前,key合并,和排序是如何做到的,如果数据远大于内存?).SPARK 1.6.0-cdh5.15.0[复现]).scala worldcount: val distFile:org.…

1
GO