MapReduce

简介:  PS:内容来自开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?的文档,算做简单了解,想花时间好好了解hadoop!   MapReduce原理1 问题: 求出以下数组当中最大的数 1,3,23,3,4,18,2,8,10,16,7,5 int Max(int a[], n) { int m=0; for(

 PS:内容来自开源力量公开课第二十四期-为何Hadoop是分布式大数据处理的未来&如何掌握Hadoop?的文档,算做简单了解,想花时间好好了解hadoop!

 

MapReduce原理1

问题:
求出以下数组当中最大的数
1,3,23,3,4,18,2,8,10,16,7,5

int Max(int a[], n)
{
    int m=0;
    for(int i=0; i<n; i++)
         if(m<a[i]) m=a[i];
    return m;
}

MapReduce原理2

MapReduce是一种编程模型,用于大规模数据集的并行计算。

 

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算,通俗的说就是将一个大任务分成多个小任务并行完成,然后合并小任务的结果,得到最终结果。

MapReduce运行过程

通过将Map调用的输入数据自动分割为M个数据片段的集合,Map调用被分布到多台机器上执行。输入的数据片段能够在不同的机器上并行处理。使 用分区函数将Map调用产生的中间key值分成R个不同分区。例如,hash(key) mod R),Reduce调用也被分布到多台机器上执行。分区数量(R)和分区函数由用户来指定。

 

加油

 

///静下心来读书……

目录
相关文章
|
5月前
|
分布式计算 数据处理
38 MAPREDUCE中的其他应用
38 MAPREDUCE中的其他应用
24 0
|
5月前
|
分布式计算
37 MAPREDUCE中的DistributedCache应用
37 MAPREDUCE中的DistributedCache应用
18 0
|
5月前
|
存储 分布式计算 监控
19 为什么要MAPREDUCE?
19 为什么要MAPREDUCE?
32 0
|
9月前
|
数据采集 机器学习/深度学习 存储
E-MapReduce
E-MapReduce(简称EMR)是阿里云提供的一项大数据处理服务,它基于开源的 Apache Hadoop 和 Apache Spark 构建,并提供了易于使用的 Web 界面和 API 接口,方便用户快速创建、调度和管理大数据处理作业。
151 2
|
11月前
|
分布式计算 并行计算 大数据
初识MapReduce
初识MapReduce
56 0
|
缓存 分布式计算 NoSQL
MapReduce(二)
MapReduce(二)
76 0
MapReduce(二)
|
存储 分布式计算 资源调度
|
存储 分布式计算 资源调度
|
存储 分布式计算 监控
MapReduce —— 历久而弥新(2)
MapReduce —— 历久而弥新(2)
117 0
|
存储 缓存 分布式计算
MapReduce —— 历久而弥新(1)
MapReduce —— 历久而弥新(1)
133 0
MapReduce —— 历久而弥新(1)