《R与Hadoop大数据分析实战》一2.3 Hadoop MapReduce原理

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《R与Hadoop大数据分析实战》一2.3 Hadoop MapReduce原理

华章计算机 2017-07-03 13:42:00 浏览1237
展开阅读全文

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章,第2.3节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看

2.3 Hadoop MapReduce原理

为了更好地理解MapReduce的工作原理,我们将会:
学习MapReduce对象。
MapReduce中实现Map阶段的执行单元数目。
MapReduce中实现Reduce阶段的执行单元数目。
理解MapReduce的数据流。
深入理解Hadoop MapReduce。

2.3.1 MapReduce对象

由Hadoop的MapReduce技术可以引申出如下3个主要对象:
Mapper:它主要用于实现MapReduce的Map阶段的操作。该对象在MapReduce读取完输入数据并完成数据分割后开始运行。每个分割后的切片数

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机