柏辰爸爸 + 关注
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

柏辰爸爸 发表了文章:

MapReduce源码分析之新API作业提交(二):连接集群

发布时间:2016-04-22 13:42:00 浏览:725 回帖 :0

         MapReduce作业提交时连接集群是通过Job的connect()方法实现的,它实际上是构造集群Cluster实例cluster,代码如下: private sy...

函数 源码 配置 cluster 集群 Framework API Create Mapreduce

柏辰爸爸 发表了文章:

Hadoop Common源码分析之服务Service

发布时间:2016-04-21 14:54:00 浏览:679 回帖 :0

        Service是定义Hadoop中服务生命周期的一个接口。Service内部定义了服务的状态及生命周期,在服务被构造后,其一个生命周期内的状态为NOTINITED未初始化--I...

hadoop 源码 string exception service

柏辰爸爸 发表了文章:

MapReduce源码分析之JobSplitWriter

发布时间:2016-04-21 09:23:00 浏览:525 回帖 :0

        JobSplitWriter被作业客户端用于写分片相关文件,包括分片数据文件job.split和分片元数据信息文件job.splitmetainfo。它有两个静态成员变量,如下...

源码 static replication Mapreduce utf-8 数组

柏辰爸爸 发表了文章:

Hadoop Common源码分析之SerializationFactory、Serialization

发布时间:2016-04-20 18:07:00 浏览:759 回帖 :0

        SerializationFactory是Hadoop中的一个序列化器工厂,它除了用来存储序列化器种类、更新序列化器相关配置信息,还提供了根据指定待序列化类获取相匹配的序列化器...

hadoop 函数 源码 配置 code ADD string class

柏辰爸爸 发表了文章:

MapReduce源码分析之LocatedFileStatusFetcher

发布时间:2016-04-20 14:05:00 浏览:966 回帖 :0

        LocatedFileStatusFetcher是MapReduce中一个针对给定输入路径数组,使用配置的线程数目来获取数据块位置的实用类。它的主要作用就是利用多线程技术,每个...

函数 线程 源码 多线程 Mapreduce 数组

柏辰爸爸 发表了文章:

Hadoop2.6.0版本MapReudce示例之WordCount(二)

发布时间:2016-04-19 21:58:00 浏览:819 回帖 :0

        继《Hadoop2.6.0版本MapReudce示例之WordCount(一)》之后,我们继续看MapReduce的WordCount示例,看看如何监控作业运行或查看历史记录,...

监控 hadoop 配置 reduce Mapreduce

柏辰爸爸 发表了文章:

MapReduce源码分析之InputFormat

发布时间:2016-04-19 19:41:00 浏览:788 回帖 :0

        InputFormat描述了一个Map-Reduce作业中的输入规范。Map-Reduce框架依靠作业的InputFormat实现以下内容:         1、校验作业的输...

源码 配置 Mapreduce

柏辰爸爸 发表了文章:

MapReudce源码分析之Mapper

发布时间:2016-04-18 21:16:00 浏览:540 回帖 :0

        Mapper是MapReduce编程模型中一个将输入的key/value对映射成一组中间key/value对的组件。Map是将输入记录转换成中间记录的单个任务。被转换的中间记录...

模块 源码 void Mapreduce

柏辰爸爸 发表了文章:

Hadoop2.6.0版本MapReudce示例之WordCount(一)

发布时间:2016-04-18 16:03:00 浏览:753 回帖 :0

        一、准备测试数据         1、在本地Linux系统/var/lib/hadoop-hdfs/file/路径下准备两个文件file1.txt和file2.txt,文件列...

hadoop Apache static class file Mapreduce input

柏辰爸爸 发表了文章:

HDFS源码分析数据块复制选取复制源节点

发布时间:2016-04-17 22:13:00 浏览:1018 回帖 :0

        数据块的复制当然需要一个源数据节点,从其上拷贝数据块至目标数据节点。那么数据块复制是如何选取复制源节点的呢?本文我们将针对这一问题进行研究。         在BlockMa...

hdfs 源码 node 数据节点 存储

3
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

感兴趣or擅长的领域:

更多>
更多>
游客xhrbpcx3cg34y
游客xhrbpcx3cg34y
文章:0丨 粉丝:0丨 话题:0
游客cfykw7k7mendk
游客cfykw7k7mendk
文章:0丨 粉丝:0丨 话题:0
dave1379
dave1379
文章:0丨 粉丝:0丨 话题:0
夏天里
夏天里
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0
1898433192106760
1898433192106760
文章:0丨 粉丝:0丨 话题:0