柏辰爸爸 + 关注
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

柏辰爸爸 发表了文章:

container-executor.cfg文件及其各级父路径问题解决方案

发布时间:2016-09-28 09:37:00 浏览:1108 回帖 :0

一、背景       为了增加Hadoop CGroup来限制部分作业对CPU的占用,近日在搭建Hadoop-2.6.0的CGroup过程中,碰到了以下一个问题,提示如下(注:500为用户hado...

hadoop 函数 源码 配置 容器 解决方案 BY file CMake

柏辰爸爸 发表了文章:

Apache Hadoop 3.0.0-alpha1主要改进

发布时间:2016-09-09 09:49:00 浏览:835 回帖 :0

1、Minimum required Java version increased from Java 7 to Java 8 所有的Hadoop JARs针对运行时版本的Java 8被编译。仍在...

java hdfs hadoop Apache 配置 集群 内存管理 数据节点 磁盘 Mapreduce 存储

柏辰爸爸 发表了文章:

Java并发之Semaphore详解

发布时间:2016-08-09 20:51:00 浏览:723 回帖 :0

        一、入题         Semaphore是一种基于计数的信号量。它可以设定一个阈值,基于此,多个线程竞争获取许可信号,做完自己的申请后归还,超过阈值后,线程申请许可信号将会被阻...

java 线程

柏辰爸爸 发表了文章:

Java并发之ReentrantLock详解

发布时间:2016-08-08 21:03:00 浏览:925 回帖 :0

        一、入题         ReentrantLock是Java并发包中互斥锁,它有公平锁和非公平锁两种实现方式,以lock()为例,其使用方式为: ReentrantLock...

java 线程 code lock thread

柏辰爸爸 发表了文章:

Live long and process (#LLAP) 翻译

发布时间:2016-08-03 13:40:00 浏览:1148 回帖 :0

Live long and process (#LLAP) sershe, sseth, hagleitn, 2014-08-27. Overview综述 Hive has become s...

容器 Processing Hive 存储

柏辰爸爸 发表了文章:

Yarn中ResourceManager相关三大RPC协议

发布时间:2016-07-23 11:39:00 浏览:824 回帖 :0

        ResourceManager是Hadoop资源管理器Yarn的Master,负责资源的统一管理和调度。它与Yarn中另外三个组件协同工作,共同完成应用程序在Yarn上的资源管理与...

RPC request Server

柏辰爸爸 发表了文章:

《Redis设计与实现》阅读:Redis底层研究之简单动态字符串SDS

发布时间:2016-05-14 13:06:00 浏览:875 回帖 :0

        除仅用于字符串字面量的情况外,对于可以被修改值的字符串的表示,Redis底层并没有采用C语言传统的字符串表示,即以空字符结尾的字符数组,而是采用专门为其设计的简单动态字符串作为其默...

redis 函数 性能 存储 数组

柏辰爸爸 发表了文章:

MapReduce源码分析之Task中关于对应TaskAttempt存储Map方案的一些思考

发布时间:2016-05-07 09:42:00 浏览:851 回帖 :0

        我们知道,MapReduce有三层调度模型,即Job——>Task——>TaskAttempt,并且:         1、通常一个Job存在多个Task,这些Task总共有Map...

性能 源码 static Mapreduce 存储

柏辰爸爸 发表了文章:

Yarn源码分析之MapReduce作业中任务Task调度整体流程(一)

发布时间:2016-05-06 14:25:00 浏览:666 回帖 :0

        v2版本的MapReduce作业中,作业JOB_SETUP_COMPLETED事件的发生,即作业SETUP阶段完成事件,会触发作业由SETUP状态转换到RUNNING状态,而作业状...

源码 reduce 容器 Mapreduce

柏辰爸爸 发表了文章:

MapReduce源码分析之作业Job状态机解析(一)简介与正常流程浅析

发布时间:2016-05-05 10:38:00 浏览:707 回帖 :0

        作业Job状态机维护了MapReduce作业的整个生命周期,即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中,其主要包括14种状态和19种导致状态发生的事件。  ...

源码 reduce Mapreduce

柏辰爸爸 发表了文章:

Yarn源码分析之如何确定作业运行方式Uber or Non-Uber?

发布时间:2016-05-03 18:35:00 浏览:938 回帖 :0

        在MRAppMaster中,当MapReduce作业初始化时,它会通过作业状态机JobImpl中InitTransition的transition()方法,进行MapReduce作...

源码 配置 reduce class CPU Mapreduce

柏辰爸爸 发表了文章:

Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(二)

发布时间:2016-05-01 03:49:00 浏览:597 回帖 :0

        本文继《Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(一)》,接着讲述MapReduce作业在MRAppMaster上处理总流程,继上篇讲到作业初始化...

源码 class Mapreduce

柏辰爸爸 发表了文章:

Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(一)

发布时间:2016-05-01 01:15:00 浏览:744 回帖 :0

        我们知道,如果想要在Yarn上运行MapReduce作业,仅需实现一个ApplicationMaster组件即可,而MRAppMaster正是MapReduce在Yarn上Appl...

源码 reduce Mapreduce

柏辰爸爸 发表了文章:

Yarn源码分析之参数mapreduce.job.reduce.slowstart.completedmaps介绍

发布时间:2016-04-30 10:54:00 浏览:816 回帖 :0

        mapreduce.job.reduce.slowstart.completedmaps是MapReduce编程模型中的一个参数,这个参数的含义是,当Map Task完成的比例达到...

日志 源码 reduce Mapreduce

柏辰爸爸 发表了文章:

Yarn源码分析之MRAppMaster:作业运行方式Local、Uber、Non-Uber

发布时间:2016-04-30 10:38:00 浏览:1130 回帖 :0

        基于作业大小因素,MRAppMaster提供了三种作业运行方式:本地Local模式、Uber模式、Non-Uber模式。其中,         1、本地Local模式:通常用于调试...

源码 reduce 容器 Mapreduce

柏辰爸爸 发表了文章:

HDFS源码分析之FSImage文件内容(一)总体格式

发布时间:2016-04-29 10:03:00 浏览:816 回帖 :0

        FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻,在HA出现之前,NameNode因为各种原因宕机后,若要恢...

hdfs 源码 数组

柏辰爸爸 发表了文章:

HDFS源码分析数据块校验之DataBlockScanner

发布时间:2016-04-27 10:43:00 浏览:837 回帖 :0

        DataBlockScanner是运行在数据节点DataNode上的一个后台线程。它为所有的块池管理块扫描。针对每个块池,一个BlockPoolSliceScanner对象将会被创...

hdfs 线程 源码 配置 string 数据节点 存储

柏辰爸爸 发表了文章:

ThreadPoolExecutor源码分析(二):任务提交主逻辑execute()

发布时间:2016-04-25 17:16:00 浏览:865 回帖 :0

        继上篇《ThreadPoolExecutor源码分析(一):重要成员变量》续...         作为一个执行服务ExecutorService的实例,ThreadPool...

线程 源码 thread offer

柏辰爸爸 发表了文章:

Yarn源码分析之事件异步分发器AsyncDispatcher

发布时间:2016-04-25 14:13:00 浏览:694 回帖 :0

        AsyncDispatcher是Yarn中事件异步分发器,它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件,其在一个特定的单线程中分派事件,交给A...

线程 源码 handler

柏辰爸爸 发表了文章:

MapReduce源码分析之JobSubmitter(一)

发布时间:2016-04-22 17:50:00 浏览:1039 回帖 :0

        JobSubmitter,顾名思义,它是MapReduce中作业提交者,而实际上JobSubmitter除了构造方法外,对外提供的唯一一个非private成员变量或方法就是su...

hdfs 源码 配置 集群 主机 Mapreduce

3
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

感兴趣or擅长的领域:

更多>
更多>
游客xhrbpcx3cg34y
游客xhrbpcx3cg34y
文章:0丨 粉丝:0丨 话题:0
游客cfykw7k7mendk
游客cfykw7k7mendk
文章:0丨 粉丝:0丨 话题:0
dave1379
dave1379
文章:0丨 粉丝:0丨 话题:0
夏天里
夏天里
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0
1898433192106760
1898433192106760
文章:0丨 粉丝:0丨 话题:0