发布时间：2016-09-28 09:37:00 浏览：1108 回帖 ：0
一、背景 为了增加Hadoop CGroup来限制部分作业对CPU的占用，近日在搭建Hadoop-2.6.0的CGroup过程中，碰到了以下一个问题，提示如下（注：500为用户hado...
发布时间：2016-09-09 09:49:00 浏览：835 回帖 ：0
1、Minimum required Java version increased from Java 7 to Java 8 所有的Hadoop JARs针对运行时版本的Java 8被编译。仍在...
发布时间：2016-08-09 20:51:00 浏览：723 回帖 ：0
一、入题 Semaphore是一种基于计数的信号量。它可以设定一个阈值，基于此，多个线程竞争获取许可信号，做完自己的申请后归还，超过阈值后，线程申请许可信号将会被阻...
发布时间：2016-08-08 21:03:00 浏览：925 回帖 ：0
一、入题 ReentrantLock是Java并发包中互斥锁，它有公平锁和非公平锁两种实现方式，以lock()为例，其使用方式为： ReentrantLock...
发布时间：2016-08-03 13:40:00 浏览：1148 回帖 ：0
Live long and process (#LLAP) sershe, sseth, hagleitn, 2014-08-27. Overview综述 Hive has become s...
发布时间：2016-07-23 11:39:00 浏览：824 回帖 ：0
ResourceManager是Hadoop资源管理器Yarn的Master，负责资源的统一管理和调度。它与Yarn中另外三个组件协同工作，共同完成应用程序在Yarn上的资源管理与...
发布时间：2016-05-14 13:06:00 浏览：875 回帖 ：0
除仅用于字符串字面量的情况外，对于可以被修改值的字符串的表示，Redis底层并没有采用C语言传统的字符串表示，即以空字符结尾的字符数组，而是采用专门为其设计的简单动态字符串作为其默...
发布时间：2016-05-07 09:42:00 浏览：851 回帖 ：0
我们知道，MapReduce有三层调度模型，即Job——>Task——>TaskAttempt，并且： 1、通常一个Job存在多个Task，这些Task总共有Map...
发布时间：2016-05-06 14:25:00 浏览：666 回帖 ：0
v2版本的MapReduce作业中，作业JOB_SETUP_COMPLETED事件的发生，即作业SETUP阶段完成事件，会触发作业由SETUP状态转换到RUNNING状态，而作业状...
发布时间：2016-05-05 10:38:00 浏览：707 回帖 ：0
作业Job状态机维护了MapReduce作业的整个生命周期，即从提交到运行结束的整个过程。Job状态机被封装在JobImpl中，其主要包括14种状态和19种导致状态发生的事件。 ...
发布时间：2016-05-03 18:35:00 浏览：938 回帖 ：0
在MRAppMaster中，当MapReduce作业初始化时，它会通过作业状态机JobImpl中InitTransition的transition()方法，进行MapReduce作...
发布时间：2016-05-01 03:49:00 浏览：597 回帖 ：0
本文继《Yarn源码分析之MRAppMaster上MapReduce作业处理总流程（一）》，接着讲述MapReduce作业在MRAppMaster上处理总流程，继上篇讲到作业初始化...
发布时间：2016-05-01 01:15:00 浏览：744 回帖 ：0
我们知道，如果想要在Yarn上运行MapReduce作业，仅需实现一个ApplicationMaster组件即可，而MRAppMaster正是MapReduce在Yarn上Appl...
发布时间：2016-04-30 10:54:00 浏览：816 回帖 ：0
mapreduce.job.reduce.slowstart.completedmaps是MapReduce编程模型中的一个参数，这个参数的含义是，当Map Task完成的比例达到...
发布时间：2016-04-30 10:38:00 浏览：1130 回帖 ：0
基于作业大小因素，MRAppMaster提供了三种作业运行方式：本地Local模式、Uber模式、Non-Uber模式。其中， 1、本地Local模式：通常用于调试...
发布时间：2016-04-29 10:03:00 浏览：816 回帖 ：0
FSImage文件是HDFS中名字节点NameNode上文件/目录元数据在特定某一时刻的持久化存储文件。它的作用不言而喻，在HA出现之前，NameNode因为各种原因宕机后，若要恢...
发布时间：2016-04-27 10:43:00 浏览：837 回帖 ：0
DataBlockScanner是运行在数据节点DataNode上的一个后台线程。它为所有的块池管理块扫描。针对每个块池，一个BlockPoolSliceScanner对象将会被创...
发布时间：2016-04-25 17:16:00 浏览：865 回帖 ：0
继上篇《ThreadPoolExecutor源码分析（一）：重要成员变量》续... 作为一个执行服务ExecutorService的实例，ThreadPool...
发布时间：2016-04-25 14:13:00 浏览：694 回帖 ：0
AsyncDispatcher是Yarn中事件异步分发器，它是ResourceManager中的一个基于阻塞队列的分发或者调度事件的组件，其在一个特定的单线程中分派事件，交给A...
发布时间：2016-04-22 17:50:00 浏览：1039 回帖 ：0
JobSubmitter，顾名思义，它是MapReduce中作业提交者，而实际上JobSubmitter除了构造方法外，对外提供的唯一一个非private成员变量或方法就是su...
游客xhrbpcx3cg34y
游客cfykw7k7mendk
dave1379
夏天里
zz2019
1898433192106760
