发布时间:2016-12-19 16:12:00 浏览:1013 回帖 :0
一、综述 HDFS写文件是整个Hadoop中最为复杂的流程之一,它涉及到HDFS中NameNode、DataNode、DFSClient等众多角色的分工与合作。 首先上一...
发布时间:2016-12-14 14:40:00 浏览:2253 回帖 :1
一、简介 DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件,它负责整体的故障转移控制等。它是一个守护进程,通过m...
发布时间:2016-12-14 14:39:00 浏览:1013 回帖 :0
一、原理 HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性: 1、只要半数以上节点还存活,就继续能对外提供服...
发布时间:2016-12-11 11:54:00 浏览:842 回帖 :0
一、HealthMonitor是什么 HealthMonitor是一个周期性工作的后台线程,它在一个循环中周期性的同HA服务进行心跳,负责跟踪NameNode服务的健康状况,并在健康状...
发布时间:2016-12-10 12:26:00 浏览:841 回帖 :0
一、CountDownLatch介绍 CountDownLatch是一种同步手段,允许一个或者更多的线程等待,直到在其他线程正在执行的一组操作完成。给定count数目...
发布时间:2016-12-09 10:05:00 浏览:694 回帖 :0
一、懒汉模式 package com.pengli.designmode.singleton; public class Singleton1 { // 私有静态变量 // 需要 用vo...
发布时间:2016-12-09 09:40:00 浏览:589 回帖 :0
一、冒泡排序算法 1、 比较相邻的元素。如果第一个比第二个大,就交换他们两个。 2、对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的...
发布时间:2016-12-07 18:46:00 浏览:671 回帖 :0
1、TcpPeerServer的数据接收缓冲区大小 Hadoop-2.7.0的DataXceiverServer中,在DataNode中对其初始化时,会构造一个TcpPeerSer...
发布时间:2016-12-02 00:01:00 浏览:570 回帖 :0
本文介绍LruBlockCache如何获取缓存数据。 缓存数据的获取是在方法getBlock()中实现的,代码如下: /** * Get the buf...
发布时间:2016-12-01 23:54:00 浏览:652 回帖 :1
一、综述 在《HBase-1.2.4 Allow block cache to be external分析》一文的最后,讲解了如何实例化外部缓存MemcachedBlockCach...
发布时间:2016-12-01 23:35:00 浏览:813 回帖 :0
一、简介 从HBase-1.1.0起,HBase可以使用memcached作为外部BlockCache,这是一个在设备失效或者升级时不会发生完全的冷缓存的很好的特性。用句通俗的话讲...
发布时间:2016-12-01 17:28:00 浏览:668 回帖 :0
一、简介 BlockCache是HBase中的一个重要特性,相比于写数据时缓存为Memstore,读数据时的缓存则为BlockCache。 LruBlockCache是HBa...
发布时间:2016-12-01 14:45:00 浏览:860 回帖 :0
一、是什么 随着数据的日益增长,很多数据由热变冷,已经不再或者很少使用,而数据的存储需求越来越大,计算需求则相应增长不大。如何解耦这种急剧增长的存储需求和计算需求?HDFS Archi...
发布时间:2016-11-29 18:05:00 浏览:1629 回帖 :0
一、简介 DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性,如果读取一个数据块的操作比较慢,DFSClient Hedged Read将会开启一个从...
发布时间:2016-11-29 16:15:00 浏览:730 回帖 :0
字典是一种存储键值对的抽象数据结构,其又被称为符号表(symbol table)、关联数组(associative array)或映射(map)。Redis使用字典存储键值对,而R...
发布时间:2016-11-29 14:04:00 浏览:741 回帖 :0
继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析(二)》。 4、NMLeveldbStateStoreService实现分析...
发布时间:2016-11-29 13:38:00 浏览:736 回帖 :0
一、简介 This document gives an overview of NodeManager (NM) restart, a feature that enables the...
发布时间:2016-11-28 14:27:00 浏览:1012 回帖 :0
This document describes the design of the NodeManager restart work under YARN1336 and its subJIR...
发布时间:2016-11-28 10:58:00 浏览:1046 回帖 :0
一、概述 Hadoop-2.6.0中对CPU CGroups的实现,主要是通过CgroupsLCEResourcesHandler来实现的,通过它的int*()系列方法初始化一些参...
发布时间:2016-09-30 10:41:00 浏览:999 回帖 :0
一、现象 Hadoop-2.7.2中,使用hadoop shell命令行读取文件内容时,针对大文件,会有如下报错,小文件则不会。 hadoop fs -cat /tmp/h...