发布时间：2016-12-19 16:12:00 浏览：1013 评论 ：0
一、综述 HDFS写文件是整个Hadoop中最为复杂的流程之一，它涉及到HDFS中NameNode、DataNode、DFSClient等众多角色的分工与合作。 首先上一段代码，客户端是如何写文件的： Configuration conf = new Configuration(); FileSystem fs = FileSystem.
发布时间：2016-12-14 14:40:00 浏览：2321 评论 ：1
一、简介 DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件，它负责整体的故障转移控制等。它是一个守护进程，通过main()方法启动，继承自ZKFailoverController。
发布时间：2016-12-14 14:39:00 浏览：1029 评论 ：0
一、原理 HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性： 1、只要半数以上节点还存活，就继续能对外提供服务； 2、ZooKeeper通过Paxos算法提供了leader选举功能，其它follo...
发布时间：2016-12-11 11:54:00 浏览：842 评论 ：0
一、HealthMonitor是什么 HealthMonitor是一个周期性工作的后台线程，它在一个循环中周期性的同HA服务进行心跳，负责跟踪NameNode服务的健康状况，并在健康状况变化时调用failover控制器的回调方法。
发布时间：2016-12-10 12:26:00 浏览：841 评论 ：0
一、CountDownLatch介绍 CountDownLatch是一种同步手段，允许一个或者更多的线程等待，直到在其他线程正在执行的一组操作完成。给定count数目后CountDownLatch被初始化。
发布时间：2016-12-09 10:05:00 浏览：694 评论 ：0
一、懒汉模式 package com.pengli.designmode.singleton; public class Singleton1 { // 私有静态变量 // 需要 用volatile修饰 private static volatile Singleton1 singl...
发布时间：2016-12-09 09:40:00 浏览：589 评论 ：0
一、冒泡排序算法 1、 比较相邻的元素。如果第一个比第二个大，就交换他们两个。 2、对每一对相邻元素作同样的工作，从开始第一对到结尾的最后一对。在这一点，最后的元素应该会是最大的数。
发布时间：2016-12-07 18:46:00 浏览：671 评论 ：0
1、TcpPeerServer的数据接收缓冲区大小 Hadoop-2.7.0的DataXceiverServer中，在DataNode中对其初始化时，会构造一个TcpPeerServer，并设置数据接收缓冲区大小如下： tcpPeerServer.
发布时间：2016-12-02 00:01:00 浏览：570 评论 ：0
本文介绍LruBlockCache如何获取缓存数据。 缓存数据的获取是在方法getBlock()中实现的，代码如下： /** * Get the buffer of the block with the specified name.
发布时间：2016-12-01 23:54:00 浏览：652 评论 ：1
一、综述 在《HBase-1.2.4 Allow block cache to be external分析》一文的最后，讲解了如何实例化外部缓存MemcachedBlockCache。
发布时间：2016-12-01 23:35:00 浏览：813 评论 ：0
一、简介 从HBase-1.1.0起，HBase可以使用memcached作为外部BlockCache，这是一个在设备失效或者升级时不会发生完全的冷缓存的很好的特性。用句通俗的话讲，就是HBase出现故障或者升级时，缓存轻易不会丢失。
发布时间：2016-12-01 17:28:00 浏览：668 评论 ：0
一、简介 BlockCache是HBase中的一个重要特性，相比于写数据时缓存为Memstore，读数据时的缓存则为BlockCache。 LruBlockCache是HBase中BlockCache的默认实现，它采用严格的LRU算法来淘汰Block。
发布时间：2016-12-01 14:45:00 浏览：903 评论 ：0
一、是什么 随着数据的日益增长，很多数据由热变冷，已经不再或者很少使用，而数据的存储需求越来越大，计算需求则相应增长不大。如何解耦这种急剧增长的存储需求和计算需求？HDFS Archival Storage正好能派上用场。
发布时间：2016-11-29 18:05:00 浏览：1629 评论 ：0
一、简介 DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性，如果读取一个数据块的操作比较慢，DFSClient Hedged Read将会开启一个从另一个副本的hedged读操作。
发布时间：2016-11-29 16:15:00 浏览：730 评论 ：0
字典是一种存储键值对的抽象数据结构，其又被称为符号表（symbol table）、关联数组（associative array）或映射（map）。Redis使用字典存储键值对，而Redis在底层是通过自定义的哈希表来实现字典这一数据结构的。
发布时间：2016-11-29 14:04:00 浏览：741 评论 ：0
继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析（二）》。 4、NMLeveldbStateStoreService实现分析 在 1）、initStorage() initStorage(...
发布时间：2016-11-29 13:38:00 浏览：736 评论 ：0
一、简介 This document gives an overview of NodeManager (NM) restart, a feature that enables the NodeManager to be restarted without losing the active containers running on the node.
发布时间：2016-11-28 14:27:00 浏览：1025 评论 ：0
This document describes the design of the NodeManager restart work under YARN1336 and its subJIRAs.
发布时间：2016-11-28 10:58:00 浏览：1062 评论 ：0
一、概述 Hadoop-2.6.0中对CPU CGroups的实现，主要是通过CgroupsLCEResourcesHandler来实现的，通过它的int*()系列方法初始化一些参数和环境，比如CGroups的路径等，然后在启动容器内的可执行文 件前由LinuxContainerExecutor调用preExecute()方法，进行setupLimits()即设置限额操作，而在容器内的可执行退出后（无论成功还是失败）由LinuxContainerExecutor调用postExecute()方法，进行 clearLimits()即清除限额操作。
发布时间：2016-09-30 10:41:00 浏览：999 评论 ：0
一、现象 Hadoop-2.7.2中，使用hadoop shell命令行读取文件内容时，针对大文件，会有如下报错，小文件则不会。 hadoop fs -cat /tmp/hue_database_dump4.
