柏辰爸爸 + 关注
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

柏辰爸爸 发表了文章:

Hhadoop-2.7.0中HDFS写文件源码分析(二):客户端实现之DFSPacket

发布时间:2016-12-20 17:18:00 浏览:707 回帖 :0

一、简介       HDFS在数据传输过程中,针对数据块Block,不是整个block进行传输的,而是将block切分成一个个的数据包进行传输。而DFSPacket就是HDFS数据传输过程中对数...

hdfs 源码 checksum

柏辰爸爸 发表了文章:

Hhadoop-2.7.0中HDFS写文件源码分析(二):客户端实现(1)

发布时间:2016-12-19 16:12:00 浏览:707 回帖 :0

一、综述       HDFS写文件是整个Hadoop中最为复杂的流程之一,它涉及到HDFS中NameNode、DataNode、DFSClient等众多角色的分工与合作。       首先上一...

hdfs 源码 数据流 string 数据节点 class replication Create

柏辰爸爸 发表了文章:

Hadoop-2.7.0中HDFS NameNode HA实现之DFSZKFailoverController、ZKFailoverController(一)

发布时间:2016-12-14 14:40:00 浏览:1095 回帖 :0

一、简介       DFSZKFailoverController是Hadoop-2.7.0中HDFS NameNode HA实现的中心组件,它负责整体的故障转移控制等。它是一个守护进程,通过m...

RPC hdfs hadoop 函数 配置 string zookeeper

柏辰爸爸 发表了文章:

Hadoop-2.7.0中HDFS NameNode HA实现综述

发布时间:2016-12-14 14:39:00 浏览:610 回帖 :0

一、原理       HDFS中NameNode等的HA是基于ZooKeeper实现的。它应用了ZooKeeper集群的如下功能或特性:       1、只要半数以上节点还存活,就继续能对外提供服...

hdfs hadoop 线程 Create zookeeper watcher

柏辰爸爸 发表了文章:

Hadoop-2.7.0 HA实现细节分析之HealthMonitor

发布时间:2016-12-11 11:54:00 浏览:580 回帖 :0

一、HealthMonitor是什么       HealthMonitor是一个周期性工作的后台线程,它在一个循环中周期性的同HA服务进行心跳,负责跟踪NameNode服务的健康状况,并在健康状...

hadoop 线程 void service

柏辰爸爸 发表了文章:

Java源码分析之CountDownLatch

发布时间:2016-12-10 12:26:00 浏览:560 回帖 :0

        一、CountDownLatch介绍        CountDownLatch是一种同步手段,允许一个或者更多的线程等待,直到在其他线程正在执行的一组操作完成。给定count数目...

java 线程 源码 class void thread

柏辰爸爸 发表了文章:

堆排序之Java实现

发布时间:2016-12-09 14:01:00 浏览:442 回帖 :0

一、堆排序算法 ① 先将初始文件R[1..n]建成一个大根堆,此堆为初始的无序区 ② 再将关键字最大的记录R[1](即堆顶)和无序区的最后一个记录R[n]交换,由此得到新的无序区R[1..n-1...

算法 java 排序 static void 数组

柏辰爸爸 发表了文章:

Java设计模式之单例模式

发布时间:2016-12-09 10:05:00 浏览:456 回帖 :0

一、懒汉模式 package com.pengli.designmode.singleton; public class Singleton1 { // 私有静态变量 // 需要 用vo...

java 函数 线程 http static class 存储 single

柏辰爸爸 发表了文章:

冒泡排序之Java实现

发布时间:2016-12-09 09:40:00 浏览:387 回帖 :0

      一、冒泡排序算法       1、 比较相邻的元素。如果第一个比第二个大,就交换他们两个。      2、对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对。在这一点,最后的...

算法 java 排序 string static class void

柏辰爸爸 发表了文章:

Hadoop-2.7.0 HDFS DataXceiverServer两个参数的疑问

发布时间:2016-12-07 18:46:00 浏览:439 回帖 :0

1、TcpPeerServer的数据接收缓冲区大小         Hadoop-2.7.0的DataXceiverServer中,在DataNode中对其初始化时,会构造一个TcpPeerSer...

hdfs hadoop 线程 集群 测试

柏辰爸爸 发表了文章:

HBase-1.2.4LruBlockCache实现分析(二)

发布时间:2016-12-02 00:01:00 浏览:357 回帖 :0

        本文介绍LruBlockCache如何获取缓存数据。         缓存数据的获取是在方法getBlock()中实现的,代码如下: /** * Get the buf...

hbase Cache Access

柏辰爸爸 发表了文章:

HBase-1.2.4 CombinedBlockCache和InclusiveCombinedBlockCache

发布时间:2016-12-01 23:54:00 浏览:378 回帖 :0

一、综述         在《HBase-1.2.4 Allow block cache to be external分析》一文的最后,讲解了如何实例化外部缓存MemcachedBlockCach...

hbase Cache

柏辰爸爸 发表了文章:

HBase-1.2.4 Allow block cache to be external分析

发布时间:2016-12-01 23:35:00 浏览:473 回帖 :0

一、简介         从HBase-1.1.0起,HBase可以使用memcached作为外部BlockCache,这是一个在设备失效或者升级时不会发生完全的冷缓存的很好的特性。用句通俗的话讲...

hbase memcached LOG Cache

柏辰爸爸 发表了文章:

HBase-1.2.4LruBlockCache实现分析(一)

发布时间:2016-12-01 17:28:00 浏览:417 回帖 :0

一、简介       BlockCache是HBase中的一个重要特性,相比于写数据时缓存为Memstore,读数据时的缓存则为BlockCache。      LruBlockCache是HBa...

hbase LOG 线程 Cache single

柏辰爸爸 发表了文章:

HDFS Archival Storage

发布时间:2016-12-01 14:45:00 浏览:473 回帖 :0

一、是什么       随着数据的日益增长,很多数据由热变冷,已经不再或者很少使用,而数据的存储需求越来越大,计算需求则相应增长不大。如何解耦这种急剧增长的存储需求和计算需求?HDFS Archi...

hdfs hadoop string static 存储

柏辰爸爸 发表了文章:

Hadoop-2.6.0 DFSClient Hedged Read实现分析

发布时间:2016-11-29 18:05:00 浏览:946 回帖 :0

一、简介       DFSClient Hedged Read是Hadoop-2.4.0引入的一个新特性,如果读取一个数据块的操作比较慢,DFSClient Hedged Read将会开启一个从...

hadoop 线程 read thread

柏辰爸爸 发表了文章:

《Redis设计与实现》阅读:Redis底层研究之哈希表hashtable

发布时间:2016-11-29 16:15:00 浏览:425 回帖 :0

        字典是一种存储键值对的抽象数据结构,其又被称为符号表(symbol table)、关联数组(associative array)或映射(map)。Redis使用字典存储键值对,而R...

redis 函数 索引 数据结构 存储 数组

柏辰爸爸 发表了文章:

Hadoop-2.6.0NodeManager Restart Recover实现分析(二)

发布时间:2016-11-29 14:04:00 浏览:483 回帖 :0

      继上篇《Hadoop-2.6.0NodeManager Restart Recover实现分析(二)》。       4、NMLeveldbStateStoreService实现分析...

hadoop DB string void 存储

柏辰爸爸 发表了文章:

Hadoop-2.6.0NodeManager Restart Recover实现分析(一)

发布时间:2016-11-29 13:38:00 浏览:480 回帖 :0

一、简介       This document gives an overview of NodeManager (NM) restart, a feature that enables the...

hadoop 存储

柏辰爸爸 发表了文章:

NM Restart Design Overview

发布时间:2016-11-28 14:27:00 浏览:539 回帖 :0

This document describes the design of the NodeManager restart work under YARN­1336 and its sub­JIR...

levelDB Processing BY service

3
专注于HDFS、HBase、Yarn、Spark、Kafka等领域研发

感兴趣or擅长的领域:

更多>
更多>
dave1379
dave1379
文章:0丨 粉丝:0丨 话题:0
夏天里
夏天里
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0
1898433192106760
1898433192106760
文章:0丨 粉丝:0丨 话题:0
wushifengzi
wushifengzi
文章:0丨 粉丝:0丨 话题:0
ouyang666
ouyang666
文章:0丨 粉丝:0丨 话题:0