smartloli + 关注
笔名:哥不是小萝莉 博客园地址:http://www.cnblogs.com/smartloli/

smartloli 发表了文章:

HBase Region合并分析

发布时间:2018-09-15 00:59:00 浏览:1029 回帖 :0

1.概述 HBase中表的基本单位是Region,日常在调用HBase API操作一个表时,交互的数据也会以Region的形式进行呈现。一个表可以有若干个Region,今天笔者就来和大家分享一下Re...

hbase hadoop Apache 集群 Server 脚本 open

smartloli 发表了文章:

HBase BulkLoad批量写入数据实战

发布时间:2018-08-19 17:29:00 浏览:767 回帖 :0

1.概述 在进行数据传输中,批量加载数据到HBase集群有多种方式,比如通过HBase API进行批量写入数据、使用Sqoop工具批量导数到HBase集群、使用MapReduce批量导入等。这些方式...

hbase hdfs path 集群 string class Mapreduce 存储

smartloli 发表了文章:

HBase查询优化之Short-Circuit Local Reads

发布时间:2018-08-12 13:45:00 浏览:656 回帖 :0

1.概述 在《HBase查询优化》一文中,介绍了基于HBase层面的读取优化。由于HBase的实际数据是以HFile的形式,存储在HDFS上。那么,HDFS层面也有它自己的优化点,即:Short-C...

安全 hbase hdfs hadoop 性能 配置 Cache 查询优化 read Socket Unix

smartloli 发表了文章:

HBase查询优化

发布时间:2018-08-05 13:54:00 浏览:613 回帖 :0

1.概述 HBase是一个实时的非关系型数据库,用来存储海量数据。但是,在实际使用场景中,在使用HBase API查询HBase中的数据时,有时会发现数据查询会很慢。本篇博客将从客户端优化和服务端优...

hbase 性能 配置 集群 负载均衡 查询优化

smartloli 发表了文章:

Kafka监控系统Kafka Eagle剖析

发布时间:2018-07-27 01:02:00 浏览:1012 回帖 :0

1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑...

监控 配置 集群 Maven 脚本 zookeeper 存储

smartloli 发表了文章:

剖析HBase负载均衡和性能指标

发布时间:2018-07-01 04:10:00 浏览:551 回帖 :0

1.概述   在分布式系统中,负载均衡是一个非常重要的功能,在HBase中通过Region的数量来实现负载均衡,HBase中可以通过hbase.master.loadbalancer.class来实...

算法 hbase hadoop 性能 Apache 集群 负载均衡 脚本

smartloli 发表了文章:

Hadoop大数据挖掘从入门到进阶实战

发布时间:2018-06-22 20:52:00 浏览:658 回帖 :0

1.概述   大数据时代,数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本,而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及...

linux 消息系统 大数据 hadoop 高可用 集群 分布式文件系统 编程

smartloli 发表了文章:

实战Kafka ACL机制

发布时间:2018-06-17 03:08:00 浏览:588 回帖 :0

1.概述   在Kafka0.9版本之前,Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址,例如zk1:2181:zk2:2181,zk3:2181等。...

hadoop 配置 集群 Server 脚本 file Security zookeeper

smartloli 发表了文章:

Hadoop 3.x 新特性剖析系列2

发布时间:2018-05-12 12:55:00 浏览:555 回帖 :0

1.概述 接着上一篇博客的内容,继续介绍Hadoop3的其他新特性。其内容包含:优化Hadoop Shell脚本、重构Hadoop Client Jar包、支持等待Container、MapRedu...

hdfs hadoop 配置 集群 容器 负载均衡 对象存储 脚本 磁盘 Mapreduce 分布式调度

smartloli 发表了文章:

Hadoop 3.x 新特性剖析系列1

发布时间:2018-04-14 03:53:00 浏览:986 回帖 :0

1.概述   目前从Hadoop官网的Wiki来看,稳定版本已经发行到Hadoop2.9.0,最新版本为Hadoop3.1.0,查阅JIRA,社区已经着手迭代Hadoop3.2.0。那么,今天笔者就...

hdfs hadoop 磁盘 存储

smartloli 发表了文章:

Apache Ignite剖析

发布时间:2018-03-11 02:42:00 浏览:2616 回帖 :0

1.概述   Apache Ignite和Apache Arrow很类似,属于大数据范畴中的内存分布式管理系统。在《Apache Arrow 内存数据》中介绍了Arrow的相关内容,它统一了大数据领...

分布式 大数据 架构 SQL 线程 Apache 数据库 集群 索引 static class 分布式存储 磁盘 list 存储

smartloli 发表了文章:

HBase MetaStore和Compaction剖析

发布时间:2018-02-10 17:21:00 浏览:700 回帖 :0

1.概述   客户端读写数据是先从HBase Master获取RegionServer的元数据信息,比如Region地址信息。在执行数据写操作时,HBase会先写MetaStore,为什么会写到...

hbase 性能 集群 磁盘 存储

smartloli 发表了文章:

Kylin与CDH兼容性剖析

发布时间:2018-01-13 15:45:00 浏览:819 回帖 :0

1. 概述   Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区...

java hbase hadoop Apache 配置 脚本 xml Hive 兼容性 source zookeeper kylin

smartloli 发表了文章:

HBase存储剖析与数据迁移

发布时间:2017-12-10 12:21:00 浏览:690 回帖 :0

1.概述   HBase的存储结构和关系型数据库不一样,HBase面向半结构化数据进行存储。所以,对于结构化的SQL语言查询,HBase自身并没有接口支持。在大数据应用中,虽然也有SQL查询引擎可以...

监控 hbase hadoop 线程 高可用 集群 数据迁移 数据节点 分布式存储 磁盘 zookeeper 存储 数据存储

smartloli 发表了文章:

HBase流量限制和表负载均衡剖析

发布时间:2017-11-11 20:55:00 浏览:697 回帖 :0

1.概述   在HBase-1.1.0之前,HBase集群中资源都是全量的。用户、表这些都是没有限制的,看似完美实则隐患较大。今天,笔者就给大家剖析一下HBase的流量限制和表的负载均衡。 2.内...

hbase 集群 负载均衡 type

smartloli 发表了文章:

Zeppelin源码

发布时间:2017-10-15 03:26:00 浏览:538 回帖 :0

1.概述   在大数据应用场景中,处理数据分析方面,由于开发者的水平不一样,使用的编程语言也不尽相同,可能会涉及到R、Python、Java、Scala等,数据计算模型也估计不一样,可能涉及的有Sp...

编程语言 大数据 java 数据可视化 模块 源码 数据分析 脚本 插件

smartloli 发表了文章:

Kafka Streams 剖析

发布时间:2017-09-14 11:10:00 浏览:693 回帖 :0

1.概述   Kafka Streams 是一个用来处理流式数据的库,属于Java类库,它并不是一个流处理框架,和Storm,Spark Streaming这类流处理框架是明显不一样的。那这样一个库...

Apache 集群 string

smartloli 发表了文章:

Kafka 存储机制和副本

发布时间:2017-08-09 16:19:00 浏览:489 回帖 :0

1.概述   Kafka 快速稳定的发展,得到越来越多开发者和使用者的青睐。它的流行得益于它底层的设计和操作简单,存储系统高效,以及充分利用磁盘顺序读写等特性,和其实时在线的业务场景。对于Kafka...

日志 高可用 集群 replication 磁盘 存储

smartloli 发表了文章:

分布式系统选举算法剖析

发布时间:2017-07-16 13:37:00 浏览:511 回帖 :0

1.概述   我们在了解分布式选举算法之前,我们需要这样一种算法产生的背景。在一个分布式系统中,因为各种意外的因素,有的服务器可能会崩溃或变得不可靠,它就不能和其他服务器达成一致状态。因而这样就需要...

分布式 算法 服务器 日志 分布式系统

smartloli 发表了文章:

Elasticsearch 与 Kafka 整合剖析

发布时间:2017-06-10 14:19:00 浏览:426 回帖 :0

1.概述   目前,随着大数据的浪潮,Kafka 被越来越多的企业所认可,如今的Kafka已发展到0.10.x,其优秀的特性也带给我们解决实际业务的方案。对于数据分流来说,既可以分流到离线存储平台(...

Json path string static Consumer Elasticsearch void PUT index type 存储

3
笔名:哥不是小萝莉 博客园地址:http://www.cnblogs.com/smartloli/

感兴趣or擅长的领域:

更多>
更多>
游客jxl6tlexcwe7q
游客jxl6tlexcwe7q
文章:0丨 粉丝:0丨 话题:0
游客t3qad3stae73s
游客t3qad3stae73s
文章:0丨 粉丝:0丨 话题:0
最终幻想007
最终幻想007
文章:0丨 粉丝:0丨 话题:0
1336743770273168
1336743770273168
文章:0丨 粉丝:0丨 话题:0
langhq
langhq
文章:0丨 粉丝:0丨 话题:0
zz2019
zz2019
文章:0丨 粉丝:2丨 话题:0