1. 云栖社区>
  2. 全部标签>
  3. #hbase#
hbase

#hbase#

已有13人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark 读取 Hbase 优化 --手动划分 region 提高并行数

一. Hbase 的 region 我们先简单介绍下 Hbase 的 架构和 region : 从物理集群的角度看,Hbase 集群中,由一个 Hmaster 管理多个 HRegionServer,其中每个 HRegionServer 都对应一台物理机器,一台 HRegionServer 服务器上又可以有多个 Hregion(以下简称 region)。

大数据 hbase 性能 配置 集群 负载均衡 spark 分布式存储 存储

HBase-拆分合并和调优参考

本篇文章不是自己总结的,而是参考资料上进行摘抄的,本文涉及到HBase的Region拆分合并以及HFile拆分合并以及其他的调优参考,如果你参考本文的话,请一定在尝试之后在修改配置,本文只是自己的一个学习记录方便以后查阅 参考了 HBase权威指南 和 HBase不睡觉书 尽信书不如无书,在使...

云栖社区 算法 hbase 线程 配置

HBase行键设计

HBase行键设计

算法 监控 hbase 数据库 索引 存储 OpenTSDB geohash

HBaseOnOSS冷数据存储

本期直播资料下载以及往期直播资料下载大全

hbase SQL 数据库 spark aliyun 数据存储

阿里云数据库11月刊:揭秘双11狂欢背后的阿里云数据库产品和技术

又是一年双十一,阿里云数据库经受住了流量洪峰的考验,顺利的完成了2018年双十一的保障工作。过去十年,阿里巴巴技术体系的角色发生了转变,从双11推动技术的发展,变成了技术创造新商业。很多技术通过云计算开始对外输出,变成了普惠的技术,服务于各个行业,真正做到了推动社会生产力的发展。

数据存储与数据库 架构 PostgreSQL RDS hbase Oracle 云栖大会 数据库 互联网 高并发 aliyun 云数据库 存储

HBase-api管理

列族管理 在java中HColumnDescriptor代表列族,但是已经过时了,新代替的是ColumnFamilyDescriptorBuilder来创建列族描述符 ... ColumnFamilyDescriptor newc = ColumnFamilyDescriptorBuilder.

云栖社区 java hbase shell test 存储

HBase过滤器

过滤器是在get或者scan时候过滤结果用的,.HBase中的过滤器被用户创建出来后会被序列化为可以网络传输的格式,然后被分发到各个RegionServer.然后在RegionServer中Filter被还原出来,这样在Scan遍历过程中,不满足条件的结果都不会被返回客户端 所有的过滤器都要实现Filter接口.

云栖社区 java hbase timestamp

大数据分布式架构单点故障详解(Hdfs+Yarn+HBase+Spark+Storm)构建HA高可用架构

本文梳理了常见的hadoop生态圈中的组件:Hdfs+Yarn+HBase+Spark+Storm的单点故障问题,出现原因以及单点故障的原理和解决方案(构建HA(High Available)高可用架构)。阅读本文之前,最好了解清楚各组件的架构原理。

故障方案 分布式 大数据 架构 开发框架与中间件 分布式系统与计算 storm hbase hdfs hadoop 高可用 配置 spark 分布式架构 单点故障

Apache Atlas容错与高可用方案

笔者近期在和团队的小伙伴进行数据资产管理方向的探索,本书的翻译基于Apache Atlas v1.1版本。笔者翻译的《Atlas开发指南(中文版)》地址为: https://mantoudev.com 置顶文章 或 在公众号中回复 Atlas获取文档地址。

服务器 hbase Apache 高可用 web 配置 主机 Server Elasticsearch zookeeper service 存储

HBase Compaction策略

HBase Compaction策略 StripeCompactionPolicy、DateTieredCompactionPolicy、RatioBasedCompactionPolicy、ExploringCompactionPolicy、FIFOCompactionPolicy

hbase 配置 class list Compaction

HBase+Spark技术双周刊 第二期

精彩直播:HBase生态+Spark社区钉钉大群直播往期回顾——视频回看及PPT下载;线下活动:阿里云栖开发者沙龙;优质博文。

大数据 hbase 线下活动 数据库 钉钉 spark aliyun 数据存储

性能测试工具操作数据库(十一)-Jmeter与Hbase

由于在网上找不到Jmeter连接Hbase的源文件或是插件,所以本文只是通过Jmeter的BeanShell来调用和调试Hbase的远程连接操作,具体性能测试时,需要怎么应用(比如通过Java Request等方式),等具体开展测试时再进行灵活扩展和调整。

hbase hadoop 性能 LOG Apache 数据库 测试 string static void zookeeper

性能测试工具操作数据库(十二)-Loadrunner与Hbase

Hbase的测试关键是要引用正确的Hbase jar包(还要保证版本的兼容,Hbase1.0开始就要求JDK1.7及以上,而Loadrunner11不支持JDK1.7,所以本文举例用的是Loadrunner12,另外要保证引用的Hbase Jar包也是与服务端的Hbase版本一致,否则也会出现兼容性...

hbase hadoop 性能 Apache 数据库 脚本 string static void zookeeper

阿里云HBase全新发布X-Pack NoSQL数据库再上新台阶

一、八年双十一,造就国内最大最专业HBase技术团队 阿里巴巴集团早在2010开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储。持续8年的投入,历经8年双十一锻炼。

数据存储与数据库 大数据 hbase 性能 高可用

HBase2.0商用首发--有哪些值得期待的新特性

阿里云HBase 2.0成长手记 HBase本身是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在阿里得以验证。 早在2010年开始,阿里巴巴集团开始研究并把HBase投入生产环境使用,从最初的淘宝历史交易记录,到蚂蚁安全风控数据存储,HBase在几代阿里专家的不懈努力下,已经表现得运行更稳定、性能更高效,内部HBase集群超过万台的规模,单集群超过千台,是集团核心数据库产品之一,也是国内甚至国际上绝对的HBase大户。

大数据 架构 hbase 性能 数据库 高并发 集群 电商 Image qps 对象存储 物联网 存储

HBase实战 | 从MySQL到HBase:数据存储方案转型的演进

作者介绍 杨宏志,知乎首页架构负责人,主要负责首页工程化建设、工程架构优化、性能提升等工作。知乎专栏:https://zhuanlan.zhihu.com/c_195355141 本文转载自dbaplus社群(ID:dbaplus) 本文大致会从以下几个方面入手,谈谈笔者对数据存储方案选型的看法: 从MySQL到HBase集群化方案的演化 MySQL与HBase的性能取舍 不同方案的优化思路 总结 一.集群化方案 1.MySQL应用的演化 MySQL与HBase说到最核心的点,是一种数据存储方案。

mysql hbase 性能 数据库 集群 Image 索引 磁盘 存储 数据存储

HBase内部结构

之前有一篇文章已经大概的说了一下HBase的基本的概念和内部的一些构成的意思,比如表啊,列族啊之类的,这一篇再简单的说一下HBase的架构数据模型从大到小 namespace表空间:类似RDBMS中的库概念,当你想把一组表去统一的管理的时候可以使用得到,这种抽象为即将推出的多租户相关功能奠定了基础 配额管理:限制命名空间可以使用的资源量(即区域,表)。

云栖社区 算法 hbase hdfs Server 索引 表空间 存储 数据存储

hbase 备份恢复

讲师:阿里多模型数据库专家 ——玄陵 主要内容介绍:阿里云HBase 备份恢复的设计背景、原理、实现以及与业内大数据数据库的备份恢复机制的异同。 视频回看下载地址:https://yunqivedio.alicdn.com/od/3WfyH1543920819489.mp4 PPT下载地址:https://yq.aliyun.com/download/3126 ---- 每周二下午六点都会有阿里专家在【 HBase生态+Spark社区 钉钉大群】直播,交流HBase技术。

大数据 hbase 数据库 钉钉 spark aliyun

HBase基本操作-shell使用

这篇在学习之前,需要搭建好HBase集群,当你的集群搭建好了,那么就开始学习HBase的shell操作把~ 这篇文章将只会介绍使用频率最高的shell命令,这些没有什么难度,只是一些熟练问题,我的HBase版本是 进入HBase的命令行的命令是HBase shell 查看HBase shell中.

云栖社区 java hbase Apache shell test PUT timestamp

76
GO