阿里云HBase&Lindorm + 关注 阿里云HBase&Lindorm

HBaseConAsia2019圆满落幕,一文带你看遍HBase以及大数据行业最新动态

HBaseCon是Apache软件基金会官方授权,Apache HBase社区支持举办的技术会议,主要目的是分享,交流HBase这个开源分布式大数据存储的使用和开发以及发展。HBaseCon发起于2012年。

大数据 Java核心技术 架构 分布式系统与计算 java hbase SQL Apache 阿里技术协会 数据库 集群 Image 索引 存储

HBase TB级数据规模不停机迁移最佳实践

有关HBase集群如何做不停服的数据迁移一直都是云HBase被问的比较多的一个问题,目前有许多开源的工具或者HBase本身集成的方案在性能、稳定性、使用体验上都不是很好,因此阿里云提供了BDS迁移服务,可以帮助云上客户实现TB级数据规模不停...

hbase 日志 配置 集群 数据迁移 同步 数据同步

免费报名 | 汇聚HBase&大数据最前沿 Apache HBaseConAsia2019盛会火热来袭

HBaseConAsia 2019将于7月20日在北京金隅喜来登大酒店举行,是HBase开发者和使用者不可错过的盛会。本次大会向所有参会者免费开放。欢迎大家前来参加。报名地址请点击链接或扫描下方二维码。

云栖社区 系统软件 编程语言 数据存储与数据库 大数据 架构 java hbase Apache 阿里技术协会 互联网 集群 数据迁移 同步 spark

数据人看Feed流-架构实践

关于Feed流的架构设计,包括以上场景中的很多业内专家给出了相应的思考、设计和实践。本人是大数据方向出身的技术人,所在的团队参与了阿里手淘、微淘Feed流的存储层相关服务,我们的HBase/Lindorm数据存储产品在公有云上也支持着Sou...

互联网产品及应用 大数据 架构 hbase 性能 个性化推荐 索引 存储 推荐系统 Feed

HBase优化之路-合理的使用编码压缩

为什么要讨论HBase编码压缩 编码+压缩能够成倍的减少数据的磁盘占用空间,节省可观的存储费用 编码+压缩通常情况下可以提高系统吞吐率,让系统可以做更多的功 默认建表不启用编码或者压缩,对初学者不友好 了解HBase...

数据存储与数据库 算法 性能优化 hbase Image Server 磁盘 存储 编码压缩

对比MySQL,一文看透HBase的能力及使用场景

MySQL + HBase 是我们日常应用中常用的两个数据库,分别解决应用的在线事务问题和大数据场景的海量存储问题。 本文内容适合初次理解HBase的读者,包括技术、功能及场景,也欢迎老司机们补充和温故。 更多内容,请查...

数据存储与数据库 大数据 mysql hbase 数据库 Image spark 存储 big data

HBase2.0重新定义小对象实时存取

小对象,特别指1K~10MB范围的数据,比如图片,短视频,文档等广泛的存在于人工智能,医疗,教育,生活分享,电子商务等领域。HBase2.0在MOB技术的加持下重新定义小对象实时存取,具有低延迟,读写强一致,检索能力强,水平易扩展等关键能力

大数据 mysql hbase 人工智能 解决方案 对象存储 索引 存储 数据存储 小对象实时存储 MOB

消灭毛刺!HBase2.0全链路offheap效果拔群

我们在在线业务中使用hbase读写数据时,可能会发现,HBase的平均延迟会很低,可能会低于1ms,但P999延迟(99.9%请求返回的最大时间)可能会高达数百ms。这就是所谓的"毛刺",这些毛刺可能会造成我们的在线业务出现部分请求超时,造...

云栖社区 系统软件 数据存储与数据库 系统研发与运维 分布式 Java核心技术 性能优化 hbase 线程 Cache 测试 cms

浅谈HBase的数据分布

HBase的rowkey设计一直都是难点和痛点,不合适的rowkey设计会导致读写性能、吞吐不佳等诸多问题。本文从数据分布问题展开,介绍HBase基于Range的分布策略与region的调度问题,详细讨论了rowkey的比较规则及其应用,希...

hbase 集群 负载均衡 存储 数据类型

Ali-HBase的SQL实践与改进

HBase原生api虽然赋予了用户极致的控制力,但也带来了较高的开发成本和学习成本,而SQL则很好的解决了这个使用问题。本文从为什么需要SQL开始谈起,进而讲解了SQL on Hbase,接着着重分享了Ali-Hbase SQL的优化与改进...

数据存储与数据库 分布式 性能优化 hbase 性能 SQL API 索引 物联网 报表 存储

阿里HBase的数据管道设施实践与演进

大数据生态下有着丰富多样的系统:流计算,数据存储,实时分析,离线计算,数据在各个异构系统之间的流转和加工而产生价值,高效的数据传输通道是大数据生态的重要一环。本文描述了阿里HBase团队在数据通道上多年的实践经验,主要讲解在主备容灾,高吞吐...

监控 hbase 配置 数据仓库 集群 排序 同步 淘宝 客服 数据通道

如何降低90%Java垃圾回收时间?以阿里HBase的GC优化实践为例

GC一直是Java应用中讨论的一个热门话题,尤其在像HBase这样的大型在线存储系统中,大堆下(百GB)的GC停顿延迟产生的在线实时影响,成为内核和应用开发者的一大痛点。 过去的一年里,我们准备在Ali-HBase上突破这个被普遍认知...

大数据 算法 java jvm hbase c++ Image 存储

深入解读HBase2.0新功能之AssignmentManagerV2

AssignmentManager是HBase中一个非常重要的模块,负责Region在server上的状态变化,如Open、Close这些操作。HBase2.0中对AssignmentMananger做了重大重构,这边文章主要分析了之前As...

系统软件 编程语言 数据存储与数据库 系统研发与运维 RPC 分布式 大数据 Java核心技术 架构 算法 服务器 hbase open zookeeper

深入解读HBase2.0新功能之高可用读Region Replica

基于时间线一致的高可用读(Timeline-consistent High Available Reads),又称Region replica,为HBase带来了高可用读的能力。本文主要介绍region replica这个功能设计的背景,技...

系统软件 数据存储与数据库 分布式 大数据 Java核心技术 架构 java hbase 高可用 配置 集群 数据同步 replication

HBase2.0中的Benchmark工具 — PerformanceEvaluation

在项目开发过程中,我们经常需要一些benchmark工具来对系统进行压测,以获得系统的性能参数,极限吞吐等等指标。而在HBase中,就自带了一个benchmark工具—PerformanceEvaluation,可以非常方便地对HBase的...

云栖社区 系统软件 数据存储与数据库 分布式 大数据 性能优化 hbase 性能 线程 测试 多线程 性能测试 thread Mapreduce

Apache官方举办的第一届HBase亚洲技术大会即将来袭!

HBaseCon是由Apache官方授权, 由HBase™项目委员会组织的社区性技术会议,其发起于2012年,并在过去几年(美国)均成功举办,吸引了大批Hadoop/HBase生态的开发者与用户,此次将在2017.08.04于中国深圳举办第...

云栖社区 数据存储与数据库 大数据 hbase hadoop Apache 开源 集群 高性能 数据存储

大数据时代的结构化存储—HBase在阿里的应用实践

# 前言 时间回到2011年,Hadoop作为新生事物,在阿里巴巴已经玩得风生水起,上千台规模的"云梯"是当时国内名声显赫的计算平台。 这一年,Hadoop的好兄弟HBase由毕玄大师带入淘宝,开启了它的阿里之旅。

大数据 hbase 性能 阿里技术协会 高可用 集群 Image 同步 离线计算 容灾 replication 存储

专注于大数据场景的分布式半结构化、结构化存储的NoSQL服务,在阿里经济体及阿里云平台上大规模使用,核心产品包括云HBase标准版( https://help.aliyun.com/document_detail/93537.html )、云HBase企业增强版(Lindorm https://help.aliyun.com/document_detail/119548.html)、HDFS、Phoenix等,充分满足用户的低成本、高可靠、高吞吐、高扩展的在线存储、查询、检索需求。

管理员:
天梧
5242
+ 关注
15
成员
18
文章