hbase二级索引secondary-index记录

简介: 一.已有可参考hbase二级索引方案:huawei:http://f.dataguru.cn/thread-202710-1-1.html;360:http://blog.csdn.net/dhtx_wzgl/article/details/49069081;Phoenix:https://phoenix.apache.org/secondary_indexing.html;xiaomi;Lily:第三方组件实现,不会给HBase带来入侵式的代码,而且不会影响写入性能;其他使用率比较小的方案。

一.已有可参考hbase二级索引方案:

huaweihttp://f.dataguru.cn/thread-202710-1-1.html
360http://blog.csdn.net/dhtx_wzgl/article/details/49069081
Phoenixhttps://phoenix.apache.org/secondary_indexing.html

xiaomi;

Lily:第三方组件实现,不会给HBase带来入侵式的代码,而且不会影响写入性能;

其他使用率比较小的方案。

二.基于coprocessor的参考性思路:

1.考虑是global全局索引or本地索引local还是两者都有或者其他索引类型实现;

2.修改hbase元数据表信息,增加索引表及索引相关信息;

3.修改对应coprocessor,实现数据对应的索引操作(mutate。。。);

4.映射及解析客户端索引语句(alter index 。。。);

5.索引批量操作,基于mapreduce实现;

6.客户端索引语句管理及语法的构建;

7.索引的动态管理及重建;

8.hbase的compact与split及balance策略的修改,来平衡index;

9.hbase的索引性能测试。

三:技能

掌握hadoop+zookeeper原理及实现

精通mapreduce

精通hbase架构

熟读hbase内核源码

相关实践学习
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
XML 存储 分布式计算
hbase构建二级索引解决方案
HBase的一级索引就是rowkey,我们仅仅能通过rowkey进行检索。假设我们相对Hbase里面列族的列列进行一些组合查询,就只能全表扫描了。表如果较大的话,代价是不可接受的,所以要提出二级索引的方案。
782 0
hbase构建二级索引解决方案
|
4月前
|
存储 NoSQL 分布式数据库
Hbase的三种索引_全局索引,覆盖索引,本地索引(七)
Hbase的三种索引_全局索引,覆盖索引,本地索引(七)
69 0
|
4月前
|
SQL 分布式数据库 HIVE
Hbase二级索引_Hive on Hbase 及phoenix详解
Hbase二级索引_Hive on Hbase 及phoenix详解
44 0
|
8月前
|
SQL 分布式数据库 Apache
|
分布式数据库 索引 Hbase
《HBase应用与发展之HBase RowKey与索引设计》电子版地址
HBase应用与发展之HBase RowKey与索引设计
100 0
《HBase应用与发展之HBase RowKey与索引设计》电子版地址
|
分布式计算 Hadoop Linux
云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker]更新索引 |动态更新
为了能够更好的查看所更新的文章,讲该博文设为索引 小约定 为了解决在编辑文件等操作的过程中的权限问题,博主一律默认采用root账户登录 对于初次安装的用户可以采用如下命令行:
116 0
云计算集群搭建记录[Hadoop|Zookeeper|Hbase|Spark | Docker]更新索引 |动态更新
|
SQL 搜索推荐 Java
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
408 0
「从零单排HBase 12」HBase二级索引Phoenix使用与最佳实践
|
SQL 存储 分布式计算
「从零单排HBase 11」HBase二级索引解决方案
「从零单排HBase 11」HBase二级索引解决方案
123 0
|
SQL 分布式计算 Java
spark-shell操作hudi并使用hbase作为索引
本文介绍spark-shell操作hudi并使用hbase作为索引
spark-shell操作hudi并使用hbase作为索引
|
机器学习/深度学习 SQL 分布式计算
云HBase Phoenix索引构建最佳实践
介绍三种的不同的索引构建方法及其适用场景
2590 0