HybridDB for MySQL计算规格全面加速OLAP场景

  1. 云栖社区>
  2. 博客>
  3. 正文

HybridDB for MySQL计算规格全面加速OLAP场景

问璞 2018-11-14 09:38:06 浏览796 评论0

摘要: 计算规格是HybridDB for MySQL最新推出的OLAP增强版本,通过自研的列式存储引擎CStore全面加速分析场景。 主打毫秒级实时数据更新+百亿大表任意维度毫秒级分析,在完备的SQL能力上,同时支持在SQL中的多值子列查询、全文检索、空间检索等功能特性。


前言

在2018年双十一中,阿里云数据库HybridDB为几十万商家提供数据驱动的店铺智能服务,也为几千小二提供了高效的数据化服务产品,大大提高生产效率。 盒马实时交易大盘使用HybridDB实现盒马全链路的数据实时闭环,支撑1000多张表的复杂查询,平均查询延迟1秒以内,大大提高了新零售的数据化能力。菜鸟仓储实时在线数仓,基于HybridDB for MySQL构建了容纳核心的订单、包裹、库存及时效等全链路数据,目前已经成长为菜鸟仓储业务的数据化产品基石。 HybridDB 承接ECS、RDS、CDN、SLB等阿里云核心业务提供实时监控数据的存储、计算服务,以及支撑了四大件产品双十一实时监控大屏。为阿里云双十一保驾护航。

经过双十一的洗礼后,HybridDB for MySQL最新推出OLAP增强的高性能计算规格,通过自研的列式存储引擎CStore全面加速分析场景。主打毫秒级实时数据更新+百亿大表任意维度毫秒级分析,在完备的SQL能力上,同时支持在SQL中的多值子列查询、全文检索、空间检索等功能特性。既支持通过数据同步工具实时写入数据也支持直接和离线数仓ODPS的快速数据TB每小时的高速导入导出,覆盖实时BI报表、离线数据在线服务、日志类分析查询等各类场景。

一. 功能特性

1) 极速查询

毫秒级的极速查询能力是HybridDB计算规格的核心竞争力:

  • 支持百亿大表的聚合、连接等复杂查询,任意维度组合,毫秒级延时
  • 支持通用的OLAP模型,比如星型、雪花等模型;支持事实表、维度表
  • 数据按照列存储,支持列级智能索引。列级索引可以任意组合, 最多支持数千个查询条件
  • 强大的聚集索引能力,用户可以按照业务特性对数据做排序,查询性能最高可提升一个量级以上

2)SQL兼容性

HybridDB计算规格在查询上面有着出色的SQL兼容能力:

  • 支持MySQL全部的查询语法(涵盖各类操作符、函数、复杂查询嵌套等)
  • 支持大数据通用的TPC-H、TPC-DS标准benchmark
  • 支持Oracle常用的开窗语法和函数、集合操作、层次查询等

3)实时写入

HybridDB计算规格支持高性能实时写入:

  • 支持insert into/replace into实时写入
  • 数据写入后毫秒级可查询
  • 支持主键索引去重,可以快速replace into覆盖更新
  • 支持Update和Delete单表任意条件的数据更新
  • 性能:单节点2-5w tps 或者 30-50M/s, 可线性扩展到数百万tps

4)批量导入

HybridDB计算规格有着独具特色的高性能批量导入能力:

  • 批量导入性能最高可达1TB/小时,百亿数据最快分钟级导入完成
  • 支持MaxCompute(ODPS)、OSS、RDS(MySQL)等的快速批量导入导出
  • 新老数据一键切换功能:数据导入时不影响查询,导入完成后一键切换新数据上线服务。
  • 数据导出的也有着导入一样的性能

5)BI生态兼容

HybridDB计算规格兼容MySQL协议,支持主流的BI工具:

  • 阿里云上支持DMS、QuickBI等BI工具,支持DTS全量和增量数据迁移
  • 阿里集团内支持IDB、孔明灯、夸克可视化工具,支持精卫、DTS数据同步
  • 支持各种商业BI工具:Tableau、Navicate、MySQL workbench等

6) 系统稳定性

HybridDB计算规格在稳定性了做了大量的细致工作:

  • 用户实例资源单独隔离,无共享资源依赖,保证了用户之间不会出现资源争抢和排队
  • 存储和计算资源隔离,可以保证导入基本不影响查询
  • 查询模式自动识别,快速查询和复杂查询隔离,避免了单个复杂查询影响整个实例。

7)数据可靠性

HybridDB计算规格从两个个方面保证数据可靠性:

  • 数据默认三副本存储,工业安全
  • 支持全量和增量备份到OSS

8)特色功能

HybridDB计算规格做为OLAP增量版本,支持如下特色功能:

  • 多值子列:支持单列多个值的存储、过滤、分组,可以做到亿级数据毫秒级的多值列检索
  • 全文检索:支持全文检索列,可以定义分词器,支持毫秒级的检索能力
  • 空间检索:支持空间索引,支持点、圈型、多边形的检索和查询,百亿数据可以做到毫秒级别的检索能力

二、覆盖场景&解决方案

HybridDB的计算规格支持高并发在线分析、复杂交互式分析、实时混合数据仓库等多种场景:

【云栖快讯】阿里巴巴小程序繁星计划,20亿补贴第一弹云应用免费申请,限量从速!  详情请点击

网友评论