深度解读!时序数据库HiTSDB:分布式流式聚合引擎

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

深度解读!时序数据库HiTSDB:分布式流式聚合引擎

技术小能手 2018-04-19 10:47:44 浏览3681
展开阅读全文

背景

HiTSDB时序数据库引擎在服务于阿里巴巴集团内的客户时,根据集团业务特性做了很多针对性的优化。 然而在HiTSDB云产品的打磨过程中逐渐发现,很多针对性的优化很难在公有云上针对特定用户去实施。

于此同时, 在公有云客户使用HiTSDB的过程中,发现了越来越多由于聚合查询导致的问题,比如: 返回数据点过多会出现栈溢出等错误,聚合点过多导致OOM, 或者无法完成聚合,实例完全卡死等等问题。这些问题主要由于原始的聚合引擎架构上的缺陷导致。

因此HiTSDB开发团队评估后决定围绕新的聚合引擎架构对HiTSDB引擎进行升级,包含: 存储模型的改造,索引方式的升级,实现全新的流式聚合,数据迁移,性能评测。 本文主要围绕这5个方面进行梳理,重点在“全新的流式聚合部分”。

1. 时序数据存储模型:

1.1 时序的数据存储格式。

一个典型的时序数据由两




网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术