X-Pack Spark归档POLARDB数据做分析

  1. 云栖社区>
  2. HBase+Spark社区>
  3. 博客>
  4. 正文

X-Pack Spark归档POLARDB数据做分析

巴客 2019-05-06 23:50:49 浏览7731
展开阅读全文

简介

POLARDB数据库是阿里云自研的下一代关系型云数据库,100%兼容MySQL,性能最高是MySQL的6倍,但是随着数据量不断增大,面临着单条SQL无法分析出结果的现状。X-Pack Spark为数据库提供分析引擎,旨在打造数据库闭环,借助X-Pack Spark可以将POLARDB数据归档至列式存储Parquet文件,一条SQL完成复杂数据分析,并将分析结果回流到业务库提供查询。本文主要介绍如何使用X-Pack Spark数据工作台对POLARDB数据归档。

业务架构

业务需要对多张表出不同纬度,按天、按月的报表并对外提供查询服务;最大表当前500G,数据量还在不断的增加。尝试过spark直接通过jdbc去分析POLARDB,一方面比较慢,另外一方面每次扫全量的POLARDB数据,对在线业务有影响。基于以下几点考虑选择POLAR

网友评论

登录后评论
0/500
评论
巴客
+ 关注
所属云栖号: HBase+Spark社区