实时计算在「阿里影业实时报表业务」技术解读

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

实时计算在「阿里影业实时报表业务」技术解读

若有-若无 2018-10-26 10:28:29 浏览2100
展开阅读全文

需求背景

影业实时报表开始做法也是按照传统型报表做法一样,直接从阿里云rds写sql查询,随着数据量越来越大,这种做法已经没有办法满足业务扩张,带来的问题响应时间变慢,吞吐量低,我们急需要一种技术方案能满足未来2-3年随着影院增加,数据增长,而报表功能还能很好的满足客户需求技术方案。

业务目标

时间:平均1分钟,像销售报表最差5分钟返回结果。 数据准确性:数据不丢失并且跟业务库保持一直,数据正确性要100%。 数据校对和回溯:数据不准确的时候,能够手动修复报表。

技术挑战

数据幂等:ETL(精卫/Blink) 如何保障业务明细数据变更时间顺序,即:对同一条记录进行 update,如何保障 update 的顺序是正确的;同样对 delete/insert 一样要求。 数据校对:目前试运行阶段,一方面采用新旧报表对比,另外一方面,采用“数据回

网友评论

登录后评论
0/500
评论
若有-若无
+ 关注
所属云栖号: 阿里云实时计算