Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

Flink SQL 功能解密系列 —— 解决热点问题的大杀器MiniBatch

巴蜀真人 2018-02-08 15:33:32 浏览3844
展开阅读全文


阿里巴巴实时计算团队-墨简

在Blink的流式任务中,State相关的操作通常都会成为整个任务的性能瓶颈。实时计算部-查询和优化团队开发了MiniBatch功能,大幅降低了State操作的开销,在今年的双11中,几乎所有适用的任务都启用了MiniBatch功能。

MiniBatch的一个典型场景-无限流上的GroupBy

在Blink-SQL中,通常会使用无限流的GroupBy来完成去重或者聚合计算,一个简单的例子如下

SELECT a, count(b) FROM dual GROUP BY a

标准实现的计算方式

minibatch_new.png

MiniBatch实现的计算方式

minibatch_new2.png

StateBackend的Batch操作

从上图可知,开启MiniBatch之后要求State能支持Batch读写,目前默认的RocksDBStateBackend暂时不支持,Batch的读写实际是

网友评论

登录后评论
0/500
评论
巴蜀真人
+ 关注
所属云栖号: 阿里云实时计算