Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

  1. 云栖社区>
  2. 袋鼠云技术团队>
  3. 博客>
  4. 正文

Streamworks,基于扩展FlinkSQL实现流计算的源表导入、维表关联与结果表导出

袋鼠云 2019-11-13 11:56:41 浏览1331
展开阅读全文

Streamworks,袋鼠云基于SQL的流计算开发平台,其通过扩展FlinkSQL,实现FlinkSQL与界面化配置映射结合的方式,完成Kafka源数据的读入,并支持流数据与Mysql/Oracle/MongDB等数据源进行维表关联,将最终结果数据导出至Hbase/ES/Greenplum/Oracle/OceanBase等目标数据库,进行一站式的流数据开发。
s1

为什么扩展Flink-SQL?

Flink 本身的SQL语法并不提供对接输入源和输出目的的SQL语法,数据开发在使用过程中需要根据其提供的API接口编写Source和 Sink,不仅需要了解FLink 各类Operator的API,还需要对各个组件的相关调用方式有了解(比如Kafka,Redis,Mongo、Hbase等),异常繁琐。并且在需要关联到外部数据源的时候Flink

网友评论

登录后评论
0/500
评论
袋鼠云
+ 关注
所属团队号: 袋鼠云技术团队