开发者社区 > 云计算 > 正文

Flink batch在datalake场景下的应用

发布者:我是小助手 2018-08-16 11:12:21 4561
视频介绍

关于Flink batch

随着大数据发展的日益成熟,出现了越来越多的大数据存储/处理系统,如开源的Kafka/HDFS/Hbase/Mysql,阿里云上的Datahub/MQ/OSS等。用户数据散布在各种存储中,如果需要做数据分析,必须把所有数据同步到统一存储。利用Flink的批处理能力,就可在多数据源间直接做关联进行数据分析。

 阿里云流计算(Powered By Flink)是一个一站式高性能,稳定的大数据处理平台,对Data Lake场景的数据处理,提供了几大核心亮点:
 * 各种异构数据源的ETL,包括加密数据处理,复杂数据格式化等
 * 对异构数据源做关联分析,支持oss和hdfs上数据做关联,oss和MySQL中数据做关联等
 * 一个集群,即可做流,又可作Data Lake ETL&Analysis,节省成本。

活动亮点

亮点1:一直以来flink以强大的流处理功能著称于世,直播将重点揭秘flink鲜为人知的批处理功能,包括性能对比,主打功能; 亮点2:直播活动将首次对外演示Flink Batch如何应用于数据湖场景,对实践入门的同学是个不可多得的上手学习机会 ; 亮点3:通过演示,用户可学习Flink Batch功能在数据湖ETL和分析场景使用方式,以及如何解决异构数据源计算的问题; 亮点4:参与互动的同学,均能获得Flink China赞助的T恤,以及Flink首本中文入门教材(限量20件)。