使用 Kafka 和 Flink 构建实时数据处理系统

  1. 云栖社区>
  2. 阿里云实时计算>
  3. 博客>
  4. 正文

使用 Kafka 和 Flink 构建实时数据处理系统

jasonli4 2018-09-05 16:19:14 浏览5383
展开阅读全文

引言

在很多领域,如股市走向分析, 气象数据测控,网站用户行为分析等,由于数据产生快,实时性强,数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需要。流计算的出现,就是为了更好地解决这类数据在处理过程中遇到的问题。与传统架构不同,流计算模型在数据流动的过程中实时地进行捕捉和处理,并根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件。本文将从实时数据产生和流向的各个环节出发,通过一个具有实际意义的案例,向读者介绍如何使用 Apache Kafka 和 Apache Flink 构建一个实时的数据处理系统,当然本文只是抛砖引玉,因为构建一个良好健壮的实时数据处理系统并不是一篇文章可以说清楚的。在阅读本文前,假设您已经对 Apache Kafka 分布式消息系统有了基本的了解,并且可以使用

网友评论

登录后评论
0/500
评论
jasonli4
+ 关注
所属云栖号: 阿里云实时计算