备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】 使用Kafka Connect和Spark Streaming构建实时数据管道

2017-02-18 2224
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Streaming构建大规模实时数据管道的挑战，Kafka项目最近推出了新的工具—— Kafka Connect，该工具将帮助简化从Kafka导入和导出数据，Ewen Cheslack Postava分享了如何使用Kafka Connect和Spark Streaming构建实时数据管道。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Ewen Cheslack Postava在Spark Summit East 2017上的演讲，主要介绍了面对使用Spark Streaming构建大规模实时数据管道的挑战，Kafka项目最近推出了新的工具—— Kafka Connect，该工具将帮助简化从Kafka导入和导出数据，Ewen Cheslack Postava分享了如何使用Kafka Connect和Spark Streaming构建实时数据管道。


c5fc63435aac547d70066e3be0a4e6e7c528b053

bee1280438148f57ee3ebc08d8008a72670b9810

cca1f403223803dc8f30250acdd9bc34b4b7ff34

20b4fe39bcf08989c3d88aa31760c5b129e32790

90c3b2ffed4a2f5b4170196af8a6968887129bf3

2ef638d771b3ae0484717f7b118b0db3aed68f34

0ce9eb575080426b2fa1b4ff8b8d6a95adf128e0

230e2c5b66bcee7f9db83e07ab234ef743f41211

3815a69bbbc9ac929923eb0350f9d76d335d9b30

76af9a2d169141af97945a562c2e2cbaa1c8c1cc

056784e8f5ea311b9ecd7f374a2f9338e5b60142

f2c0e00133fe97c9fbcead33a02737efea3d064d

65c2283b3c6f6045e71b77c1a334903c5dd67f54



ab448da55d44dd72e15d789bf7cb6853d9c1ed37

e471b65f8fcdf0bab9ea77e54d4128561865b8b0

0bf51c50e6a2f1490ec027eadc808cb78db4536f

490fe59051c781e83cc1610079e6bab2f3a2e236

d71c2a7dfd0cfb0a2a8a07d55537b478574111ea

5a2ec6f99402c867ec0e0d418e58df1092bc67d7

ea96ae877426a9cbc83c86bce2bbad365759f006

89bf1f94c4c77ef1c96c72e96f92dca6bdd69c93

9ba6d56ce6b1abf579286da499a7d4d25db54a62

21bc294477c058266cc8e92883ff7d36b23111b0

37604312182721855813d33db75d5986c9707893

19571f1d9dbccc50b9cdd3bda181804f133b1476

文章标签：
云消息队列 Kafka 版
分布式计算
大数据
Spark
消息中间件
Kafka
流计算
MaxCompute
关键词：
apache spark streaming
云消息队列 Kafka 版数据
云消息队列 Kafka 版构建
apache spark数据
apache spark kafka
小猫吃鱼569
目录
相关文章
建模sister
|
2月前
|
SQL 分布式计算 API
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
建模sister
52 2
建模sister
|
1月前
|
SQL 分布式计算 Java
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
建模sister
76 1
sunrr
|
1月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据，还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据，还支持算子下推吗
sunrr
107 2
晓之以理的喵~~
|
3月前
|
消息中间件 分布式计算 Kafka
Spark与Kafka的集成与流数据处理
Spark与Kafka的集成与流数据处理
晓之以理的喵~~
224 0
晓之以理的喵~~
|
3月前
|
分布式计算 分布式数据库 API
Spark与HBase的集成与数据访问
Spark与HBase的集成与数据访问
晓之以理的喵~~
70 0
晓之以理的喵~~
|
3月前
|
消息中间件 分布式计算 Kafka
使用Kafka与Spark Streaming进行流数据集成
使用Kafka与Spark Streaming进行流数据集成
晓之以理的喵~~
159 0
晓之以理的喵~~
|
3月前
|
JSON 分布式计算 关系型数据库
Spark中使用DataFrame进行数据转换和操作
Spark中使用DataFrame进行数据转换和操作
晓之以理的喵~~
99 0
晓之以理的喵~~
|
3月前
|
存储 分布式计算 调度
Spark任务调度与数据本地性
Spark任务调度与数据本地性
晓之以理的喵~~
31 0
诸葛子房
|
4月前
|
分布式计算 Java Spark
Spark Driver和Executor数据传递使用问题
Spark Driver和Executor数据传递使用问题
诸葛子房
30 0
诸葛子房
|
4月前
|
消息中间件 关系型数据库 MySQL
在kafka connect 同步 mysql 主从数据库
在kafka connect 同步 mysql 主从数据库
诸葛子房
43 0

热门文章

最新文章

  • 1
    Paimon 与 Spark 的集成（二）：查询优化
  • 2
    阿里云 EMR Serverless Spark 版免费邀测中
  • 3
    【Kafka】分区副本中的 Leader 如果宕机但 ISR 却为空该如何处理
  • 4
    Paimon与Spark
  • 5
    云原生最佳实践系列 5：基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作
  • 6
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 7
    Kafka 面试题及答案整理，最新面试题
  • 8
    kafka基本知识概述
  • 9
    【深入浅出 RocketMQ原理及实战】「底层源码挖掘系列」透彻剖析贯穿一下RocketMQ和Kafka索引设计原理和方案
  • 10
    面试官：你说说Kafka是怎么保证消息可靠性的
  • 1
    SparkStreaming（SparkStreaming概述、入门、Kafka数据源、DStream转换、输出、关闭）
    48
  • 2
    Kafka【付诸实践 03】Offset Explorer Kafka 的终极 UI 工具安装+简单上手+关键特性测试（一篇学会使用 Offset Explorer）
    158
  • 3
    Kafka【付诸实践 02】消费者和消费者群组+创建消费者实例+提交偏移量（自动、手动）+监听分区再平衡+独立的消费者+消费者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka消费者】
    65
  • 4
    Kafka【付诸实践 01】生产者发送消息的过程描述及设计+创建生产者并发送消息（同步、异步）+自定义分区器+自定义序列化器+生产者其他属性说明（实例源码粘贴可用）【一篇学会使用Kafka生产者】
    136
  • 5
    Kafka【基础知识 02】集群+副本机制+数据请求+物理存储+数据存储设计（图片来源于网络）
    28
  • 6
    Kafka【基础知识 01】消息队列介绍+Kafka架构及核心概念（图片来源于网络）
    81
  • 7
    Kafka【问题记录 01】kill -9 导致 Kakfa 重启失败问题处理（doesn‘t match stored clusterId xxx in meta.properties）
    20
  • 8
    Flink CDC产品常见问题之用upsert的方式写入kafka失败如何解决
    42
  • 9
    Flink CDC产品常见问题之Flink CDC里从kafka消费的时候顺序混乱如何解决
    41
  • 10
    DataWorks常见问题之kafka数据导入datahub失败如何解决
    46

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 分布式消息系统 Kafka 快速入门
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 5分钟上手Flink MySQL连接器
    • 下一篇
    阿里云oss简介和使用流程