Kafka数据如何同步至MaxCompute之实践讲解

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

Kafka数据如何同步至MaxCompute之实践讲解

耿江涛 2019-11-08 14:58:53 浏览7367
展开阅读全文

摘要:本次分享主要介绍Kafka产品的原理和使用方式,以及同步数据到MaxCompute的参数介绍、独享集成资源组与自定义资源组的使用背景和配置方式、Kafka同步数据到MaxCompute的开发到生产的整体部署操作等内容。

演讲嘉宾简介:耿江涛,阿里云智能技术支持工程师

以下内容根据演讲视频以及PPT整理而成。
本次分享主要围绕以下两个方面:

一、背景介绍
二、具体操作流程
1.Kafka消息队列使用以及原理
2.资源组介绍以及配置
3.同步过程及其注意事项
4.开发测试以及生产部署

一、背景介绍
1. 实验目的
在日常工作中,很多企业将APP或网站产生的行为日志和业务数据通过Kafka收集之后做两方面的处理。一方面是离线处理,一方面是实时处理。并且一般会投递到MaxCompute中作为模型的构建,进行相关的业务处理,如用户的特征、销售排名、订单地区

网友评论

登录后评论
0/500
评论
耿江涛
+ 关注