一分钟了解阿里云产品:数据集成概述

  1. 云栖社区>
  2. 博客>
  3. 正文

一分钟了解阿里云产品:数据集成概述

hayden822 2016-02-28 09:01:44 浏览3917
展开阅读全文

阿里云的众多产品中,数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。

 

什么是数据集成呢?

 

 

数据集成(Data Integration),简称CDP,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。

 

有别于传统的客户端点对点同步运行工具,数据集成本身以公有云服务为基本设计目标,集群化、服务化、多租户、水平扩展等功能都是其基本实现要求。

 

 

那么数据集成有哪些功能与特点呢?以下是简要说明。

 

 

  • 数据集成支持云上所有主要数据存储产品的传输能力,支持用户按需购买数据传输通道,支持用户全链路流控防护,支持传输自定义加工转换,云道支持传输业务脏数据收集和展示。

 

  • 数据集成支持云上结构化存储数据产品的binlog订阅能力,支持目的端到ODPS、消息队列等数据消费能力,云道支持数据全链路流控防护。

 

 

  • 数据集成将阿里云上各类异构数据流动打通,让数据不再成为孤岛。当然,目前数据集成也存在如下约束和限制条件:

 

 

  • CDP支持传输能够抽象为逻辑二维表的数据同步,其他完全非结构化数据,例如OSS中存放的一段MP3,CDP不支持将其同步到ODPS。

 

  • CDP支持且仅支持单个地域内数据存储相互同步、交换的数据同步需求,不支持多个地域之间数据同步。例如,暂时不支持将青岛RDS数据同步到杭州ODPS集群上来。

 

  • CDP仅完成数据同步(传输),本身不提供数据流的消费方式,即用户不能直接通过数据集成的API消费数据流。所有针对数据的操作, 用户必须在数据传输两端的存储系统中操作。

 

 

目前,采云间、御膳房、聚石塔、孔明灯的后台数据同步均是基于数据集成完成各自的数据传输需求。

 

数据集成典型特性介绍:

https://www.aliyun.com/product/cdp/?spm=5176.383518.201.59.YhsCSC

 

数据集成五大热点技术问题分析:

https://yq.aliyun.com/articles/7144?spm=0.0.0.0.M47Dc7

 

云道CDP产品使用问题:

https://yq.aliyun.com/articles/7145?spm=0.0.0.0.Vhhzif

 

 

网友评论

登录后评论
0/500
评论
hayden822
+ 关注