一分钟了解阿里云产品:数据集成概述

简介: 阿里云的众多产品中,数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。   什么是数据集成呢?     数据集成(Data Integration),简称CDP,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS

阿里云的众多产品中,数据集成肯定是其中重要的一员。今天让我们来一起了解下数据集成吧。

 

什么是数据集成呢?

 

 

数据集成(Data Integration),简称CDP,是阿里集团对外提供的稳定高效、弹性伸缩的数据同步平台,为阿里云大数据计算引擎(包括ODPS、分析型数据库、OSPS)提供离线(批量)、实时(流式)的数据进出通道。

 

有别于传统的客户端点对点同步运行工具,数据集成本身以公有云服务为基本设计目标,集群化、服务化、多租户、水平扩展等功能都是其基本实现要求。

 

 

那么数据集成有哪些功能与特点呢?以下是简要说明。

 

 

  • 数据集成支持云上所有主要数据存储产品的传输能力,支持用户按需购买数据传输通道,支持用户全链路流控防护,支持传输自定义加工转换,云道支持传输业务脏数据收集和展示。

 

  • 数据集成支持云上结构化存储数据产品的binlog订阅能力,支持目的端到ODPS、消息队列等数据消费能力,云道支持数据全链路流控防护。

 

 

  • 数据集成将阿里云上各类异构数据流动打通,让数据不再成为孤岛。当然,目前数据集成也存在如下约束和限制条件:

 

 

  • CDP支持传输能够抽象为逻辑二维表的数据同步,其他完全非结构化数据,例如OSS中存放的一段MP3,CDP不支持将其同步到ODPS。

 

  • CDP支持且仅支持单个地域内数据存储相互同步、交换的数据同步需求,不支持多个地域之间数据同步。例如,暂时不支持将青岛RDS数据同步到杭州ODPS集群上来。

 

  • CDP仅完成数据同步(传输),本身不提供数据流的消费方式,即用户不能直接通过数据集成的API消费数据流。所有针对数据的操作, 用户必须在数据传输两端的存储系统中操作。

 

 

目前,采云间、御膳房、聚石塔、孔明灯的后台数据同步均是基于数据集成完成各自的数据传输需求。

 

数据集成典型特性介绍:

https://www.aliyun.com/product/cdp/?spm=5176.383518.201.59.YhsCSC

 

数据集成五大热点技术问题分析:

https://yq.aliyun.com/articles/7144?spm=0.0.0.0.M47Dc7

 

云道CDP产品使用问题:

https://yq.aliyun.com/articles/7145?spm=0.0.0.0.Vhhzif

 

 

目录
相关文章
|
7天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之DataWorks 数据集成中的数据源管理和管理空间的数据源之间的关系是怎样的
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
20 0
|
4天前
|
数据库 云计算
电子好书发您分享《阿里云产品手册2024版》
**阿里云2024产品手册电子版分享:** 探索最新云计算解决方案,涵盖智能计算、视觉智能与云数据库ClickHouse。了解阿里云在新的一年中提供的核心产品与服务升级,包括适用于初学者的云服务器选项。查看完整手册:[阿里云产品手册2024版](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.50ae272a22gHxh)。
29 9
|
7天前
|
分布式计算 DataWorks NoSQL
DataWorks产品使用合集之DataWorks 集成工具是否支持对 MongoDB 的单字段更新操作
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
18 0
|
7天前
|
分布式计算 DataWorks MaxCompute
DataWorks产品使用合集之在DataWorks中,将数据集成功能将AnalyticDB for MySQL中的数据实时同步到MaxCompute中如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
20 0
|
7天前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之在 DataWorks 中使用数据集成从 MySQL 导入数据到 GDB 执行同步任务脚本的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
19 0
|
7天前
|
分布式计算 DataWorks 安全
DataWorks产品使用合集之DataWorks购买的独享集成资源组退订如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
30 5
|
7天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在阿里云的DataWorks中,使用CREATE AS创建分区表的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
23 2
|
7天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之阿里云的DataWorks中,提交手动业务流程的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
21 0
|
2月前
|
Java 数据处理 调度
Dataphin常见问题之离线管道同步数据datax就报连接超时如何解决
Dataphin是阿里云提供的一站式数据处理服务,旨在帮助企业构建一体化的智能数据处理平台。Dataphin整合了数据建模、数据处理、数据开发、数据服务等多个功能,支持企业更高效地进行数据治理和分析。
|
7天前
|
分布式计算 DataWorks 数据库
DataWorks操作报错合集之DataWorks使用数据集成整库全增量同步oceanbase数据到odps的时候,遇到报错,该怎么处理
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
20 0

热门文章

最新文章