1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 数据 集成

当前主题:数据 集成

数据集成

数据集成产品介绍 数据集成(Data Integration) 数据集成是阿里集团对外提供的稳定高效、弹性伸缩的数据集成平台,为阿里云大数据计算引擎(包括MaxCompute、AnalyticDB、OSS)提供离线(批量)数据进出通道。有别于传统的客户端点对

阅读全文

DataWorks:数据集成问题排查

测试连通性 以关系数据库jdbcUrl为例(其他数据源如hdfs、redis、mogodb对应连接地址约束等价), 本地IDC: 有公网:支持测试连通性;需要jdbc url模式添加数据源; 无公网:不支持测试连通性;需要jdbc url模式添加数据源;需要

阅读全文

实践 —— 亲测从 RDS MySQL 通过数据集成导入 MaxCompute

我们今天要试的,是从RDS 的MySQL数据库到MaxCompute的 ODPS 的数据同步过程。 往简单了说,就是把源数据库(Read)里的数据,转移到目标数据库(Write)。 DataWorks 产品组里的 数据集成 提供了数据一次性搬移,以及周期性搬

阅读全文

DataWorks上数据集成任务如何解决网络问题

特别声明:本文介绍的场景是各种网络环境下的数据库该如何将数据上云(同步的目标端为MaxCompute),若同步的目标端为其他数据源,本文也可参考,底层执行原理基本一致。 网络背景(全局通用) 在讲网络问题的解决方案之前,先给大家讲讲阿里云上的网络背景。 1.

阅读全文

解析DataWorks数据集成中测试连通性失败问题

一、问题现象 此案例中,DataWorks项目位于华东2,RDS Mysql数据源位于华东1(VPC网络),使用DataWorks进行数据同步之前,首先需要建立数据源,但在建立数据源RDS Mysql的配置页面,“测试连通性”失败,即数据源并没有连通。 二、

阅读全文

数据集成通过JDBC将数据导入MySQL的几种模式

目前MySQL JDBC提供了多种将数据写入MySQL的方式,本文将介绍数据集成(DataX、同步中心、原CDP)支持的几种模式: insert into xxx values (..), (..), (..) replace into xxx values

阅读全文

数据集成到MaxCompute的N种最佳实践(持续更新)

本文汇总数据集成到MaxCompute的各种最佳实践,希望可以帮助到正在或者即将使用MaxCompute的企业和开发者们。 | Hadoop数据迁移MaxCompute | 理论与实践:如何从Hadoop迁移到MaxCompute | Hadoop迁移Max

阅读全文

《大数据集成(1)》一1.1 传统数据集成

本节书摘来自华章出版社《大数据集成(1)》一书中的第1章,第1.1节,作者 [美] 董欣(Xin Luna Dong)戴夫士·斯里瓦斯塔瓦(Divesh Srivastava),更多章节内容可以访问云栖社区“华章计算机”公众号查看 1.1 传统数据集成   

阅读全文

数据 集成相关问答

查看更多 提问题

DataWorks中的数据集成中的脚本模式是否支持多个不同数据源的同时数据同步?如图所示。

![_](https://yqfile.alicdn.com/6e4ec393f629b8955c05c9764c513704cae124a3.png) DataWorks中的数据集成中的脚本模式是否支持多个不同数据源的同时数据同步?如图所示。

阅读全文

DataWorks数据集成中的数据同步是否支持不同数据源的数据同时同步处理。

DataWorks数据集成中的数据同步是否支持不同数据源的数据同时同步处理。应该支持同一个数据源的多个数据的同时同步,那不同数据源的数据支持同时同步吗?例如将OSS的一个csv文件和mysql的一个表文件,同时写入到一个表中?

阅读全文

数据集成服务(DI)和数据传输服务(DTS)有什么区别?

数据集成服务(DI)和数据传输服务(DTS)有什么区别?

阅读全文

在使用大数据开发套件时,我在数据集成中设置了同步任务,每天自动同步数据,请教下,为啥不能每天自动同步?

在使用大数据开发套件时,我在数据集成中设置了同步任务,每天自动同步数据,请教下,为啥不能每天自动同步?

阅读全文

通过大数据开发套件-数据集成-新建同步任务的都是指定分区的吧, 如果每天只执行一次的话,那么就不会进行truncate

通过大数据开发套件-数据集成-新建同步任务的都是指定分区的吧, 如果每天只执行一次的话,那么就不会进行truncate

阅读全文

数据集成功能通常与什么功能一起购买

了解一下,想要数据集成功能,怎么购买。

阅读全文

DATAIDE数据集成新建数据源时怎么才能连上本地mysql

![20171009105859](https://yqfile.alicdn.com/f031ad6c290e08c63e613062850e782655ed130d.jpeg) 测试连通性一直不通

阅读全文

我要做数据集成,但是右上角老蹦粉色消息框order字段是不是已经被删除了,请问为啥?

我要做数据集成,但是右上角老蹦粉色消息框order字段是不是已经被删除了,请问为啥?

阅读全文