DataWorks百问百答01:数据同步该用什么资源组?

本文涉及的产品
大数据开发治理平台 DataWorks,不限时长
简介: 很多用户在使用数据集成建立同步任务时,往往都会困惑一个设置,即“资源组设置”。大家常有的疑问是“资源组是用来做什么的?跟网络之间什么关系?我该选择那种资源组?”下面本文给您一个简要的介绍。

引子

很多用户在使用数据集成建立同步任务时,往往都会困惑一个设置,即“资源组设置”。
大家常有的疑问是“资源组是用来做什么的?跟网络之间什么关系?我该选择那种资源组?”
下面本文给您一个简要的介绍。


什么是资源组

资源组是数据集成用来运行数据同步任务的计算资源,可以通俗的理解为“带有CPU、内存和网络的计算机或计算机集群”。同步任务就是运行在上面的“程序”。所以如果机器性能低或者运行的程序过多,都会导致任务执行效率,而有如果机器的网络不通,那么也会出现连接不到数据源的问题。

对比和推荐

数据集成有三种资源组:公共资源组(又称默认资源组)、独享资源组、自定义资源组。它们适用的场景不同,您在做数据同步时可以根据自己实际的需求来选择。具体请参考下表

公共资源组 独享资源组 自定义资源组*
机器资源归属 DataWorks维护
所有租户竞争使用的共享资源
DataWorks维护
自己租户独享使用的计算资源
客户自己的IDC机器,客户自己维护
DataWorks版本要求 所有版本均支持 所有版本均支持 只有专业版及以上才支持
网络 支持经典网络
支持公网
支持阿里云内产品
支持VPC
支持公网
支持阿里云内产品
支持VPC
支持公网
支持阿里云内产品
收费方式 按任务实例量阶梯计费 按机器规格包年包月计费 DataWorks版本按月使用费
支持数据源 部分数据源 全部数据源 全部数据源
安全性 视客户自身机器环境而定
任务执行效率* 视客户自身机器环境而定
可靠性* 视客户自身机器环境而定
适合场景 适用于做一些非重要、非紧急的少量、零散任务,或者测试性任务。 适合于大量、重要的生产级别任务。 自身已有资源利旧,或者同步的数据源全部都在IDC内
推荐指数 ★★ ★★★★★

任务执行效率:是指任务是否能分到足够的计算资源,能否以最高性能运行。
可靠性:是指任务是否能按时启动,执行时网络资源是否被其他租户所占据,而导致任务不能按时产出结果。
自定义资源组:此处仅指“用于数据集成的自定义资源组”,并不是“用于调度的自定义资源组”。

结论

所以综合来看对于大多数正常需求的用户来说“独享资源组”是最佳选择

DataWorks百问百答历史记录请点击查看

更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
25天前
|
DataWorks 机器人 调度
DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
【2月更文挑战第34天】DataWorks的集成任务并发度设置主要影响的是**调度资源组**。
12 1
|
1月前
|
SQL 分布式计算 DataWorks
DataWorks常见问题之dataworks数据同步时无法显示独享资源组如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
|
28天前
|
SQL 分布式计算 DataWorks
DataWorks提供的数据同步类型不仅包括整库离线同步
【2月更文挑战第31天】DataWorks提供的数据同步类型不仅包括整库离线同步
21 8
|
25天前
|
消息中间件 DataWorks 关系型数据库
DataWorks的独享资源数据集成
DataWorks的独享资源数据集成
12 1
|
28天前
|
SQL 分布式计算 DataWorks
DataWorks不仅提供单表离线模式,还支持多种数据同步任务类型。
【2月更文挑战第31天】DataWorks不仅提供单表离线模式,还支持多种数据同步任务类型。这些类型包括整库离线同步(一次性全量同步、周期性全量同步、离线全增量同步、一次性增量同步、周期性增量同步)以及一键实时同步(一次性全量同步,实时增量同步)。此外,DataWorks还提供了数据类型转换的功能,您可以选择在源端和目标端使用相同的数据类型以避免数据类型转换,或者在源端和目标端使用不同的数据类型,然后在同步时手动转换数据类型。
23 6
|
1月前
|
运维 DataWorks 数据建模
DataWorks常见问题之Dataworks数据同步任务执行失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
DataWorks常见问题之Dataworks数据同步任务执行失败如何解决
|
21天前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
66 0
|
1月前
|
canal 关系型数据库 MySQL
四种常用的 MySQL 数据同步 ES 的方法
【2月更文挑战第16天】
168 2
四种常用的 MySQL 数据同步 ES 的方法
|
6月前
|
关系型数据库 MySQL Java
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
对比下 datax 的 OceanBase/MYSQL 不同数据同步方案的效率差异 || 聊聊参数 rewriteBatchedStatements
|
3月前
|
缓存 NoSQL 关系型数据库
redis与mysql的数据一致性问题(数据同步延迟)
redis与mysql的数据一致性问题(数据同步延迟)
18 0

热门文章

最新文章