一分钟了解阿里云产品:数据传输

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
数据传输服务 DTS,数据迁移 small 3个月
推荐场景:
MySQL数据库上云
云数据库 RDS MySQL Serverless,0.5-2RCU 50GB
简介: 一、             概述   阿里云发布了很多产品,今天让我们一起来了解下数据传输(Data Transmission) 吧。   什么是数据传输呢?   阿里云数据传输支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数

一、             概述

 

阿里云发布了很多产品,今天让我们一起来了解下数据传输(Data Transmission) 吧。

 

什么是数据传输呢?

 

阿里云数据传输支持以数据库为核心的结构化存储产品之间的数据传输。 它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。 数据传输的底层数据流基础设施为阿里双11异地双活基础架构, 为数千下游应用提供实时数据流,已在线上稳定运行3年之久。 您可以使用数据传输轻松构建安全、可扩展、高可用的数据架构。

 

 

那么,数据传输有什么优势呢?接下来让我来说说吧。

 

  • 数据传输支持同异构数据源之间的迁移同步,支持迁移订阅同步等多种传输方式,增量迁移可以实现应用无缝切换。

 

  • 数据传输服务使用高规格服务器来保证每条迁移同步链路都能拥有良好的传输性能。相对于传统的数据同步工具,数据传输服务的实时同步功能能够将并发粒度缩小到事务级别,甚至能够并发同步同张表内的数据,从而极大得提升同步性能。

 

  • 数据传输服务底层为服务集群,集群内任何一个节点宕机或发生故障,控制中心都能够将这个节点上的所有任务秒级切换到其他节点上,链路稳定性高达99.95%。数据传输服务内部对迁移同步链路提供7*24小时的数据准确性校验,快速发现并纠正传输数据,保证传输数据可靠性。数据传输服务各模块间采用安全传输协议及安全token认证,有效得保证数据传输可靠性。

 

  • 数据传输服务提供可视化管理界面,提供向导式的链路创建流程,用户可以在其控制台简单轻松得创建自己的传输链路。数据传输服务控制台展示了链路的传输状态及进度,传输性能等信息,用户可以方便管理自己的传输链路。

 

 

可能您会问到,“我处在什么样的应用或服务场景时,可以选择数据传输呢?”这里介绍下数据传输的常见应用场景:

 

  • 上云迁移
  •  数据库拆分
  •  本地灾备、异地灾备
  •  数据分析
  •  解决跨地区读延迟

 

通过我的介绍,希望大家能有所收获。

 

数据传输典型特性介绍:

https://www.aliyun.com/product/dts/?spm=5176.2066478.3.13.VnKETC

 

 

 

二、             技术点(数据传输五大热点技术问题分析)

 

在上一篇文章中,我们为大家介绍数据传输的概况,数据传输(Data Transmission)是阿里云提供的一种支持以数据库为核心的结构化存储产品之间的数据传输服务,它提供了数据迁移、数据订阅及实时同步等多种数据传输功能。使用数据传输服务实现数据一键上云的同时,您还可以轻松得构建安全、可扩展、高可用的数据架构。那在使用过程中,经常遇到的热门技术问题有哪些呢?

 

创建数据迁移任务:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-migration.html?spm=5176.docdts/Getting-Started/Open-DTS-service.6.92.uLWroC

 

创建实时同步作业:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-synchronous.html?spm=5176.docdts/Getting-Started/data-migration.6.94.UsgftV

 

创建订阅通道:

https://help.aliyun.com/document_detail/dts/Getting-Started/data-subscription.html?spm=5176.docdts/Getting-Started/data-synchronous.6.95.vxWuDI

 

库名不同的数据库之间的数据迁移:

https://help.aliyun.com/document_detail/dts/Best-Practice/Data-Migration-For-Databases-with-different-Ident.html?spm=5176.docdts/Getting-Started/data-subscription.6.130.ZNrxqD

 

利用数据订阅实现本地灾备:

https://help.aliyun.com/document_detail/dts/Best-Practice/Build-local-disaster-preparedness-with-Data-subscription.html?spm=5176.docdts/Best-Practice/Data-Migration-For-Databases-with-different-Ident.6.136.6benle

 

 

希望上面的内容,能够对大家有所帮助。

 

 

 

三、             体验(跨阿里云账号的ECS自建数据库迁移至RDS

 

下面我为大家来介绍下应用数据传输的相关体验。

 

 

DTS数据迁移任务,如果配置连接方式时,源实例选择ECS上的自建数据库,那么要求这个ECS实例跟目标RDS必须属于同一个阿里云账号。如果要实现某一个阿里云账号下的源ECS实例上的自建数据库迁移到另外一个阿里云账号下的RDS实例。那么源实例类型必须选择有公网IP的自建数据库。

 

 

本小节介绍如何利用DTS试下跨阿里云账号的ECS自建数据库迁移至RDS。

 

RDS实例数据库创建

在配置DTS迁移任务之前,待迁入数据库在目标RDS实例中必须已经存在。如果未创建,需要在RDS控制台创建。

658e4716cc60e9e4ac82fd4a0acb8f24e063deb4

 

 

 迁移账号创建

 

在配置迁移任务时,需要配置目标RDS实例的迁移账号,如果未创建迁移账号,那么在配置迁移任务之前,需要先在目标RDS实例中创建迁移帐号,并将要迁移的库的读写权限授权给上面创建的帐号。

ed7fcdecbdef2e54afc18c898ea4ecfabb5aa991

 

配置迁移任务

 

下面以将阿里云账号A下面的ECS实例上的自建数据库的库amptest1的数据迁移到另外一个阿里云账号B的RDS实例为例,介绍如何在DTS任务配置时实现跨阿里云账号的ECS自建数据库迁移至RDS。

 

1)  进入DTS控制台,点击创建迁移任务,正式开始任务创建。

e974f0ea39cd5e53eead88b01d10a27e37285341

 

2)  填写配置源及目标RDS实例的连接信息

70cf84fecb021361abd128948e31430973478a81

 

这里面源实例的实例类型需要选择“有公网IP的自建数据库”,源实例的主机名或IP地址填写ECS实例的公网IP

 

3)  选择迁移类型及迁移对象

 

3b768db1238e66cc20e50d44db22324ec4f1f4f5

 

在这个步骤需要配置要迁移的对象列表。 配置完后,进入迁移预检查

 

4) 预检查

3fb32d17f77e23d98f1f4de36edaab4839298348

 

当预检查通过后,可以启动迁移任务

 

5)  启动迁移任务

02a4f52f0e97f3eec2514361444d75349e317c7b

至此,完成跨阿里云账号的ECS自建数据库迁移至RDS的迁移任务配置。

 

如果您想详细了解数据传输,请访问:

https://help.aliyun.com/document_detail/dts/Best-Practice/Data-Migration-Between-ECS-And-RDS-belong-to-different-account.html?spm=5176.docdts/Best-Practice/Data-Migration-Between-RDS-instance-belong-to-different-account.6.133.vWEsOq



触发器存在情况下如何配置同步作业:

https://help.aliyun.com/document_detail/dts/Best-Practice/Config-Synchronous-Database-Trigger-Exists.html?spm=5176.docdts/Best-Practice/SDK-Failover.6.136.sRnnXI

 

 

相关实践学习
RocketMQ一站式入门使用
从源码编译、部署broker、部署namesrv,使用java客户端首发消息等一站式入门RocketMQ。
Sqoop 企业级大数据迁移方案实战
Sqoop是一个用于在Hadoop和关系数据库服务器之间传输数据的工具。它用于从关系数据库(如MySQL,Oracle)导入数据到Hadoop HDFS,并从Hadoop文件系统导出到关系数据库。 本课程主要讲解了Sqoop的设计思想及原理、部署安装及配置、详细具体的使用方法技巧与实操案例、企业级任务管理等。结合日常工作实践,培养解决实际问题的能力。本课程由黑马程序员提供。
目录
相关文章
|
8天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
8天前
|
分布式计算 大数据 MaxCompute
MaxCompute产品使用合集之使用pyodps读取OSS(阿里云对象存储)中的文件的步骤是什么
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
5天前
|
数据库 云计算
电子好书发您分享《阿里云产品手册2024版》
**阿里云2024产品手册电子版分享:** 探索最新云计算解决方案,涵盖智能计算、视觉智能与云数据库ClickHouse。了解阿里云在新的一年中提供的核心产品与服务升级,包括适用于初学者的云服务器选项。查看完整手册:[阿里云产品手册2024版](https://developer.aliyun.com/ebook/8326/116556?spm=a2c6h.26392459.ebook-detail.4.50ae272a22gHxh)。
30 9
|
8天前
|
数据采集 分布式计算 DataWorks
DataWorks产品使用合集之在阿里云的DataWorks中,使用CREATE AS创建分区表的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
24 2
|
8天前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之阿里云的DataWorks中,提交手动业务流程的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
22 0
|
8天前
|
分布式计算 DataWorks Java
DataWorks产品使用合集之阿里云DataWorks专有云环境下,上传MaxCompute的UDF(用户自定义函数)的JAR包的步骤如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
18 0
|
8天前
|
缓存 分布式计算 DataWorks
DataWorks产品使用合集之阿里云DataWorks中,天任务依赖小时任务的调度运行如何解决
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
18 1
|
8天前
|
分布式计算 DataWorks 大数据
MaxCompute产品使用合集之数据传输完成后发现了脏数据字段如何解决
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
8天前
|
SQL 分布式计算 DataWorks
MaxCompute产品使用合集之阿里云MaxCompute对SQL语句的长度的长度限制是多少
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
8天前
|
SQL 数据管理 API
数据管理DMS产品使用合集之阿里云DMS提供API接口来进行数据导出功能吗
阿里云数据管理DMS提供了全面的数据管理、数据库运维、数据安全、数据迁移与同步等功能,助力企业高效、安全地进行数据库管理和运维工作。以下是DMS产品使用合集的详细介绍。

热门文章

最新文章