1. 聚能聊>
  2. 话题详情

数据上云和迁移中可能会遇到哪些问题

大家在使用云上数据产品时,免不了要把线下数据迁移上云,或在云上各数据产品之间移动数据。在这个过程中,可能会遇到各种问题,比如在迁移上T的数据或在交易库与分析库之间迁移数据时,往往会无从下手。

我们围绕这些话题进行讨论:

1.各位都使用什么手段把数据上云或迁移数据?
2.在PostgreSQL、Greenplum数据迁移过程中碰到了哪些问题?你是如何解决的?
3.关于ApsaraDB家族的关系数据库PostgreSQL PPAS和分析数据库Greenplum,你有哪些问题或使用技巧?

都可以来聊一聊!奖品等你来拿!

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    优酷VIP季卡 x 2

  • 奖品二

    阿里云代金券 x 2

  • 奖品三

    聆听专属T恤衫 x 1

100个回答

3

earoson 已获得阿里云代金券 复制链接去分享

有没有反向迁移功能,下云有方案吗?

曾文旌 回复

这是个好问题,你可以下载我们每天的基础备份,在线下恢复。

游客y2qebyzfecoqg 回复
评论
0

anderson_520 已获得优酷VIP季卡 复制链接去分享

请问,云上 mysql 中的数据怎么迁移到 gp 中进行分析?

曾文旌 回复
曾文旌 回复

我们开源的工具 mysql2pgsql 也可以做到,请关注 https://github.com/aliyun/rds_dbsync

评论
0

财爷8 已获得阿里云代金券 复制链接去分享

求代金券

豹子ss 回复

gg

曾杨 回复

卧槽

技术达人 回复

这都行?

评论
2

德哥 已获得优酷VIP季卡 复制链接去分享

物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

德哥 回复

物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。

idealities 回复

物联网数据,是不是使用InfluxDB这种更合适?

德哥 回复

TS数据库的应用场景有限,物联网除了有时序属性,还有其他属性。这方面TS数据库是无法满足的。 通常需要多个数据库结合来使用。

评论
0

康贤 已获得聆听专属T恤衫 复制链接去分享

阿里云Greemplum怎么导入大量数据?

曾文旌 回复
评论
1

廖宙基 复制链接去分享

物联网中往往会有大量的数据存在文件中,怎么将这类数据快速的导入Greenplum进行分析呢?

曾文旌 回复

是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库 greenplum

评论
1

廖宙基 复制链接去分享

物联网可能包含大量的GIS类型,JSON格式的数据。 文件的方式存储,前端可能会有流式或OLTP,但是从原始文件进数据仓库应该是比较高效的方式,比从前端OLTP数据库再ETL来得快。

曾文旌 回复

是的 oss_ext 能满足您的需求,只需要上传文件到 oss ,就能高速入库。

评论
1

内心迩最重 复制链接去分享

云虚拟主机怎么安装数据库?

曾文旌 回复

虚拟主机上用户需要自己搭建和运维数据库,所以我们推出了RDS服务。

cnkfz 回复

虚拟主机产品无法自行配置,买啥样就是啥样

皓月大路 回复

用ecs不就行了

评论
1

ruby1986 复制链接去分享

打算业务系统上云,数据有几百G,业务间断只能有2到3小时,因为也许系统数据需要连续性,300g数据导入2小时左右可以搞定吗?什么办法更好一些mssql

曾文旌 回复

我们可以采用 全量迁移 + 增量迁移 的方法做到业务停的时间尽量短。
只需要在最后等待增量追平主库和数据校验阶段停业务。

上海啊呜软 回复

还能这样。。。长见识了

皓月大路 回复

哎哟不错哟

评论
1

1053523463076997 复制链接去分享

本人不懂技术,只知道吃的多干的多,身大力不亏,想搬数据,应该一个道理吧?马总啥时请吃饭?

曾文旌 回复

说得好有道理!

皓月大路 回复

搬砖的路过

评论
1

1397161146836593 复制链接去分享

希望阿里云越办越好

曾文旌 回复

谢谢!

评论
1

1553569878667905 复制链接去分享

我只想多点两个赞,你们说的都是高科技东西,我完全不懂😷

曾文旌 回复

手动赞一个。

评论
1

1322176414175511 复制链接去分享

主要还是数据库的处理

曾文旌 回复

是的。

评论
1

whatcat 复制链接去分享

两个greenplum数据库,遇到增量备份问题

曾文旌 回复

请具体描述您的问题。

评论
1

peven 复制链接去分享

诶,在阿里云还没用过这些

曾文旌 回复

请多多尝试。

评论
1

1277376506016181 复制链接去分享

如何实现将mysql数据复制到postgresql中,要求实时增量的。

曾文旌 回复

基于binlog解析的数据同步能做到实时异构迁移,尽请期待。

评论
1

1277376506016181 复制链接去分享

如何实现将mysql数据复制到postgresql中,要求实时增量的。

曾文旌 回复

基于binlog解析的数据同步能做到实时异构迁移,尽请期待。

评论
1

kylin_yang 复制链接去分享

怎么把本地的SQLServer数据库上传并导入到阿里云RDS?性能怎么样?管理复杂度如何?

石沫 回复

目前从本地上云集中方式,请根据情形选择:

  1. SQL Server Import/Export 工具逻辑导入,比较慢一点,并且有点麻烦,但利用的是SQL Server自己的工具
  2. 使用SQL Server备份还原工具,SQL Server自己提供的工具,简单可靠,备份文件后,通过FTP上传文件,并且将数据库导入,备份文件时请选用压缩方式(可能存在版本不支持,取决于你的本地版本)
  3. 利用阿里云DTS工具,这个实现全量与增量,具体使用届时可以联系相关同学支持

多谢!

dbfun 回复

阿里dts迁移

评论
1

1370095238259197 复制链接去分享

马云的歌唱的太好了。

曾文旌 回复

我也这么觉得。

评论
1

dws123 复制链接去分享

有没有一个数据库的数据直接迁移到另一个数据库的简单方式

曾文旌 回复

dbsync 工具集相当简单易用,您可以尝试下 https://github.com/aliyun/rds_dbsync

评论
5