1. 云栖社区>
  2. 全部标签>
  3. #数据同步#
数据同步

#数据同步#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

otter单向同步数据不一致

按照阿里云文档部署好otter进行单向同步测试出现数据丢失的情况,源库每分钟20条数据插入速度,目标库每分钟丢失1-2条,使用的是行记录模式同步,查看row_select详细日志是没有丢失的数据的记录,可以理解是读源库的时候就没读到这些数据…

日志 测试 同步 数据同步 otter

菜鸡求问,怎样在ECS上运行软件?

需要在ECS上跑一个数据同步后台,不知道怎么挂载,求大神赐教

ECS 数据同步

阿里云mysql如何做双主实时同步

RDS-mysql和外部mysql,两个mysql都有写操作,类似双主,如何做双向实时数据同步

mysql 同步 数据同步

修改rds其他参数

项目在国内使用阿里云rds,国外使用aws rds,需要将国内数据同步到国外,打算使用aws提供的存储过程接口建立master slave关系,但是报错说aws rds的global gtid_mode=OFF, 阿里云这边是ON无法进行复…

数据存储与数据库 阿里云 RDS 数据同步 存储过程

数据同步是否支持同时多分区

想把odps的表同步到mysql上(即数据回流)。如果odps的表是有分区的,那么一次只能同步一个分区的数据还是支持同时同步到多个分区的数据?如果支持,怎么操作呢?

mysql odps 同步 数据同步 分区 partiton

如何利用内存技术构建大数据服务平台?

随着大数据、云计算等技术的应用和普及,创新的企业用大数据解决方案的开发成为很多开发者与创业者的关注方向。传统的数据库面临着挑战:效率下降、数据集成代价大、无法处理多样性的数据等等。 传统搭建大数据分析服务的方式非常繁琐,不仅需要大数据模型…

大数据 架构 HTTPS 云栖大会 数据处理 数据库 express 运营 物联网 数据同步 开发框架 数据存储 文本分析 海量数据处理 流数据

redis主从集群复制问题

阿里的redis服务是否支持,redis作为主集群,外地部署个从集群,它们之间数据同步复制,是否可以支持该架构

redis 架构 集群 数据同步 云数据库Redis版

我的RDS在华东1,数据同步到MaxCompute,1.不能走内网?2.走外网花费的流量还付费吗?

我的RDS在华东1,数据同步到MaxCompute,1.不能走内网?2.走外网花费的流量还付费吗?

RDS odps 数据同步 大数据分析 MaxCompute

我在数加的IDE上建了个数据同步的任务,把MaxCompute上的一个表同步到AnalyticDB上。任务测试成功,但是查ADB上的表,数据是空的。附件是运行日志,请帮忙看看哪里出了问题。

我在数加的IDE上建了个数据同步的任务,把MaxCompute上的一个表同步到AnalyticDB上。任务测试成功,但是查ADB上的表,数据是空的。附件是运行日志,请帮忙看看哪里出了问题。

日志 odps 测试 数加 同步 数据同步 adb 大数据分析 MaxCompute AnalyticDB

数据同步时出现以下error,要怎么解决?

数据同步时出现以下error,要怎么解决?经DataX智能分析,该任务最可能的错误原因是:com.alibaba.datax.common.exception.DataXException: Code:[OdpsWriter-13], D…

odps 数据同步 大数据分析 MaxCompute

数据同步的时候参数不对,时间同步的时候我配置的是$[yyyymmdd],但是实际同步的时候生成的日期前面多了个0,之前也一直跑得好好的,都是生成对的格式的日。

数据同步的时候参数不对,时间同步的时候我配置的是$[yyyymmdd],但是实际同步的时候生成的日期前面多了个0,之前也一直跑得好好的,都是生成对的格式的日。

HTTPS 配置 odps Image 同步 数据同步 大数据分析 MaxCompute

你好,请问数加MaxCompute服务能否开通华南地区的实例,因为目前公司其它阿里云资源基本都在华南地区,跨区的话数据同步不能走内网会比较麻烦。

你好,请问数加MaxCompute服务能否开通华南地区的实例,因为目前公司其它阿里云资源基本都在华南地区,跨区的话数据同步不能走内网会比较麻烦。

阿里云 odps 数加 数据同步 大数据分析 MaxCompute

请问如何将数据同步到maxcompute进行离线计算后,再把离线计算的结果同步到RDS? 同步到maxcompute后的数据如何在BI中创建数据集、工作表和仪表盘?

请问如何将数据同步到maxcompute进行离线计算后,再把离线计算的结果同步到RDS? 同步到maxcompute后的数据如何在BI中创建数据集、工作表和仪表盘?

RDS odps 同步 离线计算 数据同步 大数据分析 MaxCompute

你好,我想问一下,我测试运行了一个工作流任务,工作流任务中 包含7个数据同步任务,后来因为某些原因终止了任务,一些节点已经运行完,一些还没有运行完,想问一下,那些没有运行完,即出现红叉的节点,会有数据插入到相对应的表里面吗?就是说,插入了一部分数据,然后被我终止,还是说,必须任务执行完,显示对号,数据才会插入到表中,中间终止任务,出现红叉,不会插入到数据到相对应的表?

你好,我想问一下,我测试运行了一个工作流任务,工作流任务中 包含7个数据同步任务,后来因为某些原因终止了任务,一些节点已经运行完,一些还没有运行完,想问一下,那些没有运行完,即出现红叉的节点,会有数据插入到相对应的表里面吗?就是说,插入了一…

odps 测试 数据同步 工作流 大数据分析 MaxCompute

请问maxcompute如何收费的,比如说我将rds库中的某张表的几百万条数据同步到maxcompute中?

请问maxcompute如何收费的,比如说我将rds库中的某张表的几百万条数据同步到maxcompute中?

RDS odps 数据同步 大数据分析 MaxCompute

请问我在数据同步的时候出现错误,是什么问题,在选择目标那一步我快速建表,然后点击提交便会出现错误,如附件所示。

请问我在数据同步的时候出现错误,是什么问题,在选择目标那一步我快速建表,然后点击提交便会出现错误,如附件所示。

HTTPS odps Image 数据同步 大数据分析 MaxCompute

maxcompute中的数据可以直接通过接口或者语言查询到吗,还是只能通过数据同步,把数据同步到mysql这种工具里查询呢?比如php。

maxcompute中的数据可以直接通过接口或者语言查询到吗,还是只能通过数据同步,把数据同步到mysql这种工具里查询呢?比如php。

php mysql odps 数据同步 大数据分析 MaxCompute

数据同步过程中,可能有某些数据同步出错,可以配置用户邮件列表。把出错的表发送给用户。 或者提供接口给我们呢?

数据同步过程中,可能有某些数据同步出错,可以配置用户邮件列表。把出错的表发送给用户。或者提供接口给我们呢?

配置 odps 数据同步 大数据分析 MaxCompute

关于DataX对job执行状态监控及调度问题

最近在使用datax3.0把数据从oracle同步到mysql,第一次使用时觉的很是方便、高效,只要配置好job的json文件,再调用python $dataxhome/bin/datax.py $jobhome/*.json即可完成数据的…

数据存储与数据库 网络与数据通信 python 监控 mysql Oracle 配置 同步 数据同步 海量数据

你好,我做数据同步时,因为个人失误,导致一个月份的数据插入重复,请问如何删除这部分重复数据,而不是直接用truncate清空该表,因为我这个表数据较多,接近100个G,重新导入一遍代价太大,如何删除掉1万条多余数据呢?表是非分区表;

你好,我做数据同步时,因为个人失误,导致一个月份的数据插入重复,请问如何删除这部分重复数据,而不是直接用truncate清空该表,因为我这个表数据较多,接近100个G,重新导入一遍代价太大,如何删除掉1万条多余数据呢?表是非分区表;

odps 数据同步 分区表 大数据分析 MaxCompute

3
GO