阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结

  1. 云栖社区>
  2. 阿里云支持与服务>
  3. 博客>
  4. 正文

阿里云大数据工厂DataWorks学习之--数据同步任务常见日志报错总结

上单 2017-05-16 16:28:35 浏览4463
展开阅读全文
在使用大数据开发套件时最常用的就是数据同步模块,工单里最常见的问题就是其中数据同步的问题,这里总结一些常见一些从Maxcompute到其他数据源的同步任务报错案例,主要是日志中出现数据回滚写入的问题。
   那首先看下日志中数据回滚的原因,当数据写入rds或者hybridDB等一些支持事务的数据库中,数据批量写入,一旦由于各种原因没有写入成功,这个批次的数据会回滚重新写入,如果再次写入失败,就会报脏数据的错误导致任务失败。数据写入失败可能是以下原因导致回滚。
1,脏数据(数据值超过数据类型最大范围,数据类型不对应等等)
2,目标数据源字段设置,比如默认不允许为空
3,主键冲突
4,目标数据源本身负载太高,写入时死锁
5,同步的设置的速度太大,比如数据量很大,速度设为10M/s。

常见回滚日志报错示例:
 2017-01-01 17:01:32.5






网友评论

登录后评论
0/500
评论
上单
+ 关注
所属云栖号: 阿里云支持与服务