使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

使用DataX同步MaxCompute数据到TableStore(原OTS)优化指南

晋恒 2019-05-13 20:39:09 浏览3087
展开阅读全文

概述

现在越来越多的技术架构下会组合使用MaxCompute和TableStore,用MaxCompute作大数据分析,计算的结果会导出到TableStore提供在线访问。MaxCompute提供海量数据计算的能力,而TableStore提供海量数据高并发低延迟读写的能力。

MaxCompute内数据导出至TableStore,目前可选的几种主要途径包括:

自己编写工具:使用MaxCompute SDK通过Tunnel读取表数据,再通过TableStore SDK再写入数据。
DataX:自己在服务器上托管执行DataX任务。
使用数据集成服务:其系统底层也是DataX,额外提供了服务化以及分布式的能力。
其中第二种是我们最常推荐给用户做临时的数据导出使用的,如果没有需要对数据做特殊处理的需求,我们一般不推荐第一种途径。

DataX在阿里集

网友评论

登录后评论
0/500
评论
晋恒
+ 关注