教程:如何通过DLA实现数据文件格式转换

  1. 云栖社区>
  2. 阿里云Data Lake Analytics>
  3. 博客>
  4. 正文

教程:如何通过DLA实现数据文件格式转换

金络 2018-11-22 11:48:09 浏览1093
展开阅读全文

前言

Data Lake Analytics(后文简称 DLA)可以帮助用户通过标准的SQL语句直接对存储在OSS、TableStore上的数据进行查询分析。

对于同一份数据来说,以不同的格式保存,不仅在存储空间上有差别,在使用DLA查询时执行时间也是有差别的。通常来说,同样大小的数据,以ORC和PARQUET存储时,性能要优于以普通文本(CSV)的格式存储。而大部分用户在OSS上的数据是以CSV的格式存储的,如果希望得到更好的查询效率,往往需要借助第三方工具先对文件进行格式转换,再将转换后的数据文件导入OSS,再使用DLA进行查询,比较麻烦。

本文将介绍如何在DLA中实现不同文件格式之间的转换。

转换方法

简单来说,就是在DLA中分别依据原始数据文件的格式和目标数据文件的格式,创建两张表;然后通过INSERT INTO  target_t

网友评论

登录后评论
0/500
评论
金络
+ 关注
所属云栖号: 阿里云Data Lake Analytics