数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

  1. 云栖社区>
  2. 阿里云数据湖分析DLA>
  3. 博客>
  4. 正文

数据湖分析服务Data Lake Analytics发布支持OSS多版本优化、控制台等多项优化及改进

云原生数据湖分析DLA 2020-02-24 11:59:05 浏览1739
展开阅读全文

数据湖分析服务 Data Lake Analytics SQL引擎是兼容MySQL协议的,具备高性能的Serverless化的联邦分析引擎,支持OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等数据源。本次发布提升及改进如下,列举部分:

  • 支持OSS多版本优化:OSS的多版本的特性,导致OSS的shallow copy机制无法使用,因此ETL的时间都显著变长。优化后,在一些大客户使用,性能提升22%左右,主要节约rename中间的拷贝时间
  • TextFile格式支持alter table add column
  • 限制深圳区域单表Partition不超过2w,避免平台被异常增加partition打挂
  • 优化"OSS的Null IO stream的问题" 异常信息,此问题是 OSS中的数据是归档类型。后续在

网友评论

登录后评论
0/500
评论
云原生数据湖分析DLA
+ 关注
所属团队号: 阿里云数据湖分析DLA