阿里云MaxCompute 2018-5月刊

简介: 5月,MaxCompute提供全表扫描的设置操作,可允许或禁止全表扫描;支持OSS上的Hive文件格式;支持OSS压缩格式GZIP。。。更多新功能新体验,欢迎阅读本文了解。

5月MaxCompute又发布哪些新功能,优化了哪些产品体验呢?小编带你一起看~

image

【新功能】 MaxCompute提供全表扫描的设置操作

以开关的形式,通过设置允许或禁止全表扫描。true为允许,false为禁止 项目级别控制:setproject odps.sql.allow.fullscan=false/true Session级别控制:set odps.sql.allow.fullscan=false/true 参考文档

【体验优化】MaxCompute Optimizer - Join Grouping优化

用户query有多个连续的join时,并且这些join有共同的join key,MaxCompute Optimizer会将这些join合并成multi-way join,多路join的输入数据直接shuffle到同一个stage,在做multi-way join时直接将多路的数据来做join,能减少不需要的中间join的数据量,减少整个query的stage,加速query执行。

【新功能】MaxCompute非结构化功能支持RAM子账号

MaxCompute非结构化处理框架,新增支持RAM子账号创建外部表 参考文档

【新功能】MaxCompute支持OSS上的Hive文件格式

MaxCompute非结构化,新增支持读取OSS上的开源数据格式:PARQUET、RCFILE 参考文档

【新功能】MaxCompute支持OSS压缩格式GZIP

MaxCompute支持OSS压缩格式-内置StorageHandler支持gzip的读/写压缩 参考文档

【新功能】MaxCompute SQL支持STRUCT复杂类型的排序与比较

MaxCompute SQL支持 STRUCT类型,并且可以任意嵌套使用,同时Java UDF也同样支持STRUCT,用户可以直接将复杂类型传入UDF中 参考文档

【新功能】MaxCompute SQL 新语法 SEMI JOIN

MaxCompute SQL 新语法 SEMI JOIN,包括:LEFT SEMI JOIN,LEFT ANTI JOIN 参考文档

【新功能】MaxCompute SQL 支持 CASE/WHEN的隐式类型转换

新增MaxCompute SQL:CASE/WHEN 表达式的隐式转换规则 参考文档

【新功能】MaxCompute SQL支持更多的内置函数

聚合函数:VARIANCE/VAR_POP、VAR_SAMP、COVAR_POP、COVAR_SAMP、PERCENTILE 字符函数:TRANSLATE 窗口函数:NTILE 其他函数:NVL 参考文档

【新功能】MaxCompute SQL支持Select Transform语言功能

SELECT TRANSFORM 功能允许用户指定启动一个子进程,将输入数据按照一定的格式通过stdin输入子进程,并且通过parse子进程的stdout输出,来获取输出数据。适合实现MaxCompute SQL没有的功能又不想写UDF的情况。

【价格调整】MaxCompute 2.0 NewSQL新特性商业化收费

MaxCompute2.0 NewSQL 采用的计费标准为:一次 SQL 计算费用 = 计算输入数据量 SQL 复杂度 SQL 价格。当天的所有计量信息在第二天做一次性汇总收费,并直接体现在您的账户账单中。NewSQL范围:涉及MaxCompute2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

价格调整内容
涉及2.0新的基本数据类型与内建函数、复杂类型的扩充、CTE,VALUES,SEMIJOIN 、脚本模式与参数化视图、SELECT TRANSFORM 等。

如需了解更多关于MaxCompute, 欢迎加入“MaxCompute开发者交流”钉钉群,群号:11782920,或扫码入群

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
人工智能 数据管理 Serverless
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
阿里云数据库走向Serverless与AI驱动的一站式数据平台具有重大意义和潜力
404 2
|
2月前
|
人工智能 运维 Cloud Native
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
、你如何看待阿里云数据库走向Serverless与AI驱动的一站式数据平台?
149 2
|
2月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
703 0
|
2月前
|
人工智能 数据管理 大数据
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
阿里云数据库走向Serverless与AI驱动的一站式数据平台是一个很有前景和意义的发展方向
33 2
|
17天前
|
机器学习/深度学习 分布式计算 数据挖掘
阿里云 MaxCompute MaxFrame 开启免费邀测,统一 Python 开发生态
阿里云 MaxCompute MaxFrame 正式开启邀测,统一 Python 开发生态,打破大数据及 AI 开发使用边界。
196 1
|
1月前
|
人工智能 DataWorks 数据可视化
心动基于阿里云DataWorks构建游戏行业通用大数据模型
心动游戏在阿里云上构建云原生大数据平台,基于DataWorks构建行业通用大数据模型,如玩家、产品、SDK、事件、发行等,满足各种不同的分析型应用的要求,如AI场景、风控场景、数据分析场景等。
334 1
|
2月前
|
人工智能 运维 数据管理
阿里云数据库走向Serverless与AI驱动的一站式数据平台
阿里云数据库走向Serverless与AI驱动的一站式数据平台
271 2
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0

相关产品

  • 云原生大数据计算服务 MaxCompute