如何衡量MaxCompute建立性能基准?

简介: MaxCompute性能表现优劣,主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现,建议您在优化性能之前首先建立性能基准。

云栖号快速入门:【点击查看更多云产品快速入门】
不知道怎么入门?这里分分钟解决新手入门等基础问题,可快速完成产品配置操作!

MaxCompute性能表现优劣,主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现,建议您在优化性能之前首先建立性能基准。

1F6A4C5F_A3E1_46dd_94B3_2D22E68D0872

在优化表前后测试系统性能时,您需要记录每张表的数据同步时间、占用存储大小以及查询性能的详细信息。如果您使用的是包年包月方式购买的MaxCompute项目资源,还需要记录购买数。

78204302_B4AE_459f_8882_939BD18CE548

记录数据同步时间

在您执行数据同步任务后,可以在运维中心 > 周期实例页面右键查看用户任务运行时间,如下图所示。
image

记录占用存储大小

登录DataWorks控制台

您可以使用describe命令查看全表或表中某个分区占用物理存储的大小。
image

记录查询执行时间及预估费用

登录DataWorks控制台,进入数据开发页面,创建ODPS sql节点。

您可以在运行任务时或通过单击94E02A5D_F329_4f2e_B9F8_30839BE5BF19图标直接通过图形页面查看预估费用。
image
任务完成运行后,可在运行日志中查看到运行时间。
image

本文来自 阿里云文档中心 MaxCompute 建立性能基准

【云栖号在线课堂】每天都有产品技术专家分享!
课程地址:https://yqh.aliyun.com/zhibo

立即加入社群,与专家面对面,及时了解课程最新动态!
【云栖号在线课堂 社群】https://c.tb.cn/F3.Z8gvnK

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
11月前
|
SQL 机器学习/深度学习 分布式计算
「大数据架构」Spark 3.0发布,重大变化,性能提升18倍
「大数据架构」Spark 3.0发布,重大变化,性能提升18倍
|
8月前
|
存储 算法 大数据
倚天性能优化--基于倚天优化后的zstd在大数据场景应用:降低存储成本+提升重IO场景性能
倚天性能优化--基于倚天优化后的zstd在大数据场景应用:降低存储成本+提升重IO场景性能
|
SQL 前端开发 Java
大数据量下 MyBatis PageHelper 分页查询性能问题的解决办法
项目一直使用的是PageHelper实现分页功能,项目前期数据量较少一直没有什么问题。随着业务扩增,数据库扩增PageHelper出现了明显的性能问题。
|
存储 人工智能 运维
阿里云开源大数据平台升级EMR2.0发布 性能最高可提升6倍
阿里云EMR2.0为用户提供了全新的平台、开发、资源形态、分析场景等更优的产品体验,通过EMR Doctor健康检查、全面的服务巡检和事件通知、节点故障补偿等运维能力的升级,预估运维成本可降低20%-30%。新平台致力于为客户快速构建高性价比、安全可靠、兼容生态的开源大数据平台。
阿里云开源大数据平台升级EMR2.0发布  性能最高可提升6倍
|
大数据 数据挖掘 索引
Pandas处理大数据的性能优化技巧
Pandas是Python中最著名的数据分析工具。本文将介绍一些使用Pandas处理大数据时的技巧,希望对你有所帮助
73 0
Pandas处理大数据的性能优化技巧
|
存储 运维 分布式计算
阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
12月27日,阿里云正式发布云原生开源大数据平台EMR 2.0,升级后的开源大数据平台在成本持平的情况下,扩缩容性能最高可提升6倍。
638 0
阿里云开源大数据平台EMR全面升级 性能最高可提升6倍
|
分布式计算 关系型数据库 MySQL
|
存储 弹性计算 人工智能
大数据性能提升28%!阿里云新一代本地SSD实例i4开放公测
计算性能稳定优异,极低访问延迟,主动运维
大数据性能提升28%!阿里云新一代本地SSD实例i4开放公测
|
大数据 C# 数据库
WPF DataGrid 性能加载大数据
原文:WPF DataGrid 性能加载大数据 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u010265681/article/details/76651725  WPF(Windows Presentation Foundation)应用程序在没有图形加速设备的机器上运行速度很慢是个公开的秘密,给用户的感觉是它太吃资源了,WPF程序的性能和硬件确实有很大的关系,越高档的机器性能越有优势。
2092 0
|
存储 搜索推荐 Java
Java8 Stream 数据流,大数据量下的性能效率怎么样?
Stream 是Java SE 8类库中新增的关键抽象,它被定义于 java.util.stream (这个包里有若干流类型:Stream<T> 代表对象引用流,此外还有一系列特化流,如 IntStream,LongStream,DoubleStream等。
Java8 Stream 数据流,大数据量下的性能效率怎么样?