1. 云栖社区>
  2. 全部标签>
  3. #MaxCompute#
MaxCompute

#MaxCompute#

已有20人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

浅谈MaxCompute资源规划管理及评估

###一、MaxCompute资源规划背景介绍 MaxCompute资源主要有两类:存储资源、计算资源(包含cpu和内存)。存储资源用于存储MaxCompute的库表数据,计算资源用于运行sql、mr等任务。

公共云 按量付费 Group 存储 MaxCompute

数据湖 VS 数据仓库之争?阿里提出大数据架构新概念:湖仓一体

随着近几年数据湖概念的兴起,业界对于数据仓库和数据湖的对比甚至争论就一直不断。有人说数据湖是下一代大数据平台,各大云厂商也在纷纷的提出自己的数据湖解决方案,一些云数仓产品也增加了和数据湖联动的特性。但是数据仓库和数据湖的区别到底是什么,是技术路线之争?是数据管理方式之争?二者是水火不容还是其实可以和谐共存,甚至互为补充?本文作者来自阿里巴巴计算平台部门,深度参与阿里巴巴大数据/数据中台领域建设,将从历史的角度对数据湖和数据仓库的来龙去脉进行深入剖析,来阐述两者融合演进的新方向——湖仓一体,并就基于阿里云MaxCompute/EMR DataLake的湖仓一体方案做一介绍。

大数据 架构 hadoop 性能 数据库 数据仓库 集群 Image 存储 数据管理 MaxCompute

阿里云 MaxCompute 2020-9 月刊

MaxCompute改版控制台,优化全托管云数据仓库服务的管理和使用体验;同时作业监控诊断工具Logview功能升级发布,扩展了作业的监控指标,提供作业回放功能以及新增Fuxi Sensor支持查看作业内存及CPU使用。

大数据 监控 云栖大会 数据仓库 数据分析 钉钉 控制台 aliyun session html MaxCompute

【数据湖开发治理篇】——数据湖开发治理平台DataWorks

数据湖的定义: wikipedia中对于数据湖的定义是:“A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files.

大数据 PostgreSQL Image 数据迁移 存储 数据管理 MaxCompute AnalyticDB

【转载】MaxCompute full outer join改写left anti join实践

ods层数据同步时经常会遇到增全量合并的模型,即T-1天增量表 + T-2全量表 = T-1全量表。可以通过full outer join脚本来完成合并,但是数据量很大时非常消耗资源。本文将为您介绍在做增量数据的增加、更新时如何通过full outer join改写left anti join来实现的最佳实践。

SQL Image Core MaxCompute

多引擎集成挖掘湖上数据价值

数据湖已经逐步走到了精细化的管理,这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准,与具体的计算引擎深度绑定,因此,支持计算引擎的丰富程度也就成了衡量数据湖的一个准则。

OSS 性能 集群 Image spark EMR 存储 数据存储 MaxCompute

Spark On MaxCompute访问Phonix

如何使用Spark On MaxCompute连接Phonix,将Hbase的数据写入到MaxCompute的对应表中,这个目前没有对应的案例,为了满足用户的需求。本文通过使用Spark连接Phonix访问Hbase的数据写入MaxCompute该方案实践得出该方案的可行。

hbase hadoop Apache 配置 odps 测试 Maven spark scala aliyun scope MaxCompute

如何将操作日志持续投递到 SLS/OSS

操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。

OSS 加密 日志 SLS 配置 控制台 aliyun openapi 存储 MaxCompute

将操作日志持续投递到 SLS/OSS

操作审计(ActionTrail)帮助您监控并记录阿里云账号的活动,包括通过阿里云控制台、OpenAPI、开发者工具对云上产品和服务的访问和使用行为,记录为操作日志。

OSS 加密 日志 SLS 配置 控制台 aliyun openapi 存储 MaxCompute

阿里云 MaxCompute 2020-8 月刊

MaxCompute商业化发布数据备份恢复和数据科学Mars两项重要功能,同时公测发布MaxCompute查询加速。秒级恢复误删除数据,分布式加速 Python 数据科学栈,自动识别短查询作业并加速处理,满足报表分析、即席查询场景的使用要求尽在8月刊。

python 分布式 大数据 函数 数据仓库 集群 SaaS 数据安全 钉钉 aliyun 版本管理 数据备份 报表 MaxCompute

持续定义Saas模式云数据仓库+BI

简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

大数据 安全 数据仓库 SaaS 数据安全 Image 高性能 BI MaxCompute

使用日志审计查看MaxCompute执行过哪些操作

MaxCompute完整地记录用户的各项操作行为,会自动将操作日志实时投递到ActionTrail中,ActionTrail针对作业(Instance)、表(Table)、函数(Function)、资源(Resource)、用户(User)、角色(Role)和授权(Privilege)等事件的多种操作行为进行记录。

日志 Image 控制台 aliyun html MaxCompute

MaxCompute资源管理—— 包年包月资源组隔离

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。

算法 监控 配置 aliyun 运营 MaxCompute

【云栖号直播】本周重磅:阿里云“升舱计划”重磅发布

云栖号在线课堂,及时了解行业动态!在这里可以走近阿里云基础产品,了解更多应用方案,还能遇见大咖分享洞见及故事!也可以通过视频的形式让你高效、生动的了解场景化的上云最佳实践。

架构 数据仓库 微服务 aliyun MaxCompute

65
GO