MaxCompute问答整理之6月

简介: 本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助,下面咱们正式开始。

1、什么是MaxCompute呢?
MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来说呢,就是数据要存到MaxCompute里面,需要的时候再取出来。

2、为什么要使用MaxCompute呢?
MaxCompute的特点可以简单总结为5点:
开箱即用在线服务,五分钟即可开通大数据平台。
高效能低成本,持续高效低成本的大数据引擎。
支持多种分布式计算模型,满足不同场景下的技术需求。
生态融合,支持多样数据源、生态工具和标准。
安全可靠,多租户数据安全保障机制。

3、使用MaxCompute需要什么专业技能?
JAVA、SQL、Python。

4、使用MaxCompute需要准备什么开发工具呢?
这里面的工具有三种:
Odpscmd:MaxCompute客户端,喜欢用命令行的同学可以试试。
https://help.aliyun.com/document_detail/27971.html
因为odpscmd是基于JAVA开发的,所以记得配置JRE 1.7以上版本,建议使用JRE1.7/1.8。

MaxCompute Studio:是MaxCompute平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台IntelliJ IDEA的开发插件。
https://help.aliyun.com/document_detail/50889.html

DataWorks:是阿里云重要的PaaS平台产品,可以提供数据集成、数据开发、数据管理、数据质量和数据服务等全方位的产品服务,拥有一站式开发管理的界面,DataWorks是基于MaxCompute为核心的计算、存储引擎,可以提供海量数据的离线加工分析、数据挖掘等功能。
https://help.aliyun.com/product/72772.html

我想大家看完上面的内容之后,以及对MaxCompute有了初步的了解和认知,下面我根据MaxCompute开发者社区里面大家碰见的问题做一个简单的整理,我会从初级问题开始一步步整理,大家可以随时查阅。

问题一:怎么获取AccesskeyID和 Access key Secret?
使用MaxCompute服务前,我们需要准备一个阿里云账号。
下面这篇文章可以完美解决大家如何获取AK密钥。
https://help.aliyun.com/document_detail/27803.html

问题二:MaxCompute如何计费?
当我们开通MaxCompute服务时都会碰见一个问题,如何选择自己的计费方式,怎么估算?MaxCompute的产品有两种计费模型,按量付费(先使用再付费)和CU预付费(先购买资源),简单来说就是资源共享和资源独享的区别。
MaxCompute是以project为计费单元,计费项包括存储、计算、数据下载三类。就是分为计算费用(可预付费和后付费)、存储费用(按量后付费)、下载费用(按量后计费)。

问题三:尝试把测试环境rds导入,结果遇到了类似分区,不知道怎么查文档解决?
当我们在MaxCompute上面开始建表,查看分区等操作时,总是会碰见一些各种各样的问题。不怕,咱们有官方文档,有非常详细的解释和介绍。
https://help.aliyun.com/document_detail/27829.html

问题四:EMR和MaxCompute的区别?
很多人都会问有了EMR,为什么还有MaxCompute?下面我给大家解释一下,
EMR是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品,主要是提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、及时查询、机器学习等场景下的大数据解决方案。
MaxCompute是阿里人自主研发的,对外不开源,封装使用起来方便,而且运维成本比较低,两者在使用场景上基本没有差别。

问题五:如何查看odps里面sql执行所消耗的资源?
MaxCompute的计费方式有选择,那我们怎么去查看呢?怎么知道我一条SQL耗费了多少资源,下面这篇文章可以给我们很好的解答。https://help.aliyun.com/document_detail/106521.html

问题六:MaxCompute和DataWorks的权限关系?
通过MaxCompute的安全模型进行权限控制,并不会影响成员在DataWorks任何界面操作。而通过DataWorks的用户角色分配,则有可能影响成员MaxCompute资源权限。
https://help.aliyun.com/document_detail/105012.html
也可以通过视频来了解两者的关系。
https://help.aliyun.com/video_detail/99890.html

问题七:需要从odps数据导入到mysql,但是受到数据保护,无法导出,如何解决?
可以通过关闭数据保护或者配置exception policy 来完成。
https://help.aliyun.com/document_detail/34605.html

问题八:如何赋予操作表的权限?
MaxCompute可以通过授权方式对其中的表、任务、资源等客体的某种操作权限,包括读、写、查看等。
https://help.aliyun.com/document_detail/27935.html

欢迎加入MaxCompute开发者社区2群,与更多大数据开发者一起学习交流大数据技术。

2_

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
一站式大数据开发治理平台DataWorks初级课程
DataWorks 从 2009 年开始,十ー年里一直支持阿里巴巴集团内部数据中台的建设,2019 年双 11 稳定支撑每日千万级的任务调度。每天阿里巴巴内部有数万名数据和算法工程师正在使用DataWorks,承了阿里巴巴 99%的据业务构建。本课程主要介绍了阿里巴巴大数据技术发展历程与 DataWorks 几大模块的基本能力。 课程目标  通过讲师的详细讲解与实际演示,学员可以一边学习一边进行实际操作,可以深入了解DataWorks各大模块的使用方式和具体功能,让学员对DataWorks数据集成、开发、分析、运维、安全、治理等方面有深刻的了解,加深对阿里云大数据产品体系的理解与认识。 适合人群  企业数据仓库开发人员  大数据平台开发人员  数据分析师  大数据运维人员  对于大数据平台、数据中台产品感兴趣的开发者
目录
相关文章
|
SQL 分布式计算 Oracle
阿里云-数仓 数据开发神器-ODPS(MaxCompute)的组成对象
阿里云-数仓 数据开发神器-ODPS(MaxCompute)的组成对象
|
SQL 分布式计算 DataWorks
MaxCompute问答整理之2020-06月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1087 0
MaxCompute问答整理之2020-06月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-04~05月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
740 0
MaxCompute问答整理之2020-04~05月
|
机器学习/深度学习 存储 SQL
MaxCompute 入门必知
什么是MaxCompute?MaxCompute的主要应用场景有哪些?产品有什么特点?系统架构和作业流程是怎样的?
1261 0
|
SQL 分布式计算 Java
MaxCompute问答整理之2020-03月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1050 0
MaxCompute问答整理之2020-03月
|
SQL 分布式计算 Cloud Native
MaxCompute问答整理之2020-02月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
1173 0
MaxCompute问答整理之2020-02月
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-01月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1170 0
MaxCompute问答整理之2020-01月
|
SQL 消息中间件 JSON
MaxCompute问答整理之12月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
1408 0
MaxCompute问答整理之12月
|
SQL 分布式计算 Oracle
MaxCompute问答整理之11月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。
6773 0
MaxCompute问答整理之11月
|
分布式计算 MaxCompute Shell
MaxCompute问答整理之10月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
2055 0