MaxCompute studio FAQ

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 1. 如何联系studio开发同学? 2. Show Table Detail 中文乱码 原因是Intellij Appearance中使用的字符集不支持中文。需要在Appearance & Behavior -> Appearance 下使用支持中文的字符集(Microsoft YaHei)或改为Default,如下所示: 3. sql包含中文,提交后logview中文乱码 确认下你的intellij文件编码是不是UTF-8 4.studio的日志在哪里? 记录在idea.log里,可以通过Help --> Show Log in Finder 找到。

MaxCompute Studio基础

1. 官方文档地址

https://help.aliyun.com/document_detail/50889.html

2. studio的日志在哪里?

记录在idea.log里,可以通过Help --> Show Log in Finder 找到。

3. 如何知道我当前MaxCompute studio版本?

在Intellij IDEA -> Preference 或 File -> Settings 里可以看到插件版本
image.png

4. 查询结果追加模式吗?我想对比几次查询的结果。

intellij平台支持将tab钉住,这样该次查询结果就不会被新的运行冲掉,类似下图:
image.png

5. 如何删除一个run configuration?

Edit configurations --> 在Run/Debug configurations对话框左侧列表单击选中某个configuration --> 点击工具栏上的“-”按钮。

6. studio及一些相关群

MaxCompute studio用户群:21791804
MaxCompute开发者社区群:11782920
Dataworks数加交流群:11718465
PyOdps用户群:11701793

project explorer相关

1.新建连接时AccessId/AccessKey, endpoint如何获得?

这是你与MaxCompute建立连接的鉴权信息,可点击个人信息里的accesskeys获取AK,如下图:
image

如果要修改某个MaxCompute project连接的AK,在studio project explorer窗口选中该project,右键选择Modify project properties菜单,在dialog中修改即可。

2. 我需要的表在project explorer中不存在

有两种方式可以将该表同步下来:
1)Tables & Views 右键菜单项 Open specific entity,输入你要同步的表名
2)studio默认最多抓取1k张表,可能你本地的表已经达到上限。若要修改,可在project上右键,选择show|modify project properties,然后点击setting tab,酌情修改同步列表数量。然后在Tables & Views 右键菜单项 Refresh meta ,这样会重新抓取所有的table到本地。

3. project explorer窗口找不到,无法添加MaxCompute project

新版本的IntelliJ工具窗口默认收起,可参考如下使其显示:
image

4. 有些临时表或系统生成的临时资源不想同步到本机

可以在下图处配置你不想同步资源的正则表达式,让后refresh即可。
image

5. No module named odps.udf

本机需要安装pyodps。Mac默认请在/usr/bin/python下安装pyodps: sudo /usr/bin/python -m pip install pyodps,或者在Preferences->MaxCompute Studio->General Settings->Python Path to resolve udf处配置python路径。

UDF相关

1. 在MaxCompute studio上发布的UDF,在dataworks上看不到?

studio和dataworks可以理解为都是MaxCompute服务的客户端,studio发布的UDF会注册到MaxCompute服务端。dataworks的函数管理模块目前只能看到通过dataworks页面注册的函数,暂时看不到直接通过studio或console注册的函数。不过因已注册到MaxCompute服务端,在dataworks里写sql也是可以直接使用该函数的。

2. 本地运行UDF/MR/Graph 时报错

Unrecogonized option -w
module依赖的sdk版本太低,pom中手动更新至0.28.4及以上即可。
Class not found exception: com.aliyun.odps.xx.local...
本地运行依赖odps-sdk的local包(odps-udf-local,odps-mapred-local,odps-graph-local),检查下pom.xml中是否存在这些包(创建studio java module时,这些local包会自动添加到pom.xml中 http://help.aliyun.com/document_detail/50901.html )。

3. UDF/MR本地运行时, 表schema和数据存在哪里?

本地运行时,程序后台会读取你在run configuration配置的表,自动通过tunnel下载表数据到本机warehouse(如截图位置,路径在你IntelliJ project目录下)。若data文件不存在,请检查idea.log是否有报错。注意:数据只会下载一次,后续多次运行时会重复读取这个data文件。若需要更新本地运行时表的schema或数据,可删除warehouse下对应表目录(譬如这里的hy_test),这样就会重新下载一次。
image

4. 本地运行python UDF报错

  • ValueError: level must be >= 0 studio使用pyodps 提供的pyou脚本来驱动UDF本机运行,pyou目前只支持python 2,不支持python 3。
  • 不支持get_cache_table。

5. 右键没有MaxCompute java菜单

确保maven module已成功创建,src->main->java 源码目录是蓝色的。

6. 新建MaxCompute java run configuration没有表配置项

因UDF和MR共用MaxCompute java run configuration,其中UDF需配置表,而MR无需配置,需要告诉studio你待调试的类是UDF。具体的,删除该run configuration,然后在UDF类上右键->运行,触发创建新run configuration,studio识别类是UDF时就会出现表的配置项,参考UDF开发文档

7. UDF/MR本地运行run configuration中无法选择local project?

检查本机warehouse及example_project是否存在
image.png

8. MR/Graph本地运行时,支持resource arguments吗?

支持的,run configuration里VM options使用-Dodps.cache.resources=xx即可:
image

其他

1. Windows上job graph展示不出来?

可能是IntelliJ使用的jdk版本过低导致的兼容性问题,请升级jdk到oracle jdk1.8_121及以上。

2. 某些Linux版本上无法登录,或者Job graph无法显示,提示No class find error等异常

原因是studio使用了javafx,某些linux平台如 Debian 上的jdk是不包含javafx的,解决方法是手动安装openjfx,例如:sudo apt-get install openjfx

3. 打开Job detail时报错OutOfMemoryError: Java heap space。

原因是job detail结果太大了,内存溢出,需要手动调整intelliJ启动的jvm参数(具体位置:help --> Edit Custom VM options...)

4. 运行pyodps脚本报错:This room(default) is not configured.

需要配置pyodps room环境,具体参考https://pyodps.readthedocs.io/zh_CN/latest/interactive-zh.html

5. 使用console报错NoClassDefFoundError: javax/xml/bind/JAXBExeption

console不支持java9,请使用java8。

6. 每次运行sql的时候,都会打开作业详情标签页,这个行为是否可以关闭?

支持的,如下复选框不打勾即可:
image.png

7. Show Table Detail 中文乱码问题

原因是IntelliJ Appearance中使用的字符集不支持中文。需要在Appearance & Behavior -> Appearance 下使用支持中文的字符集(Microsoft YaHei)或改为Default,如下所示:
2

8. sql包含中文,提交后logview中文乱码

确认下你的intellij文件编码是不是UTF-8
screenshot

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
4月前
|
SQL 分布式计算 大数据
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
请问本地安装了大数据计算MaxCompute studio,如何验证联通性及基本DDL操作呢?
27 0
|
SQL 分布式计算 数据可视化
Maxcompute Studio 安装配置说明|学习笔记
快速学习 Maxcompute Studio 安装配置说明
171 0
|
SQL 分布式计算 数据可视化
MaxCompute Studio 安装配置说明 | 学习笔记
快速学习 MaxCompute Studio 安装配置说明
244 0
|
SQL 存储 分布式计算
MaxCompute studio 第一弹 - 元数据浏览
随着 MaxCompute 2.0 的发布,我们提供了MaxCompute Studio,一套基于IntelliJ IDEA的开发插件,让用户在集成开发环境(IDE)中更方便地进行SQL及用户代码开发。
1702 0
|
分布式计算 资源调度 MaxCompute
MaxCompute Studio使用心得系列7——作业对比
在数据开发过程中,我们通常需要将两个作业进行对比从而定位作业运行性能或者结果有差异的问题,但是对比作业时需要同时打开两个studio 的tab页,或者两个Logview页,不停切换进行对比,使用起来非常的不方便。
3979 0
|
SQL Web App开发 分布式计算
MaxCompute studio与权限那些事儿
背景知识 MaxCompute拥有一套强大的安全体系,来保护项目空间里的数据安全。用户在使用MaxCompute时,应理解权限的一些基本概念: 权限可分解为三要素,即主体(用户账号或角色),客体(表/资源/函数等),以及操作(与特定客体类型相关),详细参考 https://help.aliyun.com/document_detail/27935.html。
2127 0
|
SQL 分布式计算 大数据
最好用的工兵铲—MaxCompute Studio,来了解下!
摘要: 在大数据计算北京高端峰会上,阿里云计算平台高级专家薛明深入介绍了阿里巴巴大数据计算平台开发利器—MaxCompute Studio。一站式的 IDE,可以快速完成数据浏览和管理、进行基于 SQL 和 UDF 的数据开发,更具备完善的作业分析和优化辅助等功能。
4848 0
|
SQL Web App开发 分布式计算
代码快速“检”“修”不是梦,阿里云MaxCompute Studio 2.9.0 新版本发布
阿里云MaxCompute Studio 2.9.0 新版本发布,此次发布的新版本,在原有功能的基础上增加了新功能,分别是支持代码检查和快速修复;支持graph开发及调试。
16381 0
|
分布式计算 测试技术 MaxCompute
|
SQL 分布式计算 机器人
MaxCompute Studio 使用入门
MaxCompute Studio 是MaxCompute 平台提供的安装在开发者客户端的大数据集成开发环境工具,是一套基于流行的集成开发平台 IntelliJ IDEA 的开发插件,可以帮助您方便地进行数据开发。下面我们一起来看一看Studio的简单用法。
3231 0

相关产品

  • 云原生大数据计算服务 MaxCompute