MaxCompute问答整理之9月

简介: 本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。

问题一、如何查看information_schema的tables?
在使用ODPS建表时,有可能会建出几千张表,那我们寻找需要的表时就需要知道表名称,可以在数据地图中查看表,也可以使用Pyodps批量获取表名称。
具体可参考文档:https://help.aliyun.com/document_detail/90412.html

问题二、不小心drop删除表可以恢复吗?
不可以。在客户端和IDE中drop表是一个不可逆操作。表操作要谨慎。

问题三、在哪里可以看到所有执行的SQL?
通过Information_Schema元数据的TASKS_HISTORY明细来查,元数据服务Information_Schema已经全面开放,大家可以使用此服务查询项目内关键对象的元数据信息,在元数据之外,也提供了包括作业运行、数据上下传使用历史的行为数据。
具体可参考官方文档操作:https://help.aliyun.com/document_detail/135432.html

问题四、创建project报错OPDS操作错误OPDS-0410051,怎么解决?
下为报错截图

image

此错误报错信息可以理解为AK信息错误。解决方法是重新生成AK信息,重新绑定AK信息。

问题五、MaxCompute SQL注释如何多行注释?
多行注释为Ctrl + /
官方文档中有详细代码快捷键和DataStudio快捷键整理。请参考官方文档:
代码编辑器常用快捷键:https://help.aliyun.com/document_detail/68602.html
DataStudio快捷键:https://help.aliyun.com/document_detail/89931.html

问题六、MaxCompute数据导出,提供了哪几种方法?
可以选择通过DataHub实时数据通道和Tunnel批量数据通道两种途径进出MaxCompute系统。
具体可参考:https://help.aliyun.com/document_detail/51656.html

问题七、MaxCompute中如何把表的A列中,包含“123456”or “678910”or“45678”全部查询出来?

image

问题八、查询数据时报了这个错误:Semanticanalysisexception-INTtypeisnotenabled incurrentmode,int类型为什么不能用呢?
使用int类型需要打开setodps.sql.type.system.odps2=true。默认支持的是bigint,如果没有特别的需求的话,只用bigint就可以了。

问题九、如何查看MaxCompute每个分区存储的数据大小?

image

比如desct1partition(ds="20190820");

问题十、2019杭州.云栖大会精彩回顾
https://yunqi.youku.com/
可以回顾0926PM“大数据&AI峰会”专场,了解大数据和人工智能最新技术核心内容。

欢迎加入“MaxCompute开发者社区2群”,点击链接申请加入或扫描二维码
https://h5.dingtalk.com/invite-page/index.html?bizSource=____source____&corpId=dingb682fb31ec15e09f35c2f4657eb6378f&inviterUid=E3F28CD2308408A8&encodeDeptId=0054DC2B53AFE745

image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL 存储 分布式计算
SaaS模式云数据仓库 MaxCompute 问答整理之2020-07~08月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
2368 0
|
SQL 存储 分布式计算
MaxCompute问答整理之2020-04~05月
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
741 0
MaxCompute问答整理之2020-04~05月
|
分布式计算 大数据 数据挖掘
大数据计算服务MaxCompute每日问答汇总(持续更新中)
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
大数据计算服务MaxCompute每日问答汇总(持续更新中)
|
DataWorks 大数据
云上一指禅:大数据产品DataWorks每日问答
每天,阿里巴巴集团数万名数据/算法开发工程师正在使用DataWorks,承载阿里巴巴集团99%数据业务构建。
1465 0
|
分布式计算 MaxCompute DataWorks
MaxCompute问答整理之7月
本文是基于本人对MaxCompute产品的学习进度,再结合开发者社区里面的一些问题,进而整理成文。希望对大家有所帮助。 问题一、DataWorks V2.0简单模式和标准模式的区别? 公司数仓的数据上云后,在使用MaxCompute计算引擎时,需要一个稳定、可靠的调度系统,将自身数据生产任务(代码)按照所需依赖关系、运行时间来调度运行,那么DataWorks就派上了用场。
3445 0
|
存储 分布式计算 监控
大数据基础知识问答----spark篇,大数据生态圈
Spark相关知识点 1.Spark基础知识 1.Spark是什么? UCBerkeley AMPlab所开源的类HadoopMapReduce的通用的并行计算框架 dfsSpark基于mapreduce算法实现的分布式计算,拥有HadoopMapReduce所具有的优点;但不同于MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
1629 0
|
大数据 数据挖掘 数据库
大咖直播第三期问答整理:邵汉成讲解驴妈妈基于混合云的OTA行业数据分析、精准运营和大数据用户推荐
3月11日云栖社区在线实时分享顺利结束,本次由驴妈妈技术副总邵汉成讲解驴妈妈基于混合云的OTA行业数据分析、精准运营和大数据用户推荐,本次直播中现场观解众提出了很多技术问题,我们把这些问题和答案整理好分享给大家。
2913 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0

相关产品

  • 云原生大数据计算服务 MaxCompute