MaxCompute百问集锦(持续更新)

简介: 大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。

750_250

大数据计算服务(MaxCompute,原名 ODPS,https://www.aliyun.com/product/odps)是一种快速、完全托管的 GB/TB/PB 级数据仓库解决方案。MaxCompute 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全。同时,大数据开发套件和MaxCompute关系紧密,大数据开发套件为 MaxCompute 提供了一站式的数据同步,任务开发,数据工作流开发,数据管理和数据运维等功能,可以参见大数据开发套件简介来对其进行深入了解。本文为大家整理了关于MaxCompute的系列问题供大家查阅参考。

产品咨询

MaxCompute是什么,怎么用?
https://yq.aliyun.com/ask/52394

MaxCompute(原odps)是否支持快照,changelog的设置方式是什么,如果有文档请发一下。
https://yq.aliyun.com/ask/53651

为什么开发MaxCompute?和类似的开源项目有啥异同?
https://yq.aliyun.com/ask/41916

maxcompute听起来很强大,会不会有lock-in问题?
https://yq.aliyun.com/ask/39752

StreamComputeMaxCompute中的datahub区别?
https://yq.aliyun.com/ask/54575

常用场景有哪些?如何才能接入maxcompute的能力?
https://yq.aliyun.com/ask/39753


开通/注销问题

如何注销MaxCompute(ODPS)服务?
https://yq.aliyun.com/ask/16464


收费问题

我最近都没有进行maxcompute的计算为啥最近的4个月都有扣费操作的?
https://yq.aliyun.com/ask/54068

现在的数加平台,大数据MaxCompute(原ODPS)怎么不能查看每条sql执行的费用,我需要提前知道每个sql的费用?
https://yq.aliyun.com/ask/53661

MaxCompute即将到期的短信,续费入口在哪里?
https://yq.aliyun.com/ask/54330

大数据计算服务MaxCompute(原ODPS)的扣费是因为项目未删除吗? 想将账号内大数据的几个项目全部删除,删除失败,能否帮忙删一下。
https://yq.aliyun.com/ask/54294

新创建的项目:rec_data 付款后一直没有生成,什么问题。
https://yq.aliyun.com/ask/54183

开通MaxCompute 包月付费后,执行SQL是否还会产生费用 
https://yq.aliyun.com/ask/15165


MaxCompute2.0使用问题

如何开通MaxCompute 2.0
https://yq.aliyun.com/ask/40953

MaxCompute2.0 OutputerExtractor有什么关系,是干什么的,谁能说清楚?
https://yq.aliyun.com/ask/53655

请问一下,maxcompute2.0里面使用表格存储作为外部表,对这个外表做联合查询的时候是不是会必然扫OTS的全部记录
https://yq.aliyun.com/ask/53291


数据同步问题

请问华南的ecs和华东的MaxCompute内网互通吗?

https://yq.aliyun.com/ask/54282

你好,目前我们往maxcompute上传的数据都是结构的表数据,是我们在本地服务器对用户的行为日志分析后提取到的所需信息,在将这些结构化的数据上传到maxcompute
https://yq.aliyun.com/ask/53308

MaxCompute筛检重复数据,将新数据存储到mysql数据库中
https://yq.aliyun.com/ask/53344

我们的MYSQL数据库在ECS服务器上,不是RDSECS上使用了安全组,只允许内网访问以及特定的IP的访问。 现在要通过MaxCompute中建立数据源,连接上MYSQL,但是 通过不了连接测试。 请问该在mysqlECS安全组上进行怎样的设置? 比如设置那些内网IP 
https://yq.aliyun.com/ask/54339

数据服务器rds在华北2地区,但是maxcompute 现在在华东2区,不能实现我们的需求功能,但是需要海量数据的快速读取,有没有其他方案能够解决?谢谢!
https://yq.aliyun.com/ask/53606

今天凌晨开始,从华北2的只读RDSMaxCompute的只读业务一直同步无法完成,进度到90%几之后就没有速度,所有调度都是这样,偶尔有能成功的,不知道是什么问题,麻烦看一下。附件为同步日志。
https://yq.aliyun.com/ask/54326

MaxCompute (原ODPStunnel上传数据报格式化错误。
https://yq.aliyun.com/ask/53662

如果申请MaxCompute ADS,发现这两个产品不在一个Region里,一个在华东2,一个在华东如果数据传输maxcomputer->ads是否要开通高速通道? 怎么做?
https://yq.aliyun.com/ask/53664

你好,我们本地服务器每天采集的网站日志有10+G,然后上传至maxcompute,上传速度特别慢,请问有没有好的解决方法?谢谢!是tunnel upload200k/s左右
https://yq.aliyun.com/ask/53310

如何在shell脚本中 将一个txt文件中的数据上传到 MaxCompute的某张表中, 把这两条命令组合成一条的办法吧 /odpscmd/bin/odpscmd tunnel upload "$FILE" project.table
https://yq.aliyun.com/ask/53289

数据怎么导入maxCompute
https://yq.aliyun.com/ask/39743

maxcompute 数据导出到本地Mysql
https://yq.aliyun.com/ask/38060

ODPS抛出异常,线上数据没有更新,异常信息如下:
https://yq.aliyun.com/ask/54382

在本地利用ODPS客户端,无法查询MAXCOMPUTE上的任何一张表,提示如下: Warning: ODPS request failed:Connection reset, retryCount:2, will retry in 130 seconds.
https://yq.aliyun.com/ask/53297


数据管理问题

MaxCompute这里的生命周期是什么用,就是数据只能最多保存365天,然后就会清空? 如果是,这个时间能无限吗?
https://yq.aliyun.com/ask/54186

MaxCompute (原odps)项目默认的分区最大值设置为60000,请问怎么更改这个默认值呢?
https://yq.aliyun.com/ask/53663


数据下载问题

MaxCompute(原 ODPS)里运行sql命令,怎么能下载超过一万行的数据?
https://yq.aliyun.com/ask/53637


数据开发-SQL问题

maxCompute 批量Insert问题
https://yq.aliyun.com/ask/53916

请问MaxCompute表的decimal怎么设置成保留2位小数,类似于decimal(16,2)方式。 比如0.04入库后成了0.040000000000000001
https://yq.aliyun.com/ask/53641

odps支持 正则匹配中文吗?
https://yq.aliyun.com/ask/54194

关于 odps.stage.* odps.sql.* 的设置,最好是全面的一些的,我们学习下,感谢!
https://yq.aliyun.com/ask/53315

MaxCompute SQL中的Select语句最多只能返回10000条结果么?
https://yq.aliyun.com/ask/16456

odps sql 子查询再联表查询时,报错!
https://yq.aliyun.com/ask/42700

在编写odps sql 如何获取当前时间
https://yq.aliyun.com/ask/40893

ODPS如何可以分析内容为JSON格式的字段?
https://yq.aliyun.com/ask/39157


MapReduce问题

你好,目前业务上有一些字典文件需要在mapper或者reducer阶段查询,但是文件大小比较大,大概几百兆甚至几个G的样子,MaxCompute有分布式缓存的方案吗?? 查询的response time一般需要多少时间? 如果大于2G的话,可以用阿里云的redis之类的吗? 网络通吗?
https://yq.aliyun.com/ask/53285


UDF问题

maxCompute的大数据开发套件的服务中,UDF 能不能支持python写的脚本?
https://yq.aliyun.com/ask/53652

ip地址在maxcompute中可以解析成实际定位的使用地址吗(城市、省份)? 或者在阿里云别的服务中有这项功能吗? 例如获取的ip地址为125.79.232.213,可以输出定位的地址为福建南平。
https://yq.aliyun.com/ask/54292

odps里面,我写了一个udfjava代码中的udf已经按照阿里云例子写的(继承了UDF),但是在odps sql里面调用的时候报错
https://yq.aliyun.com/ask/54387

MaxCompute 做数据分析,自己编算法在哪里实现
https://yq.aliyun.com/ask/37639

odpsudf说明中,只支持udfudtf两种形式,不知道可否支持udaf
https://yq.aliyun.com/ask/51883


SDK问题

我看MaxCompute 的产品介绍上面提到了有restful 的接口, 以及jdbc连接方式,但是没有看到相关的文档,请问是否可以帮忙提供一下文档?
https://yq.aliyun.com/ask/53640

请问MaxCompute Java SDK中没有对数据批量上传的接口吗?
https://yq.aliyun.com/ask/53142

MaxCompute SDKinsert偶尔报错,请问什么原因 com.aliyun.odps.OdpsException: ODPS-0110999: Critical! Internal error happened in commit operation and rollback failed, possible breach of atomicity - Rename directory failed during DDLTask
https://yq.aliyun.com/ask/53647

使用MaxCOmpute python SDK读取ODPS上一张表,做一些处理后,写入另外一张表,读取和写入都是多线程的。遇到问题1. 多线程处理时,每个线程每次循环(每次循环处理100条数据)均新建了一个odps连接,有没有可能是odps连接太多了?文档中没有发现如何关闭这个odps连接? 2. ODPS客户端,操作一些sql命令时,也是有超时的,客户端也有超时的话,是不是可以先排除程序的问题?如下: Aliyun ODPS Command Line Tool Version 0.21.1 @Copy
https://yq.aliyun.com/ask/53658

大数据计算服务 > SDK > Java SDK咨询
https://yq.aliyun.com/ask/49818


权限问题

请问如何管理之前在MaxCompute中添加的云账号权限?
https://yq.aliyun.com/ask/53143


运维部署问题

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53032

本身MaxCompute是为了几千/几万台机器规模开发的大规模分布式系统,最小化部署大概什么规模呢?
https://yq.aliyun.com/ask/39755

MaxCompute有成型的灾备解决方案么?
https://yq.aliyun.com/ask/53138

请问max compute,我们要在云监控里面设置监控项吗,还是这个不用什么监控问题,谢谢!
https://yq.aliyun.com/ask/54217


开发工具-Stuido问题

MaxCompute Studio插件无法提交sql脚本
https://yq.aliyun.com/ask/52001


我用了Itellij  maxCompute studio插件,现在我写了一个MR 程序,想在本地测一下,类似于eclipse ODPS插件那样,从云上的表里下载一些资源到本地的warehouse 做测试,但是我点开 studio的文档,mapreduce 的文档页面已经没有内容了,请问这种本地测试只能在 maxcompute java module中进行是吗,我建立的普通的module 或者 maven 里的module 里的MR程序是无法本地测试的是吗???
https://yq.aliyun.com/ask/54187


有奖活动:

万元大奖邀您参与阿里云数加 MaxCompute最佳实践征文大赛

bba01b493e1c5d904e882b1c380673c6ebe49a98




 

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
分布式计算 大数据 MaxCompute
阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套攻略(持续更新20200109)
10年老兵带你看尽MaxCompute大数据运算挑战与实践
130446 16
阿里巴巴飞天大数据平台MaxCompute(原名ODPS)全套攻略(持续更新20200109)
|
分布式计算 大数据 数据挖掘
大数据计算服务MaxCompute每日问答汇总(持续更新中)
飞天大数据平台计算引擎MaxCompute成为全球首个TPCx-BB认证的公共云产品,是除Hive、Spark以外TPCx-BB第三个标准支持的大数据引擎。
大数据计算服务MaxCompute每日问答汇总(持续更新中)
|
Web App开发 分布式计算 大数据
【2019年大数据福利推荐】MaxCompute教程、案例视频合集汇总(持续更新20190121)
本文收录了大量的MaxCompute教程、案例视频,帮助您快速了解MaxCompute/ODPS。
6501 0
|
Web App开发 分布式计算 大数据
数据集成到MaxCompute的N种最佳实践(持续更新)
本文汇总数据集成到MaxCompute的各种最佳实践,希望可以帮助到正在或者即将使用MaxCompute的企业和开发者们。 也欢迎您将有关MaxCompute数据集成的实践分享出来,分享方法可扫码加入钉钉群,联系钉钉群主即可。
2667 0
|
SQL 分布式计算 Hadoop
自建Hadoop迁移阿里云MaxCompute实践-持续更新2018/9/13
Hadoop迁移MaxCompute的文章教程应该不少,比如前不久刚刚发布的《Hadoop数据迁移到MaxCompute最佳实践》https://help.aliyun.com/video_detail/88429.
3758 0
|
分布式计算 监控 DataWorks
MaxCompute/DataWorks账号权限及依赖整理-持续更新
经常有人问在MaxCompute和Dataworks中,主子账号的权限分别对应哪些操作,是否可以用子账号创建Project?是否用子账号购买资源?子账号是否可以做数据同步? 今天抽时间整理了一些用户经常遇到的MaxCompute/DataWorks权限问题,后续还会逐步更新。
3043 0
|
SQL 分布式计算 大数据
阿里云数加大数据计算服务MaxCompute学习路线图 (持续更新中)
最近很多客户私信来咨询如何学习阿里云数加大数据计算服务MaxCompute 技术。为此,我们列了一个路线图供大家学习大数据计算服务MaxCompute。这个列表包含了一些社区的优秀资料和我们的原创文章。我们会随着大数据计算服务MaxCompute技术的发展持续更新本文,也会在云栖社区继续贡献
30172 4
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0

相关产品

  • 云原生大数据计算服务 MaxCompute