MaxCompute Console 实用小命令

简介: MaxCompute Console 可以从 这里 下载。在阿里云官网可以查看 帮助文档。 这里跟大家分享一些 MaxCompute Console 中实用的小命令。

MaxCompute Console 可以从 这里 下载。在阿里云官网可以查看 帮助文档

这里跟大家分享一些 MaxCompute Console 中实用的小命令。嗯,一般人我不告诉他~

1 odpscmd -v 查看 odpscmd 版本

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd -v
******Odps Command Line Tools******
BuildTime: 2016-06-27 18:14:48
Revision: 30d623d
MavenVersion: 0.24.0-snapshot
Branch: develop

2 开启 debug 模式

在 odps_config.ini 中加一行:debug=true,将开启调试模式。之后在 odpscmd 运行过程中会输出 debug 日志、异常 stacktrace 等,方便定位问题。

  /Users/zhenhong/tool/odps_clt  cat conf/odps_config.ini
debug=true
access_id=***
access_key=***
end_point=***
project_name=***

运行 odpscmd,输入错误命令,将会看到错误日志

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>ll tables;
FAILED: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'
[DEBUG]: com.aliyun.openservices.odps.console.ODPSConsoleException: ODPS-0130161:Parse exception - line 1:0 cannot recognize input near 'll' 'tables' '<EOF>'
    at com.aliyun.openservices.odps.console.QueryCommand.run(QueryCommand.java:212)
。。。

3 help <命令关键字> 获取命令使用提示

大多数同学都知道使用 odpscmd -h 或者 help;来获取 odpscmd 的所有命令提示。
除了这个,我们还有专门的 help + 关键字 命令呢。例如,使用help ls; 获取与 ls 相关的命令;使用 help table; 命令来获取所有与 table 相关的命令提示。

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
[DEBUG]:ODPSConsole Start
Aliyun ODPS Command Line Tool
Version 0.24.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
odps@ odps_test_tunnel_project_gcc492>help table;

Usage: show tables [in <projectname>]
       list|ls tables [-p,-project <projectname>]
Usage: export table <tablename>
Usage: alter table <tablename> merge smallfiles
Usage: read  <table_name> [<(col_name>[,..])][PARTITION <(partition_spec)>][line_num]

是不是很方便呢?再也不用去翻文档了!

另外,负责数据上传下载 tunnel 命令,除了有 help tunnel; 来获取提示,还有tunnel help <subcommand> 来获取详细命令提示,下面例子使用 tunnel help download; 得到与下载相关的命令参数。

odps@ odps_test_tunnel_project_gcc492>tunnel help download;
usage: tunnel download [options] <[project.]table[/partition]> <path>
              download data to local file
 -c,-charset <ARG>                 specify file charset, default ignore.
                                   set ignore to download raw data
。。。。(此处省略大量参数提示)
 -tz,-time-zone <ARG>              time zone, default local timezone:
                                   Asia/Shanghai
Example:
    tunnel download test_project.test_table/p1="b1",p2="b2" log.txt

4 wait <instance_id> 获取 instance 详细信息:logview、 summary 等

当一个作业已经运行完成,或者被放到后台执行,我们就不能再看到 instance 相关的执行信息,包括 logview 链接、instance summary、instance 运行的结果等等。这个时候,使用 wait <instance_id>命令可以再次获取到这些信息。

odps@ odps_test>wait 20161008231329221gr58pvyi2;

ID = 20161008231329221gr58pvyi2
Log view:
http://logview.odps.aliyun-inc.com:8080/logview/?h=http://***:***/***&p=odps_test&i=20161008231329221gr58pvyi2&token=********
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:
    odps_test.src: 500 (2608 bytes)
outputs:
[此处省略。。。]
    
"_c0"
500

5 命令自动补全

由于历史原因,odpscmd 的命令没有统一的规范,完整的命令补全不是很好做,但是在 0.23.0 版本之后,我们做了命令关键字和文件路径的自动补全,使用TAB键即可。
下面列出输入不同字符后,敲 TAB 键的结果:

odps@ test_new_console_gcc>tunnel up
update         updateabtest   upload
odps@ test_new_console_gcc>tunnel upload test_dual ./te
test           test_body      test_dual      test_dual1     test_header    test_out       test_value     text
odps@ test_new_console_gcc>add resource /tmp/
com.apple.launchd.1YmqQ8L2kK    com.apple.launchd.26PWVPElv8    entsafemgr.log

6 history 命令查看历史

用来找曾经写过的命令,特别方便哦。

odps@ test_new_console_gcc>history;
1 count src;
2 select t1.prediction_result from pai_pred_output_perd_14561096286930 t1 join pai_pred_output_perd_14561096286930 t2 on t1.label ==t2.label;
3 desc instance 20160811091342933gtvve03;
4 desc instance 20160811091342933gtvve03;
5 wait 20160811091342933gtvve03;
(省略 。。。)

注: 最多缓存 500 条历史命令

7 版本更新自动提示

在最新的开发版本中,我们添加了版本的更新提示功能,先露个脸吧:

  /Users/zhenhong/tool/odps_clt  ./bin/odpscmd
Aliyun ODPS Command Line Tool
Version 0.25.0-snapshot
@Copyright 2015 Alibaba Cloud Computing Co., Ltd. All rights reserved.
New version 0.25.1 available! Try it now! http://repo.aliyun.com/odpscmd/

持续更新中 (欢迎补充,更欢迎吐槽(_))。。。

如果上述命令的您还不能使用,请先升级版本哦,快来 试试 吧!

更多问题欢迎加入MaxCompute钉钉群讨论
aaaaa

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
4月前
|
分布式计算 Java 大数据
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
【大数据技术Hadoop+Spark】HDFS Shell常用命令及HDFS Java API详解及实战(超详细 附源码)
189 0
|
4月前
|
存储 分布式计算 大数据
大数据笔记 | HDFS 常用操作命令
大数据笔记 | HDFS 常用操作命令
114 0
|
6月前
|
分布式计算 大数据 Hadoop
【大数据开发技术】实验02-HDFS常用shell命令
【大数据开发技术】实验02-HDFS常用shell命令
96 0
|
10月前
|
分布式计算 Hadoop 大数据
【大数据学习篇3】HDFS命令操作与MR单词统计
【大数据学习篇3】HDFS命令操作与MR单词统计
117 0
|
10月前
|
大数据 Linux 索引
【大数据学习篇1】linux常用命令
【大数据学习篇1】linux常用命令
79 0
|
10月前
|
存储 数据采集 SQL
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的job作业
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速地移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍Sqoop的基本命令及如何使用Sqoop来创建和运行job作业,希望能够为大家提供一些参考和帮助。
106 0
|
10月前
|
SQL 数据采集 分布式计算
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的导入/导出数据
在大数据领域,数据迁移(同步/传输)也是非常重要的一环。Sqoop作为一个开源的数据迁移工具,可以帮助我们轻松地实现关系型数据库与Hadoop之间的数据迁移。本文将会对Sqoop的基本命令和使用进行详细介绍。
171 1
|
10月前
|
SQL 数据采集 分布式计算
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的help
在大数据领域,数据迁移(同步/传输)也是非常重要的一环。Sqoop作为一个开源的数据迁移工具,可以帮助我们轻松地实现关系型数据库与Hadoop之间的数据迁移。本文将会对Sqoop的基本命令和使用进行详细介绍。
204 0
|
10月前
|
数据采集 SQL 分布式计算
大数据数据采集的数据迁移(同步/传输)的Sqoop之基本命令和使用的查询库/表
在大数据领域中,Sqoop是一款非常流行的数据迁移工具。它可以将关系型数据库中的数据快速地移动到Hadoop生态系统中,方便我们进行更深入的分析和处理。本文将介绍Sqoop的基本命令及如何使用Sqoop来查询库表,希望能够为大家提供一些参考和帮助。
125 0
|
10月前
|
缓存 分布式计算 大数据
大数据 | (三)centos7图形界面无法执行yum命令
大数据 | (三)centos7图形界面无法执行yum命令

相关产品

  • 云原生大数据计算服务 MaxCompute