数据ACP总结(二)

简介:

接上 大数据ACP总结(一)

刚刚顺利苟过了阿里ACP, 主要复习策略是多次熟悉阿里云提供大数据官方教程,官方文档,并对核心环境做总结。

社区关于复习提纲的内容以及比较详细了,这里梳理下存在关键细节的考点,也给大家一些参考。

Tunnel :

核心命令

  Usage: tunnel <subcommand> [options] [args]
    Type 'tunnel help <subcommand>' for help on a specific subcommand.
Available subcommands:
    upload (u)
    download (d)
    resume (r)
    show (s)
    purge (p)
    help (h)

Q:是否支持 ascii 字符的分隔符?

A:命令行方式不支持,配置文件可以用十六进制表示。如 u000A,表示回车。

Q:文件大小是否有限制?

A:文件大小没有限制,但一次 upload 无法超过 24 小时,可以根据实际上传速度和时间来估算能够上传的数据量。

Q:记录大小是否有限制?

A:记录大小不能超过 200M。

Q:是否要使用压缩?

A:默认会使用压缩,如果带宽允许的情况下,可以关掉压缩。

Q:同一个表或 partition 是否可以并行上传?

A:可以。

Q:是否支持不同字符编码?

A:支持不同的编码格式参数,带 bom 标识文件不需要指定编码。

Q:导入后的脏数据怎么处理?

A:导入结束后,如果有脏数据可以通过 tunnel show bad [sessionid] 查看脏数据。

Q:上传下载的文件路径是否可以有空格?

A:可以有空格,参数需要用双引号括起来。

Q:为什么会出现乱码?

A:可能是上传文件的字符编码和工具指定的编码不符。

Q:导入数据最后一列为什么多出r符号?

A:windows 的换行符是rn,macosx 和 linux 的换行符是n,tunnel 命令使用系统换行符作为默认列分隔符,所以从 macosx 或 linux 上传 windows 编辑保存的文件会把r作为数据内容导进去。

Q:Tunnel 下载/上传速度正常速度范围是多少?

A:Tunnel 下载上传,受网络因素影响较大,正常网络情况下速度范围在 1MB/s-20MB/s 区间内。

Q:Tunnel 域名是什么?

A:不同 region 对应不同的域名,详情请参见 访问域名和数据中心。

Q:无法上传/下载怎么办?

A:找到配置中配置的 tunnel 域名,通过 curl -i 域名例如 curl -i http://dt.odps.aliyun.com 测试网络是否连通,若无法连通请检查机器网络或更换为正确的域名。

Q:上传/下载速度缓慢怎么办?

A:您可以从以下几方面进行检查:

检查机器网络状态,ping tunnel_endpoint 域名延迟是否异常。

Q:Tunnel 需注意的分隔符问题有哪些?

A:Tunnel 需要注意的分隔符问题,如下所示:

列分隔符 fd 不能包含行分隔符 rd。

行分隔符 rd。

默认值: rn (windows) 和 n(linux)。

上传开始的时候会打印提示信息,告知本次上传所使用的行分隔符(0.21.0 版本及以后)供用户查看和确认。

列分隔符 fd。

默认值:, (逗号)。

Mapreduce:

image

  • mapreduce 采用了大量便宜低成本的机器支持横向扩展,并非失效是常态
  • bdp.system.bizdate 为格式为当前前一天 格式YYYYMMDD
  • bdp.system.cycdate 为调度实例定时运行时间
  • 一个 map 的输出结果可能会被分配到多个 reduce 上去
  • 一个 reduce 的输入数据可能来自于多个 map 的输出
  • 一个 MR 处理可以不包括任何 map
相关实践学习
基于函数计算快速搭建Hexo博客系统
本场景介绍如何使用阿里云函数计算服务命令行工具快速搭建一个Hexo博客。
目录
相关文章
|
机器学习/深度学习 存储 运维
阿里云ACA考完多久后考ACP?能不能一次通过?
阿里云认证系统推出后,越来越多的人选择考取这个证书,以求获得最好的发展,但是另一方面,还有很多人对这个证书有很多不了解的地方,或者是误区,下面跟随小编一起看看吧。
276 0
阿里云ACA考完多久后考ACP?能不能一次通过?
|
数据采集 机器学习/深度学习 存储
阿里云ACP是什么?考试内容是什么?
近几年云行业发展日益壮大,越来越多的人选择进入这一行,而阿里云ACP就是一块敲门砖,不仅能带你进入这个行业,更能为你带来良好的待遇、优秀的岗位。
1220 0
阿里云ACP是什么?考试内容是什么?
|
机器学习/深度学习 存储 数据采集
阿里云 ACP是什么?阿里云 ACP有什么用?
直到现在,还有很多从事互联网的工作人员都并不是清楚阿里云 ACP是什么,它是阿里云企业推出的针对于数据分析工程师的资格认证,有极高的含金量。因为阿里云在国内市场处于领先地位,他们推出的资格认证自然而然受到很多人的欢迎,很多互联网行业从业人员都以获得阿里ACP认证为荣。那么,阿里云 ACP是什么?阿里云 ACP有什么用?在认证大使官网上查阅了相关资料,我得到了答案。
639 0
阿里云 ACP是什么?阿里云 ACP有什么用?
|
弹性计算 运维 负载均衡
阿里云acp考试题库介绍 阿里云ACP认证有没有用?
互联网时代如果你还不懂电脑知识,那你恐怕就落伍了,现在很多互联网公司都会招聘网站运维人员,如果你懂相关技术那么将来就业就会方便很多。想要应聘互联网运维岗位是需要有相关证书的,其中阿里云acp认证就是很多人都会去考的一种认证,因为阿里云市场占有率比较高,这也导致国内普遍比较认可阿里云acp认证。如果你打算报考阿里云acp认证,下面认证大使就来给大家介绍一下阿里云acp考试题库。
947 0
阿里云acp考试题库介绍 阿里云ACP认证有没有用?
|
云安全 存储 弹性计算
阿里ACP认证到底有没有用
随着技术的不断发展,社会对个人的技能要求越来越高,因而,很多人为了能提升个人技能,在工作之余计划着考取更多证书希望在工作中能获得更多的晋升机会,能够升职加薪,但是打工人日常工作就非常地繁忙,能花在阿里云ACP考试复习的时间非常少,因而很多人希望能在短时间内能有针对性地刷题,在哪里可以找到阿里云ACP云安全认证题库呢?请选择认证大使吧,有试题还有一对一解疑。
489 0
阿里ACP认证到底有没有用
|
运维 架构师 云计算
阿里云acp认证注意什么?什么人适合考阿里云acp?
生活中的很多朋友都开始考虑考一些证书,因为很多企业都需要含金量高而且有能力的人才。那么什么人适合考阿里云acp?认证大使小编带你一起接着了解清楚。
182 0
阿里云acp认证注意什么?什么人适合考阿里云acp?
|
云安全 存储 弹性计算
阿里acp认证是什么?阿里acp考试内容是什么?
随着阿里巴巴的壮大,使用阿里云服务的企业越来越多,而考取阿里acp认证会为您的职业生涯锦上添花,那么阿里acp认证是什么?阿里acp考试内容是什么?关于阿里云ACP认证考试的经验分享,今天认证大使带大家一起来了解下。
360 0
阿里acp认证是什么?阿里acp考试内容是什么?
|
弹性计算 分布式计算 负载均衡
为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
作为全球知名集团,阿里巴巴有着很高的影响力,旗下的阿里云公司推出的阿里云acp认证也让人趋之若鹜,那么今天就来为大家介绍一下:为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
169 0
为什么要获得阿里云acp认证?阿里云acp考试题库有哪些内容?
|
Web App开发 云安全 弹性计算
阿里云acp考试有什么用?阿里云ACP认证考试注意事项有哪些?
阿里云acp考试有什么用?这段时间很多朋友们都在研究这个阿里云acp考试,看见那么多人都在报考阿里云acp考试,那么阿里云acp认证考试形式和试卷结构是什么?下面就让认证大使来给大家详解一下相关的疑问。
279 0
阿里云acp考试有什么用?阿里云ACP认证考试注意事项有哪些?
|
存储 人工智能 安全
阿里云acp报名方法 阿里云acp考试相关答疑
云服务是近几年互联网产业发展的重点项目,国内以阿里、腾讯为代表的巨头都投入了大量的人力物力和财力,其中阿里云表现地更为出色,占据了国内最大的云服务市场,也带动了其上下游产业发展,国内对于具有相应能力的专业人员需求量极大。阿里云认证凭借其市场地位,得到了更多专业人员的青睐,凡是通过其认证就业就不再是难事,今天为大家介绍阿里云acp报名方法等相关内容。
260 0
阿里云acp报名方法 阿里云acp考试相关答疑