Hadoop概念学习系列之为什么hadoop/spark执行作业时,输出路径必须要不存在?(三十九)

  1. 云栖社区>
  2. 博客>
  3. 正文

Hadoop概念学习系列之为什么hadoop/spark执行作业时,输出路径必须要不存在?(三十九)

技术小哥哥 2017-11-13 13:38:00 浏览574
展开阅读全文

 很多人只会,但没深入体会和想为什么要这样?

  拿Hadoop来说,当然,spark也一样的道理。

  输出路径由Hadoop自己创建,实际的结果文件遵守part-nnnn的约定。

  如何指定一个已有目录作为Hadoop作业的输出路径,作业将无法进行,并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将输出存储到一个目录,它必须是不存的目录。其实,我们可以把这个特点当做Hadoop的一种安全机制,它可以防止Hadoop重写有用的文件以及用户总是忘记弄清的事。

 

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6092396.html,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术小哥哥
+ 关注