1. 云栖社区>
  2. 技术文集>
  3. 列表>
  4. 正文

hadoop fs -getmerge命令的使用

作者:用户 来源:互联网 时间:2018-05-28 11:17:47

hadoop技术类文章

hadoop fs -getmerge命令的使用 - 摘要: 本文讲的是hadoop fs -getmerge命令的使用, 假设在你的hdfs集群上有一个/user/hadoop/output目录 里面有作业执行的结果(多个文件组成)part-000000,part-000001,part-000002 然后

假设在你的hdfs集群上有一个/user/hadoop/output目录

里面有作业执行的结果(多个文件组成)part-000000,part-000001,part-000002

然后你想把所有的文件合拢来一起看 可以使用命令:hadoop fs -getmerge /user/hadoop/output local_file

然后就可以在本地使用vi local_file查看内容了



hadoop fs -getmerge :用户合并一个文件夹下面的所有文件至一个文件中。好像是合并到了本地的一个文件中,因为可以使用vi查看啊。

以上是云栖社区小编为您精心准备的的内容,在云栖社区的博客、问答、公众号、人物、课程等栏目也有 的相关内容,欢迎继续使用右上角搜索按钮进行搜索hadoop 技术类文章 ,以便于您获取更多的相关知识。

hadoop 集群-Hbase安装出现错误Hmaster节点无法启动

...ava.lang.RuntimeException: Failed construction of Master: class org.apache.hadoop.hbase.master.HMaster at org.apache.hadoop.hbase.master.HMaster.constructMaster(HMaster.java:3048) at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:193) at org.apache.had...

java连接hdfs ha和调用mapreduce jar示例_java

...nfiguration conf = new Configuration();  conf.set("fs.defaultFS", "hdfs://hadoop2cluster");  conf.set("dfs.nameservices", "hadoop2cluster");  conf.set("dfs.ha.namenodes.hadoop2cluster", "nn1,nn2");  conf.set("dfs.namenode.rpc-address.hadoop2cluster.nn1", "10.0.1.165:8020");  conf.set("dfs.namen...

安装LNMP+hadoop+hive+thrift

#卸载完httpdyum -y remove httpd#增加Yum 163.com 源wget http://mirrors.163.com/.help/CentOS-Base-163.repo -O /etc/yum.repos.d/CentOS-Base-163.repoyum makecache#安装依赖库yum -y install vim*  rsync telnet vixie-cron screen sysstat lrzsz mlocate e2fsprogs e2fsprogs-devel krb5 krb5-devel lib...

ZK Hadoop Hive 集群搭建

...置环境变量export JAVA_HOME=/opt/jdkexport HIVE_HOME=/opt/hiveexport HADOOP_HOME=/opt/hadoopexport ZOOKEEPER_HOME=/opt/zookeeper export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin:$PATH zoo.cfgticktickTime=2000initLimit=10syncLimit...

Hire Top Freelancers for Hadoop / Node JS / AngularJS Development at $10/hr

...software solutions. Recent projects include work with Java EE (JBoss AS7), Hadoop with a Twitter Bootstrap/Dojo front end. I have also worked with Hadoop's streaming API to run C++ processes over HDFS. How our Hadoop Techniques can help you: Keep your data secure and away from vulnerabilities a...

前三篇
后三篇