Idea里面老版本MapReduce设置FileInputFormat参数格式变化

简介: MapReduce新手跑wordcount时可能遇见的小错误吧

我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:

Configuration conf = new Configuration();
Job wordCountJob = Job.getInstance(conf);
//省略。。。。
FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/");
FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));

但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:

   FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0]));
     FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));
相关文章
|
17天前
idea设置不同环境
在IDEA中,可通过设置`spring.profiles.active=beta`或`-Dspring.profiles.active=beta`来激活beta环境。查看编辑示例图。
25 2
|
26天前
|
开发工具 git
记IDEA Git版本回退并push到远程操作
记IDEA Git版本回退并push到远程操作
28 1
记IDEA Git版本回退并push到远程操作
|
2月前
|
Java Maven
idea中项目和module的环境版本设置
idea中项目和module的环境版本设置
20 0
|
14天前
|
Java 数据库连接 Maven
ssm整合idea版本
ssm整合idea版本
|
15天前
|
前端开发 Java 开发工具
idea篇1:idea快捷键设置
idea篇1:idea快捷键设置
|
1月前
|
Java 应用服务中间件 nginx
idea打war包时,JDK版本的问题解决方式
idea打war包时,JDK版本的问题解决方式
15 0
|
1月前
|
开发工具 git
IDEA通过git回滚到某个提交节点或某个版本的操作方法
IDEA通过git回滚到某个提交节点或某个版本的操作方法
17 0
|
1月前
IDEA代码行数统计插件Statistic对应idea版本以及安装后无法使用问题解决
IDEA代码行数统计插件Statistic对应idea版本以及安装后无法使用问题解决
20 0
|
2月前
|
分布式计算 Java Scala
spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦
spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦
97 2
|
2月前
|
XML Java 数据格式
idea自动去除项目无用import以及注释不顶格且注释后空格设置(包括新建项目)
idea自动去除项目无用import以及注释不顶格且注释后空格设置(包括新建项目)
39 0