Hadoop概念学习系列之搭建(windows)Eclipse/MyEclipse远程操作(Linux上)hadoop2.2.0/hadoop2.6.0 出错集(三十五)

简介:

问题1:在DFS Lcation 上不能多文件进行操作:

Hadoop上的每个节点上修改该文件       conf/mapred-site.xml

         增加: 

                   <property>

                   <name>dfs.permissions</name>

                   <value>false</value>

                   </property>

         关闭权限验证

 

 

问题2

log4j:WARN No appenders could be foundfor logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).

log4j:WARN Please initialize the log4jsystem properly.

log4j:WARN Seehttp://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

 

在src文件夹下创建以log4j.properties命名的文件

文件内容如下

log4j.rootLogger=WARN, stdout

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d%p [%c] - %m%n

 

 

问题3

Java.io.IOException: Could not locateexecutable null/bin/winutils.exe in the Hadoop binaries.

    缺少winutils.exe 下载一个添加进去就行

  下载地址  http://download.csdn.net/detail/u010106732/9630094

 

 

问题4

Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

    这是由于hadoop.dll 版本问题,2.2之前的和之后的需要的不一样

    需要选择正确的版本并且在 Hadoop/bin和 C:\windows\system32 上将其替换

 

 

 

 

问题5

Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

    atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)

    at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

目前未找到解决方法,只能修改源代码

 源代码下载  http://pan.baidu.com/s/1jGJzVSy

将源代码放入 工程的src目录下并创建同样的包名,然后修改源代码

 

源代码 未修改前

 

  publicstaticbooleanaccess(String path, AccessRight desiredAccess)

        throws IOException {

       return access0(path,desiredAccess.accessRight());

   }

 

 

源代码 修改后

 

public staticbooleanaccess(String path, AccessRight desiredAccess)

        throws IOException {

        return ture;

//       return access0(path,desiredAccess.accessRight());

   }

 

修改后编译成功,但是看不到软件运行时候的信息反馈。

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/6053970.html,如需转载请自行联系原作者

相关文章
|
29天前
|
分布式计算 Hadoop Java
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
Hadoop【环境搭建 01】【hadoop-3.1.3 单机版】【Linux环境 腾讯云 CentOS Linux release 7.5.1804】【详细】
49 0
|
4月前
|
分布式计算 Hadoop Java
linux上面hadoop配置集群
linux上面hadoop配置集群
47 0
|
4月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
443 0
|
5月前
|
分布式计算 Hadoop Java
hadoop系列——linux hadoop安装
hadoop系列——linux hadoop安装
78 0
|
5月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
93 0
|
5月前
|
算法 程序员 Apache
Windows下搭建SVN服务器并配置eclipse和idea
Windows下搭建SVN服务器并配置eclipse和idea
68 1
|
9月前
|
分布式计算 Ubuntu Hadoop
基于Linux的Hadoop伪分布式安装
基于Linux的Hadoop伪分布式安装
128 0
|
9月前
|
分布式计算 Hadoop Linux
Linux重启Hadoop集群命令
Linux重启Hadoop集群命令
179 0
|
9月前
|
存储 Java Android开发
Eclipse的超级详细的安装和配置(在windows11x64下
Eclipse的超级详细的安装和配置(在windows11x64下
|
10月前
|
IDE Java 开发工具
Eclipse的安装配置 - Windows(结尾附视频)
Eclipse的安装配置 - Windows(结尾附视频)
109 0