在windows下使用eclipes连接linux下的Hadoop集群

简介:

 来源:http://suxain.iteye.com/blog/1748356 

hadoop 是工作在linux下的分布式系统,做为一个开发者,对于手里资源有限,不得不使用只有终端的虚拟机来运行hadoop集群。但是,在这种环境下,开发,调试就变得那么的不容易了。那么,有没有办法在windows下发调试呢。答案是肯定的。

hadoop为我们提供了一个Eclipes插件,使用我们可以在Eclipse环境下开发,调试hadoop程序,那么,应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家(附上我自己编译的插件)

1、编译eclipse-hadoop-plugins

         在hadoop目录下的找到/src/contrib/eclipse-plugin,用eclipse导入该project,

 


 

 

  由于插件需要hadoop的一些JAR 文件,所以,右键单击项目->build path ->configuretion build path->libraies->add External jars 。在hadoop的目录和其lin目录找到下面的jar,并加入

 

 


然后打开 build-contrib.xml

修改以下地方

 

<property name="hadoop.root" location="E:\boolbean\eclipseWorkspaces\hadoop-1.1.0" />

<property name="eclipse.home" location="D:/Program Files/eclipse" />

<property name="version" value="1.1.0" />

 

 

然后右击 build.xml -> run as -> ant build...

编译成功后,到${hadoop.root}/build/contrib/eclipse-plugin/找到hadoop-eclipse-plugin-1.1.0.jar,

将该JAR复制到eclipse安装目录的  plugins目录下,重启eclipse。

待eclipse重启后,选择window->Preferences,出现如图效果,刚安装成功

   


 

交且可以在 Projects Explorer里看到DFS Location 

 

然后单击 window -> show views -> others ,找到Map/Reduce Locations,显示MapReduce视图

 


 

 

右击,选择Edit hadoop location...



 Location name ,自定,无要求

 Map/Reduce Master 对应 mapred-site.xml中设置的IP和端口

 DFS Master core-site.xml 中的IP和端口

 在 Advanced 中,有各项设置参数,在里面,对core-site.xml、hdfs-site.xml、mapred-site.xml中设置过的参数,在这里也做相应的修改。

然后 Finish

 

若成功,在DFS Location出现hdfs目录结构


 

在eclipse连接hadoop的时候,要关闭linux防火墙,或者编辑iptables过虑规则。

 

       以上是本人纠结了很多天纠结出来的结果。编译安装过程中,新我这样的新手会遇到很多问题,各种谷歌,百度。另外,在连接hadoop的时候,把 eclipse 的 Error log 视图显示出来,可以让我们看到很详细的错误说明。以便找准方向解决问题。当遇到问题是,不防假设,问题会出在哪里。

 

 







本文转自夏雪冬日博客园博客,原文链接:http://www.cnblogs.com/heyonggang/archive/2012/12/21/2827838.html,如需转载请自行联系原作者
目录
相关文章
|
26天前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 关闭PPP(Point-to-Point Protocol)连接 ppp-off命令 使用指南
【Shell 命令集合 网络通讯 】Linux 关闭PPP(Point-to-Point Protocol)连接 ppp-off命令 使用指南
39 1
|
26天前
|
监控 网络协议 Linux
【Shell 命令集合 网络通讯 】Linux 显示网络 连接、路由表和网络接口信息 netstat命令 使用指南
【Shell 命令集合 网络通讯 】Linux 显示网络 连接、路由表和网络接口信息 netstat命令 使用指南
49 1
|
2天前
|
SQL 监控 安全
Linux&Windows 日志分析 陇剑杯 CTF
Linux&Windows 日志分析 陇剑杯 CTF
23 0
|
13天前
|
安全 Ubuntu Linux
Linux远程访问Windows实现步骤
在Windows上启用远程桌面连接并获取IP地址后,Linux用户需安装SSH客户端( Debian系:`sudo apt-get update; sudo apt-get install openssh-client`,RPM系:`sudo yum install openssh-clients`)。然后使用命令`ssh 用户名@Windows_IP地址`连接,其中`用户名`和`Windows_IP地址`按实际情况填写。
14 4
|
26天前
|
监控 Shell Linux
【Shell 命令集合 系统管理 】Linux 启动和管理SLIP 连接 sliplogin命令 使用指南
【Shell 命令集合 系统管理 】Linux 启动和管理SLIP 连接 sliplogin命令 使用指南
30 0
|
26天前
|
监控 Shell Linux
【Shell 命令集合 网络通讯 】Linux 拨号连接 dip命令 使用指南
【Shell 命令集合 网络通讯 】Linux 拨号连接 dip命令 使用指南
35 0
|
26天前
|
Shell Linux C语言
【Shell 命令集合 网络通讯 】Linux 建立串行连接 cu命令 使用指南
【Shell 命令集合 网络通讯 】Linux 建立串行连接 cu命令 使用指南
28 0
|
26天前
|
Shell Linux C语言
【Shell 命令集合 文本处理工具】Linux 字段连接 join 命令使用指南
【Shell 命令集合 文本处理工具】Linux 字段连接 join 命令使用指南
28 1
|
2月前
|
弹性计算 运维 安全
阿里云服务器Windows和Linux操作系统区别对比
阿里云服务器Windows和Linux操作系统区别对比,性能有差异吗?有,同配置下Linux性能要优于Windows,但这与阿里云无关,仅仅是linux和windows之间的区别。另外,阿里云提供的windows和linux操作系统均为正版授权,用户不需要额外支付许可费用,如何选择?看用户自己的应用程序情况。
|
2月前
|
运维 安全 Linux
使用阿里云搭建幻兽帕鲁服务器操作系统类型Windows和Linux有区别吗?
使用阿里云搭建幻兽帕鲁服务器操作系统类型Windows和Linux有区别吗?性能有差异?同配置的游戏服务器,如4核16G或8核32G配置等,选择Windows和Linux操作系统差异不太大,如果非要对比的话,Linux系统相对Windows更少占用计算资源,当然如果对Linux不熟悉的话,可以选择Windows。另外,即便是幻兽帕鲁服务器创建成功后,也是可以免费修改操作系统的
106 1