hadoop window 搭建-阿里云开发者社区

hadoop window 搭建

2017-12-07 1224

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介：

hadoop 原理参考：用 Hadoop 进行分布式并行编程
官方中文文档： http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安装 cygwin ssh 参考 windows ssh 搭建
2. 搭建hadoop   参考 Cygwin下的Hadoop快速入门-伪分布式模式的查缺补漏
     这里还有 cygwin putty 控制台方法设置
3. 开发环境和 demo 参考
通过参考应该环境的搭建没问题，我这搭建成功了，说下我这一些注意到地方吧
1. 我这使用的最新版本的 hadoop-0.20.0 在参考文档中，修改 hadoop-site.xml 。
   在这个版本已经在conf下找不到了，我这尝试修改的 hdfs-site.xml 。测试的时候竟然通过了。

<? xml version="1.0" ?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>

< configuration >
   < property >
     < name > fs.default.name </ name >
     < value > hdfs://localhost:9000 </ value >
   </ property >

   < property >
     < name > mapred.job.tracker </ name >
     < value > localhost:9001 </ value >
   </ property >

   < property >
     < name > dfs.data.dir </ name >
     
     
     < value > C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\ </ value >
   </ property >

   < property >
     < name > hadoop.tmp.dir </ name >
     < value > /tmp </ value >
   </ property >

   < property >
     < name > dfs.replication </ name >
     < value > 1 </ value >
   </ property >

< property >
   < name > fs.trash.interval </ name >
   < value > 60 </ value >
   < description > Number of minutes between trash checkpoints.
  If zero, the trash feature is disabled.
   </ description >
</ property >

</ configuration >

本文转自博客园刘凯毅的博客，原文链接：hadoop window 搭建，如需转载请自行联系原博主。