Win7下安装Hadoop

简介: 1、本人电脑是Win7 64位系统的:2、JDK 版本:3、Cygwin 版本: 官网自行下载 4、Hadoop 版本: 官网自行下载,下载稳定版的吧 下面就开始安装啦~~~~ 一、 安装JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK。我安装的路径为C:\Java\j

1、本人电脑是Win7 64位系统的:

2、JDK 版本:

3、Cygwin 版本:
官网自行下载
4、Hadoop 版本:
官网自行下载,下载稳定版的吧
下面就开始安装啦~~~~
一、 安装JDK,安装时注意,最好不要安装到带有空格的路径名下,例如:Programe Files,否则在配置Hadoop的配置文件时会找不到JDK。我安装的路径为C:\Java\jdk1.7.0_21,安装完配置环境变量:
1. 安装完成后开始配置环境变量,右击我的电脑,点击属性
2. 在出现的对话框中选择高级系统设置,在出现的对话框中选择环境变量
3. 新建名为”JAVA_HOME“的变量名,变量值为之前安装jdk的目录,例如本人的为” C:\Java\jdk1.7.0_21 “
4. 在已有的系统变量”path“的变量值加上”%JAVA_HOME%\bin;(注意,每个变量值是以”;“隔开,变量值开头的分号就起这个作用)自此配置完成。

二、 安装Cygwin,下载地址:http://www.cygwin.com/,根据操作系统的需要下载32位或64的安装文件。
1 . 双击下载好的安装文件,点击下一步,选择install from internet
2 选择安装路径,下一步,点下一步,选择合适的安装源,点击下一步
3 在Select Packages界面里,Category展开net,选择如下openssh和openssl两项
4 如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed
5  如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim

6 .点击“下一步”,等待安装完成。
三、 配置环境变量,在“我的电脑”上点击右键,选择菜单中的“属性”,点击属性对话框上的高级页签,点击”环境变量”按钮,在系统变量列表里双击“Path”变量,在变量值后输入安装的Cygwin的bin目录,例如:D:\cygwin64\bin
四、 安装sshd服务,双击桌面上的Cygwin图标,启动Cygwin,执行ssh-host-config -y命令
五、 执行后,会提示输入密码,否则会退出该配置,此时输入密码和确认密码,回车。最后出现Host configuration finished.Have fun!表示安装成功,输入net start sshd,启动服务。或者在系统的服务里找到并启动Cygwin sshd服务。可能会遇到无法安装和启动sshd服务的问题,可参考此连接http://www.cnblogs.com/kinglau/p/3261886.html
六、 配置SSH免密码登录,执行ssh-keygen命令生成密钥文件,输入:ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa,注意-t -P -f参数区分大小写,
七、 执行此命令后,在你的Cygwin\home\用户名 路径下面会生成.ssh文件夹,可以通过命令ls -a /home/用户名 查看,ssh -version命令查看版本,执行完ssh-keygen命令后,再执行下面命令,就可以生成authorized_keys文件了。
八、 cd ~/.ssh/
九、 cp id_dsa.pub authorized_keys
十、 然后执行exit命令,退出Cygwin窗口。
十一、 再次在桌面上双击Cygwin图标,打开Cygwin窗口,执行ssh localhost命令,第一次执行该命令会有提示,输入yes后,回车即可。如下图所示
十二、 安装Hadoop,hadoop官网下载http://hadoop.apache.org/releases.html
十三、 把hadoop压缩包解压到/home/用户名 目录下,文件夹名称更改为hadoop
十四、 配置hadoop-env.sh,记事本打开改文件,设置JAVA_HOME的值为你的JDK安装路径,例如:JAVA_HOME=/cygdrive/C/Java/jdk1.7.0_21(注意/的方向)
十五、 修改配置参考:http://pengbin6755198.blog.163.com/blog/static/2325493920142107215867/
十六、 注意:
fs.default.name
hdfs://localhost:9000
最好写成主机名,不要写localhost
十七、 如果报错:

参考http://bbs.csdn.net/topics/390752976

弄了一上午,算是配置好了!!!!!!!!!!!!!!!
以前没接触过,报错了就去网上查,现在总结一下,给你们参考吧!

笔者是新手,推荐Linux下安装的步骤,一同学写的,很经典~
http://blog.csdn.net/zhaodedong/article/details/46386173

目录
相关文章
|
4月前
|
消息中间件 分布式计算 大数据
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
【大数据技术Hadoop+Spark】Flume、Kafka的简介及安装(图文解释 超详细)
68 0
|
14天前
|
分布式计算 Hadoop Java
centos 部署Hadoop-3.0-高性能集群(一)安装
centos 部署Hadoop-3.0-高性能集群(一)安装
15 0
|
3月前
|
分布式计算 资源调度 Hadoop
在Linux系统上安装Hadoop的详细步骤
【1月更文挑战第4天】在Linux系统上安装Hadoop的详细步骤
418 0
|
4月前
|
存储 分布式计算 Hadoop
hadoop 安装系列教程二——伪分布式
hadoop 安装系列教程二——伪分布式
45 0
|
4月前
|
分布式计算 Hadoop Java
hadoop系列——linux hadoop安装
hadoop系列——linux hadoop安装
76 0
|
4月前
|
分布式计算 Hadoop Java
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
Hadoop【部署 01】腾讯云Linux环境CentOS Linux release 7.5.1804单机版hadoop-3.1.3详细安装步骤(安装+配置+初始化+启动脚本+验证)
87 0
|
4月前
|
消息中间件 存储 分布式计算
Hadoop学习笔记(HDP)-Part.20 安装Flume
01 关于HDP 02 核心组件原理 03 资源规划 04 基础环境配置 05 Yum源配置 06 安装OracleJDK 07 安装MySQL 08 部署Ambari集群 09 安装OpenLDAP 10 创建集群 11 安装Kerberos 12 安装HDFS 13 安装Ranger 14 安装YARN+MR 15 安装HIVE 16 安装HBase 17 安装Spark2 18 安装Flink 19 安装Kafka 20 安装Flume
54 0
Hadoop学习笔记(HDP)-Part.20 安装Flume
|
分布式计算 Ubuntu Hadoop
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
903 0
Hadoop 的安装和使用(基于Linux~Ubuntu的虚拟机)
|
11天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
33 2
|
11天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。

热门文章

最新文章

相关实验场景

更多