Hadoop大象之旅008-启动与关闭Hadoop

简介: Hadoop大象之旅008-启动与关闭Hadoop                                                        老帅   Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动。

Hadoop大象之旅008-启动与关闭Hadoop

                                                        老帅

   Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动。

 

1.Hadoop的启动命令存储位置

参照前面章节中所述方法,使用SecureCRTPortable.exe登录CentOS;

使用命令cd/usr/local/hadoop”或者“cd $HADOOP_HOME进入到Hadoop根目录;

使用命令ll查看一下目录结构,如下图所示:


其中d开头的表示文件夹,-开头的表示文件

我们所使用的启动和关闭hadoop的命令都在bin目录下;

使用命令“cd $HADOOP_HOME/bin”进入到目录下;

使用命令ll查看一下目录结构,如下图所示:



2.格式化文件系统

hdfs是文件系统,所以在第一次使用之前需要进行格式化。

执行命令hadoopnamenode format


格式化成功后,如下图所示:


注意:

只在第一次启动的时候格式化,不要每次启动都格式化。

如果真的有必要再次格式化,请先把“hadoop.tmp.dir”目录下的文件全部删除。

读者可以自己观察目录“hadoop.tmp.dir”在格式化前后的变化情况。

格式化操作很少有出现失败的情况。如果真出现了,请检查配置是否正确。

 

3.启动Hadoop

格式化完成后,开始启动 hadoop 程序。

由于我们采用的是伪分布安装模式,一台机器中需要运行所有的hadoop 进程;

这里我们使用命令start-all.sh启动所有Hadoop进程,如下图所示:


注意启动顺序为:namenode->datanode->secondarynamenode->jobtracker->tasktracker

使用命令jps命令查看一下进程是否启动成功,如下图所示,能看到5个进程,就表示成功了:



4关闭Hadoop

关闭 hadoop 所有进程的命令是stop-all.sh,如下图所示:


执行完关闭命令后,使用“JPS”命令就看不到Hadoop5个进程了。

注意关闭顺序为:jobtracker->tasktracker–>namenode->datanode->secondarynamenode

 

5.单独启动进程

当然,也可以分别启动各个进程,而不是一起启动,具体命令在“$HADOOP_HOME/bin/”目录下,如下图所示:


执行命令 start-dfs.sh,是单独启动 hdfs,该命令适合于只执行hdfs存储不使用 MapReduce 做计算的场景,关闭的命令就是 stop-dfs.sh 了;

执行命令 start-mapred.sh,是单独启动 MapReduce 的两个进程,关闭的命令就是stop-mapred.sh 了;

当然,也可以先启动 MapReduce,再启动 HDFS,这说明,HDFS MapReduce的进程之间是互相独立的,没有依赖关系。

 

6.启动失败怎么办

启动之前要检查:

         配置文件是否正确

         IPHostname是否绑定

         是否已经格式化NameNode

         SSH的免密码登录设置是否成功

如果仍然启动失败了,可以到“$HADOOP_HOME/logs/”目录下查看错误日志(这个文件夹是Hadoop启动的时候,自动生成的)分析错误原因,如下图所示:


文件命名是有规律的,“hadoop-[当前用户名]-[节点名称]-[主机名].log”我们只查看log结尾的文件。

如果是namenode节点没有启动,查看hadoop-root-namenode-book0.log文件,以此类推。

 

7.使用浏览器方式访问Hadoop

使用Http://hadoop001:50070可以访问namenode服务器,如下图所示:

   

能访问,就说明Namenode是在线的;这也说明Namenode也是个Webserver服务器

使用Http://hadoop001:50030可以访问Jobtracker服务器,如下图所示

   

能访问,就说明Jobtracker是在线的;这也说明Jobtracker也是个Webserver服务器

 

相关文章
|
分布式计算 Hadoop
hadoop 的启动和停止命令(史上最全)
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、SecondaryNameNode、DataNode sbin/stop-dfs.sh 停止Hadoop
|
分布式计算 Hadoop 网络安全
Hadoop 集群启动后,从节点的NodeManager没有启动解决
1.slaves节点报错,报的是启动nodemanager 所需内存不足 解决: a: 修改 yarn-site.
4978 0
|
存储 分布式计算 资源调度
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
Hadoop运行模式(三)、群起集群、配置workers、启动集群、启动HDFS、拼接、Web端查看HDFS的NameNode、Web端查看YARN的ResourceManager
|
分布式计算 Hadoop Java
Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题
Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题
139 0
Apache Hadoop 答疑:解决 Apache Hadoop 启动时 DataNode 启动异常的问题
|
分布式计算 Hadoop Shell
Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
Hadoop中HDFS的Shell操作(开发重点)、启动Hadoop集群、基本语法、常用命令实操、命令大全、-help、-mkdir、-moveFromLocal、-copyFromLocal
|
分布式计算 资源调度 Hadoop
Hadoop运行模式(四)、配置历史服务器、配置日志的聚集、删除HDFS上已经存在的文件、集群启动/停止方式总结、配置mapred-site.xml、配置yarn-site.xml
Hadoop运行模式(四)、配置历史服务器、配置日志的聚集、删除HDFS上已经存在的文件、集群启动/停止方式总结、配置mapred-site.xml、配置yarn-site.xml
Hadoop运行模式(四)、配置历史服务器、配置日志的聚集、删除HDFS上已经存在的文件、集群启动/停止方式总结、配置mapred-site.xml、配置yarn-site.xml
|
存储 资源调度 分布式计算
Hadoop集群启动和停止方法
Hadoop集群启动和停止方法
404 0
|
分布式计算 Hadoop 网络安全
Hadoop组件启动的三种方式及配置SSH无密码登入
第一种方式,逐一启动 第二种,分开启动 image.png 第三种,一起启动(不推荐使用) start-all.sh 因为在生产环境中namenode和datanode不可能在一台机器上。
1205 0
|
分布式计算 资源调度 Hadoop
Hadoop|启动yarn及在yarn上运行mapreduce
YARN on Single Node 修改yarn环境配置文件yarn-env.sh image.png 修改yarn配置文件yarn-site.
1236 0

热门文章

最新文章

相关实验场景

更多