Hadoop|启动yarn及在yarn上运行mapreduce

简介: YARN on Single Node修改yarn环境配置文件yarn-env.shimage.png修改yarn配置文件yarn-site.

YARN on Single Node

修改yarn环境配置文件yarn-env.sh

image.png

修改yarn配置文件yarn-site.xml

image.png

配置yarn服务地址及HDFS地址


image.png

启动yarn的resourcemanager和nodemanager节点

命令:sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

image.png

查看yarn服务器web页面端口为8088

image.png

修改配置文件mapred-env.sh

image.png

重新命名mapred-site.xml.template

image.png

在mapred-site.xml文件中添加yarn值,表示在yarn上运行

image.png

运行yarn前删除输出目录,要不会报错

bin/hdfs dfs -rm -R /user/beifeng/mapreduce/wordcount/output

image.png

运行mapReduce程序


目录
相关文章
|
3天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】(图片来源于网络)(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)Hadoop【基础知识 04】【HDFS常用shell命令】(hadoop fs + hadoop dfs + hdfs dfs 使用举例)
62 9
|
3天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
【4月更文挑战第4天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】(图片来源于网络)
37 4
|
3天前
|
分布式计算 资源调度 Hadoop
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
Hadoop【环境搭建 02】【hadoop-3.1.3 单机版YARN】(配置、启动及验证)
19 0
|
3天前
|
资源调度 分布式计算 算法
【Hadoop Yarn】Hadoop Yarn 基于权重的调度算法
【4月更文挑战第7天】【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
|
3天前
|
资源调度 分布式计算 算法
【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
【4月更文挑战第7天】【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
|
3天前
|
资源调度 分布式计算 Hadoop
【Hadoop Yarn】Yarn 调度器分析
【4月更文挑战第7天】【Hadoop Yarn】Yarn 调度器分析
|
3天前
|
资源调度 分布式计算 监控
【Hadoop Yarn】Yarn 工作机制
【4月更文挑战第7天】【Hadoop Yarn】Yarn 工作机制
|
3天前
|
资源调度 分布式计算 Hadoop
【Hadoop Yarn】YARN 基础架构分析
【4月更文挑战第7天】【Hadoop Yarn】YARN 基础架构分析
|
3天前
|
分布式计算 资源调度 监控
【Hadoop Yarn】Hadoop Yarn 概述
【4月更文挑战第7天】【Hadoop Yarn】Hadoop Yarn 概述
|
3天前
|
资源调度 分布式计算 Hadoop
Apache Hadoop YARN基本架构
【2月更文挑战第24天】

相关实验场景

更多