YARN的日志聚集配置使用

简介:

修改yarn-site.xml文件

说明:修改路径$hadoop/etc/hadoop下的yarn-site.xml。新增两个属性并保存上传服务器。


478

属性1:表示在yanr上开启聚合日志服务。
属性2:表示聚合日志在服务器上的存留时间。

2、关掉Yarn的resourcemanager服务

700

3、关掉Yarn的nodemanager服务

700

3、关掉MapReduce历史任务服务

700

4.启动resourcemanager、nodemanager 、historyserver

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver

5、计算/user/beifeng/mapreduce/wordcount/*下文件单词出现的次数

697

image.png

6、查看聚集日志

700 700


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
1月前
|
监控 Serverless 数据库
Serverless 应用引擎常见问题之biphon-education-配置了SLS后一直重启如何解决
Serverless 应用引擎(Serverless Application Engine, SAE)是一种完全托管的应用平台,它允许开发者无需管理服务器即可构建和部署应用。以下是Serverless 应用引擎使用过程中的一些常见问题及其答案的汇总:
28 5
|
1月前
|
存储 JSON 监控
可以通过配置Filebeat来将Higress日志持久化到磁盘
【2月更文挑战第10天】可以通过配置Filebeat来将Higress日志持久化到磁盘
28 4
|
2月前
|
Java
flume的log4j.properties配置说明
flume的log4j.properties配置说明
|
4月前
|
Java Spring
spring boot 配置log4j 日志
spring boot 配置log4j 日志
69 0
|
4月前
|
监控 Java 数据库
Spring事务相关配置、案例:转账业务追加日志及事务传播行为
Spring事务相关配置、案例:转账业务追加日志及事务传播行为
47 0
|
5月前
|
消息中间件 存储 Shell
Docker部署RabbitMQ配置日志映射本地文件
Docker部署RabbitMQ配置日志映射本地文件
120 0
|
5月前
|
NoSQL Redis Docker
docker配置redis映射本地日志
docker配置redis映射本地日志
129 0
|
3月前
|
Java Maven
springboot 日志配置
springboot 日志配置
114 0
|
2天前
|
Java
log4j异常日志过滤规则配置
log4j异常日志过滤规则配置
11 0
|
2月前
|
应用服务中间件
weblogic配置、修改日志保存目录、配置滚动日志
weblogic配置、修改日志保存目录、配置滚动日志

热门文章

最新文章