Logstash5.4.1解析日志报错处理

简介:

下载最新的logstash5.4.1打开把之前的配置文件加入进去,启动logstash提示报错了,未使用geoip插件的配置文件正常启动。按照提示发现是maxmind的数据库解析出错,重新至maxmind(http://geolite.maxmind.com/download/geoip/database/GeoLite2-City.tar.gz)下载解析即可。说明下之前的配置文件为

           geoip {

                source => ["X_Forward_IP"]

                database => "/logstash2.2.2/conf/GeoLiteCity.dat"

更改为

           geoip {

                source => ["X_Forward_IP"]

                database => "/usr/local/logstash-5.4.1/config/GeoLite2-City.mmdb"


Logstash多实例问题:

当启动多个/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf之后就会出现you must change the "path.data" setting.这个时候就必须要

mkdir -p /usr/local/logstash-5.4.1/data/{1,2,3,4}

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/1

/usr/local/logstash-5.4.1/bin/logstash -f /usr/local/logstash-5.4.1/config/nginx.conf --path.data=/usr/local/logstash-5.4.1/data/2

需要在后面加上--path.data参数才能启动多实例


设置副本数及分片数:

elasticsearch在以前的2.x版本,可以在配置文件中指定副本数及分片数。 在elasticsearch的5.x的版本中不能配置文件中配置这2个参数了。需要副本数,可以设置为:

全局设定:

curl -XPUT http://192.168.2.228:9200/_settings -d '{ "number_of_replicas" : 0 }'


定义某一个索引:

curl -XPUT http://192.168.2.228:9200/.kibana/_settings -d '{ "number_of_replicas" : 0 }'


elasticsearch分片不向其他节点分布:

集群由2台es组成,但是分片只分布在一台节点,查看日志发现报错

[2017-08-03T23:59:24,414][WARN ][o.e.c.r.a.DiskThresholdMonitor] [elk228] high disk watermark [90%] exceeded on [nYN4Cc07QIuhg4nu9s0Eig][elk228][/elk/data/nodes/0] free: 5.2gb[8.1%], shards will be relocated away from this node

这个意思就是节点空间快使用完毕,不向节点复制数据,导致的节点出错,清理集群机器磁盘空间。

如想要关闭磁盘检查功能

1
2
3
4
5
curl -XPUT http: //localhost :9200 /_cluster/settings  -d '{
     "transient"  : {
         "cluster.routing.allocation.disk.threshold_enabled"  false
     }
}'




ps:刚开始我以为是新版本的logstash不兼容老版本的grok,原来只是IP数据库的问题



本文转自 rong341233 51CTO博客,原文链接:http://blog.51cto.com/fengwan/1933596

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
监控 Java 应用服务中间件
PTS报错问题之日志报错如何解决
PTS(Performance Testing Service)是一项面向网站、应用等提供的压力测试服务,用于模拟不同场景下的用户访问,评估系统的性能表现;在进行PTS压测时,可能会出现一些异常或报错,本合集将PTS压测中频繁出现的问题及其解决办法进行汇编,旨在帮助用户更有效地进行性能测试和问题定位。
|
4月前
|
设计模式
二十三种设计模式全面解析-职责链模式的高级应用-日志记录系统
二十三种设计模式全面解析-职责链模式的高级应用-日志记录系统
|
2月前
|
网络协议 物联网 5G
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
K3S 系列文章 -5G IoT 网关设备 POD 访问报错 DNS 'i/o timeout' 分析与解决
|
4月前
|
小程序
【小程序】报错:no such file or directory, access ‘wxfile://usr/miniprogramLog/log2‘
【小程序】报错:no such file or directory, access ‘wxfile://usr/miniprogramLog/log2‘
216 0
|
25天前
|
SQL JSON Kubernetes
Seata常见问题之服务端 error日志没有输出,客户端执行sql报错如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
97 0
|
1月前
|
消息中间件 测试技术 Python
Python使用多线程解析超大日志文件
Python使用多线程解析超大日志文件
20 0
|
1月前
|
分布式计算 DataWorks 调度
DataWorks常见问题之设置好调度时间的任务运行后查看运行日志报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。
39 0
|
1月前
|
Java 应用服务中间件
解决tomcat启动报错:无法在web.xml或使用此应用程序部署的jar文件中解析绝对的url [http:java.sun.com/jsp/jstl/core]
解决tomcat启动报错:无法在web.xml或使用此应用程序部署的jar文件中解析绝对的url [http:java.sun.com/jsp/jstl/core]
108 1
|
1月前
|
XML JSON 数据格式
xml文档解析报错解决办法
xml文档解析报错解决办法
|
2月前
|
SQL Kubernetes Apache
Flink问题之日志偶尔报错如何解决
Apache Flink是由Apache软件基金会开发的开源流处理框架,其核心是用Java和Scala编写的分布式流数据流引擎。本合集提供有关Apache Flink相关技术、使用技巧和最佳实践的资源。
71 1

推荐镜像

更多