了解Logstash输入插件

简介:

 输入插件是Logstash从特定的数据源读取数据,Logstash可用插件包括,详情可见这里,下面说一些常见的输入插件:


  stdin插件:标准的输入插件,能够从命令行中读取事件。


  可选配置:

    add_field    hash(哈希)   {}

    codec         codec             “line”

    tags            array(数组)

    type            string(字符串)


  file插件Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径,而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以,不要担心 logstash 会漏过你的数据。


 sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos。


  示例:

1
2
3
4
5
6
7
input
     file  {
         path => [ "/var/log/*.log" "/var/log/message" ]
         type  =>  "system"
         start_position =>  "beginning"
     }
}


  通常你要导入原有数据进 Elasticsearch 的话,你还需要 filter/date 插件来修改默认的"@timestamp" 字段值。


  FileWatch 只支持文件的绝对路径,而且会不自动递归目录。所以有需要的话,请用数组方式都写明具体哪些文件。

 

  LogStash::Inputs::File 只是在进程运行的注册阶段初始化一个 FileWatch 对象。所以它不能支持类似 fluentd 那样的 path => "/path/to/%{+yyyy/MM/dd/hh}.log" 写法。达到相同目的,你只能写成 path => "/path/to/*/*/*/*.log"。


  logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。

  logstash 每隔多久写一次 sincedb 文件,默认是 15 秒。

  logstash 每隔多久检查一次被监听文件状态(是否有更新),默认是 1 秒。


  generator:生成数据组件,用来生成测试数据最好用。






本文转自 genuinecx 51CTO博客,原文链接:http://blog.51cto.com/favccxx/1827456,如需转载请自行联系原作者
目录
相关文章
|
存储 监控 数据可视化
elasticsearch插件二—— kibana插件安装详解
一、kibana 插件介绍 kibana 插件提供了Marvel监控的UI界面。
368 0
elasticsearch插件二—— kibana插件安装详解
|
5月前
|
数据可视化 Java 关系型数据库
Elasticsearch【环境搭建 02】最新版 elasticsearch + kibana(7.15.0)安装、配置、启动(多个问题处理 + kibana仪表盘使用举例)
Elasticsearch【环境搭建 02】最新版 elasticsearch + kibana(7.15.0)安装、配置、启动(多个问题处理 + kibana仪表盘使用举例)
89 0
|
6月前
|
Ruby
解决Logstash安装插件失败的问题
解决Logstash安装插件失败的问题
139 0
解决Logstash安装插件失败的问题
|
7月前
|
监控 容器
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
Filebeat配置顶级字段Logstash在output输出到Elasticsearch中的使用
145 0
|
11月前
|
Java Ruby
Error:在安装elasticsearch和logstash程序出现的报错
Error:在安装elasticsearch和logstash程序出现的报错
200 0
|
数据可视化 关系型数据库 MySQL
1分钟系列-Filebeat简介与安装
1分钟系列-Filebeat简介与安装
|
自然语言处理 监控 网络协议
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
362 0
[基础服务-windows] [ELK] ElasticSearch + Kibana + Logstash 以及插件安装和配置
|
机器学习/深度学习 JavaScript 数据可视化
2-Kibana配置及运行
介绍Kibana访问Elasticsearch数据并可视化展示的处理
424 0
2-Kibana配置及运行
|
存储 Linux
elasticsearch插件四—— logstash插件安装详解
一、logstash插件介绍 logstash是一个用来管理事件和日志的工具,它的作用是收集日志,解析日志,存储日志为以后使用。
453 0
|
消息中间件 NoSQL Oracle
logstash_output_mongodb插件用途及安装详解
0、logstash-output-mongodb用途 Writes events to MongoDB,也就是向mongodb里面写入数据。 来源可以是:jdbc类的Mysql、oracle关系型数据库;也可以是Elasticsearch等。 后续的同步应用中会用到该插件,所以单独列出来。并且,默认logstash不安装该插件,需要手动安装。
354 0