《ELK Stack权威指南(第2版)》一 1.2 Hello World

简介:

本节书摘来自华章出版社《ELK Stack权威指南(第2版)》一书中的第1章,第1.2节,作者 饶琛琳  更多章节内容可以访问云栖社区“华章计算机”公众号查看。 


1.2 Hello World

与绝大多数IT技术介绍一样,我们也以一个输出“Hello World”的形式开始学习Logstash。

1.命令行运行

在终端中,像下面这样运行命令来启动 Logstash 进程:

# bin/logstash -e 'input{stdin{}}output{stdout{codec=>rubydebug}}'

首先看到终端输出一段进程启动过程的提示输出。提示以"Successfully started Logstash API endpoint {:port=>9600}"结束。

然后你会发现终端在等待你的输入。没问题,敲入Hello World,回车,看看会返回什么结果!

{

"message" =>"Hello World",

"@version" =>"1",

"@timestamp" =>"2014-08-07T10:30:59.937Z",

"host" =>"raochenlindeMacBook-Air.local",

}

没错!就是这么简单。

2.完整示例

命令行运行当然不是什么特别方便的用法,所以绝大多数情况下,我们都是采用额外定义一个logstash.conf配置文件的方式来启动Logstash。下面是我们的第一个完整版logstash.conf的示例:

input {

    stdin { }

}

output {

    stdout {

        codec => rubydebug {}

    }

    elasticsearch {

        Rost=>["127.0.0.1"]

    }

}

因为在5.0版本中,Elasticsearch和Kibana都是独立服务。如果你按照上一节的最佳实践配置好了yum的话,通过如下命令启动服务即可:

# service elasticsearch start && service kibana start

然后在终端上这样运行:

# bin/logstash -f logstash.conf

同样,还是输入一次Hello World。你会看到和上一次一样的一段Ruby对象输出。但事实上,这个完整示例可不止如此。打开另一个终端,输入下面一行命令:

# curl http://127.0.0.1:9200/_search?q=hello

你会看到终端上输出下面这么一段内容:

{"took":15,"timed_out":false,"_shards":{"total":27,"successful":27,"failed":0},"hits":{"total":1,"max_score":0.095891505,"hits":[{"_index":"logstash-2015.08.22","_type":"logs","_id":"AU90s1eNgg_P5-w7SB32","_score":0.095891505,"_source":{"message":"Hello World","@version":"1","@timestamp":"2014-08-07T10:30:59.937Z","host":"raochenlindeMacBook-Air.local"}}]}}

这时候你打开浏览器,访问http://127.0.0.1:5601地址,按照提示完成index pattern配置(正常的话只需要点击一下Create按钮),即可点击Discover页面看到如图1-1所示的效果。你在终端上输入的数据,可以从这个页面上任意搜索了。

4523aa105f261030b3c7a5dabc836b04b8473fef

对index pattern配置有疑惑的读者,可以阅读本书第三部分关于Kibana的章节。

3.解释

每位系统管理员都肯定写过很多类似这样的命令:cat randdata | awk '{print $2}' | sort | uniq -c | tee sortdata。这个管道符|可以算是Linux世界最伟大的发明之一(另一个是“一切皆文件”)。

Logstash就像管道符一样!

输入(就像命令行的cat)数据,然后处理过滤(就像awk或者uniq之类)数据,最后输出(就像tee)到其他地方。

当然实际上,Logstash是用不同的线程来实现这些的。如果你运行top命令然后按下H键,你就可以看到下面这样的输出:

    PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND

21401 root      16   0 1249m 303m  10m S 18.6  0.2 866:25.46 |worker

21467 root      15   0 1249m 303m  10m S  3.7  0.2 129:25.59 >elasticsearch.

21468 root      15   0 1249m 303m  10m S  3.7  0.2 128:53.39 >elasticsearch.

21400 root      15   0 1249m 303m  10m S  2.7  0.2 108:35.80 <file

21403 root      15   0 1249m 303m  10m S  1.3  0.2  49:31.89 >output

21470 root      15   0 1249m 303m  10m S  1.0  0.2  56:24.24 >elasticsearch.

如上例所示,Logstash很温馨地给每类线程都取了名字,输入的叫<xx,过滤的叫|xx,输出的叫>xx。

数据在线程之间以事件的形式流传。不要叫行,因为Logstash可以处理多行事件。

Logstash会给事件添加一些额外信息。最重要的就是@timestamp,用来标记事件的发生时间。因为这个字段涉及Logstash的内部流转,所以必须是一个joda对象,如果你尝试自己给一个字符串字段重命名为@timestamp的话,Logstash会直接报错。所以,请使用logstash-filter-date插件来管理这个特殊字段。

此外,大多数时候,还可以见到另外几个:

host标记事件发生在哪里。

type标记事件的唯一类型。

tags标记事件的某方面属性。这是一个数组,一个事件可以有多个标签。

你可以随意给事件添加字段或者从事件里删除字段。事实上事件就是一个Ruby对象,或者更简单地理解为就是一个哈希也行。

每个Logstash过滤插件,都会有四个方法叫add_tag、remove_tag、add_field和remove_field,它们在插件过滤匹配成功时生效。

推荐阅读

官网上“the life of an event”文档:http://logstash.net/docs/1.4.2/life-of-an-event

Elastic{ON}上《life of a logstash event》演讲:https://speakerdeck.com/elastic/life-of-a-logstash-event



相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
目录
打赏
0
0
0
0
1408
分享
相关文章
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
11月前
|
elk stack部署自动化日志收集分析平台
elk stack部署自动化日志收集分析平台
221 0
Prometheus VS ELK Stack:容器监控与日志管理工具的比较与选择
在容器化时代,有效的容器监控与日志管理工具对于确保应用程序的可靠性和可维护性至关重要。本文将比较两个主流工具,Prometheus和ELK Stack,探讨它们在容器监控和日志管理方面的特点、优势和适用场景,帮助读者做出明智的选择。
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
【Elastic Stack-初识篇】 ELK介绍、搭建最新 ELK 日志分析系统
1109 0
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
带你读《Elastic Stack 实战手册》之71:——4.1.3.企业ELK日志搜索引擎
145 0
搭建高效微服务架构:Kubernetes、Prometheus和ELK Stack的完美组合
微服务架构是一种软件设计模式,它将单个应用程序拆分成一组更小、更独立的服务。每个服务在自己的进程中运行,并使用轻量级通信机制进行通信。由于每个服务都是独立的,因此可以独立部署、扩展和更新,从而使开发和运维更加容易。
BXA
564 0
【Elastic Stack】 搭建最新 ELK 日志分析系统 8.2.2版
大家好,我是无名小歌。 今天给大家分享一个centos7系统搭建2022年最新ELK日志分析系统,目前版本是8.2.2。值得注意的是安装 ELK 时,您必须在整个ELK中使用相同的版本,如:Elasticsearch 8.2.2,则安装Kibana 8.2.2 和 Logstash 8.2.2,如果出现不对应的情况,如:Elasticsearch 是8.2.2版本、Kibana-6.8等或是其他版本,则需要进行对应版本的升级到8.2.2版本。
1425 0
【Elastic Stack】 搭建最新 ELK 日志分析系统 8.2.2版
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等