CentOS7上配置ELK

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

一、Elasticsearch

      1,从Elastic下载包到本地后解压缩。

      2,Elasticsearch不让从root用户启动,所以需要单独建个用户

1
2
useradd  elastic
chown  -R elastic:elastic  elasticsearch-5.3.0

     3,允许外网访问,修改conf里elasticsearch.yml,解注释:

1
network.host: 0.0.0.0

     4,启动elasticsearch

1
2
su  elastic
sh elasticsearch-5.3.0 /bin/elasticsearch  -d

     5,验证,浏览器访问服务器9200端口,应看到类似:

1
2
3
4
5
6
7
8
9
10
11
12
13
{
   "name" : "ufJRIlo",
   "cluster_name" : "elasticsearch",
   "cluster_uuid" : "_na_",
   "version" : {
     "number" : "5.3.0",
     "build_hash" : "3adb13b",
     "build_date" : "2017-03-23T03:31:50.652Z",
     "build_snapshot" : false,
     "lucene_version" : "6.4.1"
   },
   "tagline" : "You Know, for Search"
}

二、LogStash

   1,从elastic官网下包到本地解压。

   2,创建配置文件logstash.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
input {
   file {
     path => [  "/tmp/*.log" , "/root/zhoulei/new/loginserver/logs/packages/*ACCOUNT.log"  ]
     exclude => [  "*DEBUG.log" "*INFO.log" "*ERROR.log"  ]
     start_position =>  "beginning"
   }
}
 
filter{
 
    grok{
      match => {  "message"  =>  "%{DATA:logTime}\|%{DATA:gameId}\|%{DATA:serverId}\|%{DATA:version}\|%{DATA:logType}\|%{DATA:behavior}\|%{DATA:channelId}\|%{DATA:clientVersion}\|%{DATA:platform}\|%{DATA:accountId}\|%{DATA:accountName}\|%{DATA:roleId}\|%{DATA:roleName}\|%{DATA:etc}\|*"  }
    }
 
    date{
       match => [  "logTime" , "yyyy-MM-dd HH:mm:ss.SSS"  ]
       target =>  "@timestamp"
       locale =>  "en"
       remove_field => [  "logTime"  ]
    }
 
    if  ([logType]== "SERVER" ){
      mutate{
         split=>[ "message" , "|" ]
         add_field =>{
            "online"  =>  "%{[message][22]}"
            "onlineMax"  =>  "%{[message][23]}"
         }
         remove_field =>[ "onlineNum" ]
         remove_field =>[ "maxNum" ]
      }
 
      mutate{
         convert => {  "online"  =>  "integer" }
         convert => {  "onlineMax"  =>  "integer" }
      }
    }
 
 
}
 
output {
   elasticsearch {
     hosts => [ "127.0.0.1:9200" ]
   }
}

   3,创建服务启动后台运行脚本

1
2
3
#!/bin/bash
 
nohup  . /logstash  -f logstash.conf > nohup .out &

三、Kibana

   1,下载安装包,可以下windows版,解压。

   2,编辑conf里kibana.yml,设置elasticsearch服务url

1
elasticsearch.url:  "http://127.0.0.1:9200/"

  3,验证服务,浏览器访问kibana所在机器的5601端口,可以看到Kibana页面。

本文转自   zl1030   51CTO博客,原文链接:http://blog.51cto.com/zl1030/1919697

相关实践学习
使用阿里云Elasticsearch体验信息检索加速
通过创建登录阿里云Elasticsearch集群,使用DataWorks将MySQL数据同步至Elasticsearch,体验多条件检索效果,简单展示数据同步和信息检索加速的过程和操作。
ElasticSearch 入门精讲
ElasticSearch是一个开源的、基于Lucene的、分布式、高扩展、高实时的搜索与数据分析引擎。根据DB-Engines的排名显示,Elasticsearch是最受欢迎的企业搜索引擎,其次是Apache Solr(也是基于Lucene)。 ElasticSearch的实现原理主要分为以下几个步骤: 用户将数据提交到Elastic Search 数据库中 通过分词控制器去将对应的语句分词,将其权重和分词结果一并存入数据 当用户搜索数据时候,再根据权重将结果排名、打分 将返回结果呈现给用户 Elasticsearch可以用于搜索各种文档。它提供可扩展的搜索,具有接近实时的搜索,并支持多租户。
相关文章
|
3月前
|
应用服务中间件 Linux 网络安全
centos7 下离线安装gcc g++ nginx,并配置nginx进行网络流转发
centos7 下离线安装gcc g++ nginx,并配置nginx进行网络流转发
104 0
|
4月前
|
Kubernetes Ubuntu 安全
Linux|科普扫盲帖|配置网络软件源---阿里云镜像仓库服务使用(centos,Ubuntu)
Linux|科普扫盲帖|配置网络软件源---阿里云镜像仓库服务使用(centos,Ubuntu)
488 0
|
8天前
|
Linux 虚拟化
VMware workstation 中centos7虚拟机在nat模式下怎么配置网卡,指定我想要的IP并且可以联网
https://blog.csdn.net/2302_78534730/article/details/132825156?spm=1001.2014.3001.5502
131 0
|
5月前
|
存储 关系型数据库 Linux
Linux之centos7安装配置及Linux常用命令
Linux之centos7安装配置及Linux常用命令
210 0
|
8天前
|
网络协议
centos8 网卡 Nmcli(是network的简写 Nmcli)配置网络
centos8 网卡 Nmcli(是network的简写 Nmcli)配置网络
11 0
|
4月前
|
Linux
centos之--目录权限配置
CentOS中,可以使用chmod命令来设置文件夹的权限
166 0
|
1月前
|
存储 监控 Linux
Flume【部署 02】Flume监控工具Ganglia的安装与配置(CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明)
【2月更文挑战第17天】Flume【部署 02】Flume监控工具Ganglia的安装与配置(CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明)
27 1
Flume【部署 02】Flume监控工具Ganglia的安装与配置(CentOS 7.5 在线安装系统监控工具Ganglia + 权限问题处理 + Flume接入监控配置 + 图例说明)
|
2月前
|
Ubuntu Linux 网络安全
|
3月前
|
负载均衡 算法 Linux
百度搜索:蓝易云【Centos7系统Haproxy安装配置教程】
现在,HAProxy已经成功安装和配置在您的CentOS 7系统上。它将监听您配置的端口,并根据负载均衡策略将请求转发到后端服务器。您可以根据需要自定义更多的配置,如SSL终止、ACL和更复杂的负载均衡算法。请确保HAProxy的配置符合您的需求,并在进行更改之前备份配置文件,以防止意外的错误。
41 2
|
3月前
|
Linux 网络安全
百度搜索:蓝易云【centos7通过配置hosts.allow和hosts.deny限制登陆教程】
从现在开始,根据您在 `hosts.allow`和 `hosts.deny`文件中配置的规则,特定的主机将被允许或拒绝登录到您的CentOS 7系统。请确保您谨慎地配置这些文件,以避免意外地限制访问。同时,建议备份这些文件以备不时之需。
42 1