日志分析ELK平台搭建

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
简介:

  当服务器数量以及应用达到一定的数量后,操作系统日志以及应用软件日志数量庞大,遇到问题时日志是第一手资料。平时用的sed、grep、awk已经难以满足我们的需求。随着互联网技术的发展,好多大型互联网公司研发了不同的日志分析产品,例如开源的Graylog、ELK还有Splunk等,同时Splunk也是一个商业产品,功能很强大,但是在目前的互联网领域里ELK的使用应该是更广泛。接下来会根据官网资料搭建ELK平台。

环境介绍:

  • 操作系统  CentOS 7.4

  • Java版本:openjdk 1.8.0_151

  • 安装方式:yum安装

一、安装Elasticsearch

配置yum源

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
1、下载并安装公共签名密钥
rpm -- import   https: //artifacts .elastic.co /GPG-KEY-elasticsearch 
2、配置Elasticsearch安装包yum源
编辑  /etc/yum .repos.d /elasticsearch .repo
 
[elasticsearch-5.x]
name=Elasticsearch repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md 
3、安装命令
yum    install   -y elasticsearch  
 
4、等待安装完成后将服务启动,并做好服务自启动、防火墙等设置
[root@localhost ~] # systemctl   enable  elasticsearch
Created  symlink  from  /etc/systemd/system/multi-user .target.wants /elasticsearch .service to  /usr/lib/systemd/system/elasticsearch .service.
[root@localhost ~] # systemctl   restart  elasticsearch
5、检查监听端口以及相关服务
[root@localhost ~] # netstat   -nltup  |grep  9200
tcp6       0      0 127.0.0.1:9200          :::*                    LISTEN      13315 /java          
tcp6       0      0 ::1:9200                :::*                    LISTEN      13315 /java        
 
使用curl访问9200端口
[root@localhost ~] # curl   http://127.0.0.1:9200
{
   "name"  "wEPnzRm" ,
   "cluster_name"  "elasticsearch" ,
   "cluster_uuid"  "dKeJNq1xSiizdAomMleZbg" ,
   "version"  : {
     "number"  "5.6.3" ,
     "build_hash"  "1a2f265" ,
     "build_date"  "2017-10-06T20:33:39.012Z" ,
     "build_snapshot"  false ,
     "lucene_version"  "6.6.1"
   },
   "tagline"  "You Know, for Search"
   
   经检查elasticsearch 服务运行正常

二、安装Kibana

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
1、配置Kibana的yum源
  编辑 /etc/yum .repos.d /kibana-5 .x
[kibana-5.x]
name=Kibana repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md
2、安装kibana
yum   install   -y  kibana  
3、启动服务
service  restart  kibana  
服务开机自启动
chkconfig --add kibana
4、检查监听端口和服务运行
[root@localhost ~] # netstat  -nltup
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID /Program  name    
tcp        0      0 10.1.4.182:5601         0.0.0.0:*               LISTEN 
服务默认的端口为5601 默认配置文件的监听主机为localhost   只能本机访问,为了方便,将其改为内网地址
10.1.4.182
5、curl访问
  http: //10 .1.4.182:5601
<script>var hashRoute =  '/app/kibana' ;
var defaultRoute =  '/app/kibana' ;
 
var  hash  = window.location. hash ;
if  ( hash .length) {
   window.location = hashRoute +  hash ;
else  {
   window.location = defaultRoute;
}< /script >

6、浏览器访问后截图

146f1945e757d729feadd8a871f692ac.png-wh_

三、安装


1
2
3
4
5
6
7
8
9
10
11
12
13
14
1、配置yum源
编辑  /etc/yum .repos.d /logstash
[logstash-5.x]
name=Elastic repository  for  5.x packages
baseurl=https: //artifacts .elastic.co /packages/5 .x /yum
gpgcheck=1
gpgkey=https: //artifacts .elastic.co /GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type =rpm-md
2、安装
yum   install   -y  logstash
 
安装完毕



本文转自 tianya1993 51CTO博客,原文链接:http://blog.51cto.com/dreamlinux/1978720,如需转载请自行联系原作者
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
运维 监控 数据挖掘
应用研发平台EMAS产品常见问题之将阿里后台的日志落到我们后台失败如何解决
应用研发平台EMAS(Enterprise Mobile Application Service)是阿里云提供的一个全栈移动应用开发平台,集成了应用开发、测试、部署、监控和运营服务;本合集旨在总结EMAS产品在应用开发和运维过程中的常见问题及解决方案,助力开发者和企业高效解决技术难题,加速移动应用的上线和稳定运行。
|
2月前
|
存储 监控 数据可视化
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
日志分析对决:揭示 ELK 与 GrayLog 的优势和差异
228 0
|
3月前
|
存储
优秀开源日志平台GrayLog5.0一键安装脚本
优秀开源日志平台GrayLog5.0一键安装脚本
90 0
|
3月前
|
存储 Prometheus 监控
Prometheus vs. ELK Stack:容器监控与日志管理工具的较量
随着容器化技术的广泛应用,容器监控与日志管理成为了关键任务。本文将对两种常用工具进行比较与选择,分别是Prometheus和ELK Stack。Prometheus是一款开源的监控系统,专注于时序数据的收集和告警。而ELK Stack则是一套完整的日志管理解决方案,由Elasticsearch、Logstash和Kibana三个组件组成。通过比较它们的特点、优势和适用场景,读者可以更好地了解如何选择适合自己需求的工具。
|
2月前
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
电子书阅读分享《Elasticsearch全观测技术解析与应用(构建日志、指标、APM统一观测平台)》
235 1
|
13天前
|
消息中间件 存储 运维
更优性能与性价比,从自建 ELK 迁移到 SLS 开始
本文介绍了 SLS 基本能力,并和开源自建 ELK 做了对比,可以看到 SLS 相比开源 ELK 有较大优势。
54537 58
|
2月前
|
存储 监控 关系型数据库
ELK架构监控MySQL慢日志
ELK架构监控MySQL慢日志
|
2月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI问题之日志报错误如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
53 0
人工智能平台PAI问题之日志报错误如何解决
|
2月前
|
监控 Java API
JDK 9新特性深度探索:平台日志API和服务
本文将深入探讨JDK 9中引入的平台日志API和服务。这一新特性为Java应用程序提供了更强大、灵活的日志记录功能,帮助开发者更好地监控和诊断应用程序的运行状况。本文将详细介绍平台日志API和服务的特性和优势,以及如何在项目中应用这一新特性来提升应用程序的稳定性和可维护性。
|
3月前
|
Linux Shell
开源日志平台GrayLog5.1.10 CentOS7一键安装脚本
开源日志平台GrayLog5.1.10 CentOS7一键安装脚本
97 0