【阿里云MVP第五期】阿里云赵弘扬:基于Elasticsearch构建网站日志处理系统

  1. 云栖社区>
  2. Elasticsearch技术团队>
  3. 博客>
  4. 正文

【阿里云MVP第五期】阿里云赵弘扬:基于Elasticsearch构建网站日志处理系统

OC大禹 2018-02-01 18:22:04 浏览2152
展开阅读全文

嘉宾介绍

洪阳 阿里云搜索产品经理
从事多年大数据及搜索相关产品工作,在离线数据加工、离线调度系统、在线搜索等场景有深入研究。

Elasticsearch在离线和在线日志处理场景的应用

日志处理可以分为三个场景,离线场景、在线场景,以及流式场景。今天给大家分享的话题是,如何使用Elasticsearch和X-Pack在离线和在线日志处理场景的应用。
_

日志处理系统架构简介

我们通过搭建网站日志处理系统这个案例来探讨。便于理解,下面是一个简化的网络架构图。

_

导入到Elasticsearch的数据源可以非常多样化,比如各类beats,或者logstash,或者kafka等消息队列。在实际的应用环境中,架构可能非常复杂,维护成本也会非常高。在日志归档和日志搜索场景下,当日志量不大时,可以直接通过beats将服务器日志数据同步到ES里做索引,然后同过Ki

网友评论

登录后评论
0/500
评论
OC大禹
+ 关注
所属云栖号: Elasticsearch技术团队