Logz.io提供了基于机器学习的日志分析

简介:

Logz.io提供了一种使用机器学习进行智能日志分析的托管服务。该服务能够从人类与日志数据的交互中获得新的观点,这些日志数据包括技术论坛上的讨论内容和公共代码库。

DevOps团队使用ELK这类日志分析工具中心化了日志的聚合和索引过程,但是现代应用正快速地生成大量的日志和度量指标,日志的庞大规模使得日志分析工作难以顺利进行。另一方面,所采集度量指标的数量也在快速地增长,这导致传统监测工具只能用来做数据展示。数据在规模上的增长也导致了基于阈值的报警不再适用,这也引发了异常检测系统的异军突起,这些系统包括Anomaly.io、Datadog和SumoLogic,以及Etsy的Skyline这样的开源系统。

相比异常检测系统而言,Logz.io所提供的服务更进了一步,它给出了对异常情况的深层见解,这些见解是通过在人们的网络交互数据上进行机器学习得出的。这些数据中包括在StackOverflow和Github这样的网站上对类似异常情况的讨论。如果单纯地使用Google搜索异常情况,这常会出现大量的搜索结果,Logz.io是如何做到对相关结果的过滤的呢?InfoQ联系了Logz.io公司的CEO和联合创始人Tomer Levy,他对此做了详述:

Logz.io使用了机器学习技术去理解线索的情境、线索所指的产品、是否有解决方案以及提问者对给出的方案是否满意。我们还拿自有的用户数据跟这些线索进行交叉引用。

此外,Levy还指出:“在给出了对用户关注的见解后,我们进而基于他/她对该见解的反馈情况对它们之间的相关性进行评估。”这就实现了一种反馈闭环,使得该服务系统可以与时俱进。

很多现代的软件产品都是使用开源程序库构建的,因此大部分情况下在因特网上搜索这些产品的某个错误或异常都会给出搜索结果。但也应考虑到在极少数情况下,还有一些产品是完全从头构建的,没有使用任何公开可用的代码。对此,Logz.io计划在未来发布一种“非公开见解”,允许组织定义自己的异常和异常的相关细节。

Logz.io采用了Elasticsearch-Logstash-Kibana(ELK)技术栈作为后台,提供的服务托管在Logz.io私有云上,这意味着日志数据必须要从各个应用端传输到该私有云中。对那些部署了自有ELK的组织来说,Logz.io提供了本地日志传输器,帮助这些组织将数据安全传输到Logz.io云上。

作为对如何解决企业所关注的数据安全问题的回应,Levy说道:

在数据安全方面,我们投入大量精力在数据加密和全面的安全流程上。Logz.io聘请了安永会计师事务所对安全基础设施和流程进行审计,并在近期通过了欧盟对SOC 2 II型报告和ISO-27001标准的合规审计。此外,公司的数据是在美国托管的。为确保遵守欧盟的法规,基于欧盟的企业可以选择将数据放在法兰克福保存。

本文转自d1net(转载)

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
机器学习/深度学习 Web App开发 监控
SLS机器学习最佳实战:根因分析(一)
通过算法,快速定位到某个宏观异常在微观粒度的具体表现形式,能够更好的帮助运营同学和运维同学分析大量异常,降低问题定位的时间。
12397 0
|
2月前
|
机器学习/深度学习 人工智能 DataWorks
人工智能平台PAI问题之日志报错误如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务,支持建模、训练和部署机器学习模型;本合集将介绍机器学习PAI的功能和操作流程,以及在使用过程中遇到的问题和解决方案。
52 0
人工智能平台PAI问题之日志报错误如何解决
|
机器学习/深度学习 存储 弹性计算
SLS机器学习服务最佳实践:ECS时序指标监控巡检
云服务器ECS是阿里云所提供的性能卓越、稳定可靠、可弹性扩展的IaaS级别云计算服务。使用云服务器ECS可以不用采购IT硬件设备,直接像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。众多业务或服务在ECS上面运行,机器的稳定性对维持服务的稳定性来说尤为关键。本期将为大家介绍利用阿里云SLS(原日志服务),采集ECS的CPU、内存、负载、磁盘、网络等监控数据,并进行智能巡检与异常检测,形成对ECS主机的健康监控大盘,帮助你更好的管理并维护自己的云服务器。
5259 0
|
机器学习/深度学习 SQL 存储
SLS机器学习服务最佳实践:流式智能巡检
异常检测是智能运维系统中的很重要的一环,在云上针对各个服务时序指标的巡检成为监控服务质量的重要手段。在云平台上,现有的巡检方法多采用SQL发起机器学习函数的方式,拉取部分数据做模型训练,输出结果,在海量的指标数据下反应延迟,成本昂贵,很难充分学习数据的特征而达到很好的效果。SLS团队,对现有的机器学习方法改进提升,采用流式学习的方式,将机器学习函数变为智能化的机器学习服务,让模型在历史数据流上不断记忆,充分学习样本特征,实时反馈,更进一步降低用户的使用门槛。大家只需发起服务,配置一定的告警阈值,即可实现对指标数据的实时智能巡检。
4501 0
|
SQL 机器学习/深度学习 存储
SLS机器学习最佳实践:时序相似性分析
阿里云日志服务平台提供了针对DevOps和AIOps相关的一系列工具,涵盖了时序指标数据的异常检测、时序聚类、时序预测等相关方法。为降低使用的门槛,我们将算法整合到SQL中,让用户以最底的成本完成相关的配置。今天为您介绍时序聚类和时序相关性分析的最佳实践使用指南。
1834 1
SLS机器学习最佳实践:时序相似性分析
|
SQL 机器学习/深度学习 运维
|
机器学习/深度学习 存储 SQL
|
机器学习/深度学习 SQL 运维
SLS机器学习最佳实战:批量时序异常检测
如何快速的批量对监控系统中的多时序数据进行异常检测,如何对批量检测的结果进行快速的进行异常模式过滤? 阿里云日志服务平台,可以让您通过简单的SQL就可以对上千条时序数据进行异常检测,同时快速的针对指定异常模式进行过滤,缩短用户对异常的排查时间。
9525 0
|
机器学习/深度学习 运维 监控
SLS机器学习最佳实战:日志聚类+异常告警
围绕日志,挖掘其中更大价值,一直是我们团队所关注。在原有日志实时查询基础上,今年SLS在DevOps领域完善了如下功能: - 上下文查询 - 实时Tail和智能聚类,以提高问题调查效率 - 提供多种时序数据的异常检测和预测函数,来做更智能的检查和预测 - 数据分析的结果可视化 - 强大的告...
12829 0
|
Web App开发 机器学习/深度学习 算法
SLS机器学习介绍(05):时间序列预测
本文主要介绍了机器学习算法在时间序列预测领域的相关应用和实践,为了更好的适应复杂的实际业务场景,我们探索了小波变换在时序分析中的应用,通过引入小波操作,可以较好的剔除序列中的高频噪声,对序列的整体趋势把握的更好。
9122 0