1. 云栖社区>
  2. 全部标签>
  3. #日志服务#
日志服务

#日志服务#

已有6人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Logtail 心跳监控最佳实践

作为采集 agent,logtail 所采集的日志可能会就被用于对应用程序进行监控/告警,所以保证它自身处于正常状态对整个系统的稳定显得尤为重要。在之前的[《全方位 Logtail 状态监控》](https://yq.aliyun.com/articles/691336)中,我们曾介绍了关于监控 Logtail 各类状态的方法,包括基本的链路状态、资源使用情况等。

监控 日志 日志服务 SLS 配置 Logtail 钉钉 aliyun 脚本

地理数据可视化探索——SLS的地图演变之路

伴随着阿里云日志服务(SLS)面向的客户群体不断变化,接入的日志数据种类日益增多,地理类数据成为了日志数据分析中越来越常见的一类数据形式。数据可视化应用的火爆发展,地理数据的可视化也萌发出了大量的需求,大规模地理数据可视化分析,从业务上来看一直是个难点,地理数据的存储,计算,分析,可视化,产品应用等各个方面都需要综合起来考虑。

数据可视化 SQL 日志 日志服务 SLS aliyun Group 地图 可视化 地理

SLS机器学习介绍(02):时序聚类建模

在大型互联网企业中,对海量KPI(关键性能指标)进行监控和异常检测是确保服务质量和可靠性的重要手段。基于互联网的服务型企业(如线上购物、社交网络、搜索引擎等)通过监控各种系统及应用的数以万计的KPI(如CPU利用率、每秒请求量等)来确保服务可靠性。

云栖社区 算法 日志服务 SLS 阿里技术协会 Image cdn 数据分析 aliyun 序列 html

SLS机器学习介绍(03):时序异常检测建模

虽然计算机软硬件的快速发展已经极大提高了应用程序的可靠性,但是在大型集群中仍然存在大量的软件错误和硬件故障。系统要求7x24小时不间断运行,因此,对这些系统进行持续监控至关重要。这就要求我们就被从系统中持续采集系统运行日志,业务运行日志的能力,并能快速的分析和监控当前状态曲线的异常,一旦发现异常,能第一时间将信息送到相关人员手中。

算法 机器学习 日志 日志服务 SLS cdn aliyun 序列 html 异常检测

日志服务(SLS)支持历史数据索引重建(Index Rebuild)

日志服务提供索引重建功能,针对历史数据索引未配置、配置错误或遗漏等问题,一步完成对历史数据的索引重构

日志 日志服务 SLS Json 配置 Image 索引 index 存储 重建

日志服务消费延迟问题排查

日志服务中提供了消费组能够以流的方式获取日志,使用消费组获取日志的优点在于,用户无需关心日志服务的实现细节和消费者之间的负载均衡、failover等,只需要专注于业务逻辑即可。一个消费组由多个消费者构成,这多个消费者共同消费一个Logstore中的数据,消费者之间不会重复消费数据。

日志 日志服务 SLS Image aliyun 问题排查 消费组 消费延迟 消费延迟问题

日志服务告警使用与常见问题排查

一. 告警的介绍 1.1 简介 日志服务支持根据仪表盘中的查询图表设置告警,实现实时的服务状态监控。日志服务的告警功能基于仪表盘中的查询图表实现。在日志服务控制台查询页面或仪表盘页面设置告警规则,并指定告警规则的配置、检查条件和通知方式。

日志 日志服务 SLS 告警 Image 钉钉 控制台 aliyun 表达式 html

日志服务消费延迟问题排查

日志服务中提供了消费组能够以流的方式获取日志,使用消费组获取日志的优点在于,用户无需关心日志服务的实现细节和消费者之间的负载均衡、failover等,只需要专注于业务逻辑即可。 一个消费组由多个消费者构成,这多个消费者共同消费一个Logstore中的数据,消费者之间不会重复消费数据。

日志 日志服务 aliyun 消费组

SLS数据处理实践:加工延迟篇

在日志服务,数据加工功能(功能介绍)用于完成对Logstore数据的预处理,为后续的分析阶段准备数据。本文主要介绍数据加工实践中可能遇到的延迟问题,帮助大家理清延迟现象背后的原因,以及如何去监控、解决延迟问题。

etl 日志 日志服务 SLS 数据处理 Image cdn 正则表达式 aliyun html 延迟 预处理 数据加工

[日志服务][数据加工]e_anchor函数与e_regex函数的使用总结

简单介绍日志服务数据加工e_anchor函数与e_regex使用场景总结

python 函数 日志 日志服务 aliyun 数据加工

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

时序图在SLS中的使用技巧

场景问题 通过SQL分析出实际场景中的数据,如果有数据缺失怎么办? 在折线图中如果有一些显著的异常点,能否主动的标记出来? 能否自定义某个观测指标的区间,在折线图中,添加区间的绘制能力? 能否支持多张图表在相同的时间轴上的联动操作? 基础数据的提取 假设我们现在有一个网站的访问日志,我们去找某个域名("aaa.aliyun.log.com"),访问的路径为("/account/query") 的分钟级别的流量,通过如下SQL,我们可以得到一条时序曲线,我们选择普通的折线图,我们可以发现,折线图中横坐标显示的比较凌乱,没有很好的适应数据本身对时间进行格式化。

SQL 日志服务 SLS 配置 Image 时序图 交互式分析

新发布:免费的防疫数据分析与可视化平台---阿里云新冠病毒疫情分析App

免费的防疫数据分析与可视化平台能力---阿里云新冠病毒疫情分析App 新冠病毒疫情分析App是基于阿里云日志服务中台,提供的一站式的数据处理可视化分析系统。借助它,可以在全球范围内了解各省份、市区的全面一手疫情信息和防疫新闻动态。目前该能力全面开放给政府、社区、第三方平台和开放者进行广泛应用。

日志服务 数据仓库 数据分析 控制台 日志分析 疫情分析 免费中台 新冠病毒

系列文章:Kubernetes中日志的正确输出姿势

上一期主要和大家介绍从全局维度考虑如何去构建K8s中的日志系统,本期我们从实践角度出发来一步步构建K8s中的日志监控体系。构建日志系统的第一步是如何去产生这些日志,而这也往往是最繁杂最困难的一步。

云栖社区 监控 飞天 程序员 性能 日志 日志服务 模块 中间件 容器 存储 kubernetes k8s 输出 日志采集

新型肺炎疫情实时分析与可视化(直播)

使用日志服务提供的疫情分析App,免费开通与使用(2月11日发布),实时同步数据,支持更灵活的自定义交互式分析、可视化、仪表盘构建、钉钉告警、订阅等功能(完全免费)

日志 日志服务 Image 钉钉 同步 aliyun demo NCOV 疫情大盘 新型肺炎疫情

新型肺炎疫情实时动态大盘(基于日志服务)

目前新型肺炎疫情扩散比较快,为了让大家能够较为实时看到最新的情况,我们使用日志服务技术构建了一张新型肺炎疫情实时动态大盘 (手机可打开) https://1340796328858956.cn-shanghai.

日志 日志服务 NCOV 新型肺炎 疫情大盘

消息系统端到端Exactly-Once支持

消息系统对于消息的写入和消费提供多种模式,如 at-most-once,at-least-once 和 exactly-once,本文探讨如何在一个消息提供中高效支持exactly-once的写入和消费

消息系统 日志服务 SLS Consumer kafka plusar

日志服务(SLS)集成 Spark 流计算实战

日志服务集成 Spark 流式计算:使用Spark Streaming和Structured Streaming对采集到日志服务中的数据进行消费,计算并将结果写回到日志服务。

大数据 日志 日志服务 SLS LOG sdk spark aliyun 流计算 sparkstreaming 日志采集 日志处理 StructuredStreaming aliyun-log

开源AIOps数据中台搭建

本文介绍我在PyCon2019上海站的议题内容,根据Gartner的报告,AIOps将在未来5-10年落地开花,并集中统一各种Ops平台,本议题介绍AIOps的核心作用、相关工程难点(数据采集、数据中台、智能算法、自动化等)与开源方案选择,适当介绍了Python在其中的主要作用。

大数据 算法 监控 性能 日志 日志服务 工单 Image devOps 数据采集 ELK grafana prometheus aiops TICK

14
GO