元乙 + 关注
阿里云存储服务技术专家

元乙 发表了文章:

Kubernetes可观察性:全方位事件监控

发布时间:2020-02-21 09:59:29 浏览:1306 回帖 :0

为了让大家更便捷的使用Kubernetes事件功能,阿里云容器服务Kubernetes和日志服务SLS合作推出了Kubernetes事件中心,支持将Kubernetes中的事件实时采集到日志服务中,把...

云栖社区 nginx 监控 docker 日志 分析 事件 Image kubernetes k8s 云原生 可观察性

元乙 发表了文章:

系列文章:Kubernetes日志采集最佳实践

发布时间:2020-02-12 14:36:32 浏览:3859 回帖 :0

在Kubernetes中,日志采集和普通虚拟机的方式有很大不同,相对实现难度和部署代价也略大,但若使用恰当则比传统方式自动化程度更高、运维代价更低。本期将为大家介绍如何正确的进行Kubernetes的...

云栖社区 最佳实践 日志 配置 集群 容器 Image Logtail kubernetes k8s 日志采集

元乙 发表了文章:

系列文章:Kubernetes中日志的正确输出姿势

发布时间:2020-02-10 16:44:20 浏览:2584 回帖 :0

上一期主要和大家介绍从全局维度考虑如何去构建K8s中的日志系统,本期我们从实践角度出发来一步步构建K8s中的日志监控体系。构建日志系统的第一步是如何去产生这些日志,而这也往往是最繁杂最困难的一步。

云栖社区 监控 飞天 程序员 性能 日志 日志服务 模块 中间件 容器 存储 kubernetes k8s 输出 日志采集

元乙 发表了文章:

五年双十一:SLS数据管道发展之路

发布时间:2019-12-08 20:40:16 浏览:3516 回帖 :1

日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。能够服务这个体量和用户规模,对产品的功能、体验、...

云栖社区 飞天 日志 日志服务 SLS Image cdn Logtail kafka 日志分析 数据管道

元乙 发表了文章:

系列文章:Kubernetes日志方案设计思路

发布时间:2019-11-13 10:16:03 浏览:2414 回帖 :0

上一篇中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点,相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入,会直接跟大家分享一下如...

架构 监控 日志 微服务 Image 离线分析 数据采集 流计算 kubernetes k8s 日志分析 serverless Elastic prometheus

元乙 发表了文章:

系列文章:云原生Kubernetes日志落地方案

发布时间:2019-09-08 23:44:34 浏览:11433 回帖 :1

越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决,授人以鱼不如授人以渔,于是我们把这些年积累的经验以文章的形式发出来,让看到这篇文章的同学能少...

分布式 架构 飞天 日志 日志服务 微服务 容器 Image 流计算 logging kubernetes 公共云

元乙 发表了文章:

OpenTelemetry-可观察性的新时代

发布时间:2019-07-22 10:39:32 浏览:6344 回帖 :0

Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起,可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉,希望能够和更多的同学一起交流可观察性相关的内容。

分布式 日志 trace Image 存储 logging 云原生 tracing metric Metrics 分布式链路追踪 OpenTelemetry

元乙 发表了文章:

Kubernetes Ingress日志分析入门

发布时间:2019-06-17 22:00:44 浏览:6138 回帖 :1

本文主要介绍如何基于日志服务构建Kubernetes Ingress日志分析平台,并提供一些简单的动手实验方便大家快速了解日志服务相关功能。

监控 日志 分析 日志服务 配置 集群 容器 Image cdn kubernetes k8s 日志分析 日志采集 ingress

元乙 发表了文章:

阿里PB级Kubernetes日志平台建设实践

发布时间:2019-05-29 21:01:18 浏览:16844 回帖 :0

将在QCon上分享的《阿里PB级Kubernetes日志平台建设实践》整理出来,分享给大家。

配置 集群 容器 Image cdn 数据采集 kubernetes k8s 日志分析

元乙 发表了文章:

Logtail提升采集性能

发布时间:2019-05-21 21:03:39 浏览:2987 回帖 :0

为防止滥用消耗过多机器资源,我们对默认安装的Logtail进行了一系列的资源限制。默认安装的Logtail最多日志采集速度为20M/s,20个并发发送。如需提高采集性能,请参考本篇文章。

性能优化 性能 日志 线程 Json 配置 Logtail CPU 日志采集

元乙 评论了文章:

ALiyun LOG Go Consumer Library 快速入门及原理剖析

发布时间:2019-03-15 18:01:36 浏览:8000 回帖 :7

Aliyun LOG Go Consumer Library是用go语言编写的协同消费库,主要处理多个消费者同时消费logstore时自动分配shard问题。 其中消费组会自动处理shard的负载均衡...

Golang Go 函数 日志 LOG 线程 高并发 配置 负载均衡 aliyun string 多线程 Consumer groutine

“盘他”

元乙 发表了文章:

Kubernetes Ingress 日志分析与监控的最佳实践

发布时间:2019-03-14 12:27:54 浏览:23482 回帖 :0

Ingress主要提供HTTP层(7层)路由功能,是目前K8s中HTTP/HTTPS服务的主流暴露方式。为简化广大用户对于Ingress日志分析与监控的门槛,阿里云容器服务和日志服务将Ingress日...

监控 日志 日志服务 SLS 容器 Image 负载均衡 Logtail aliyun 报表 service kubernetes 日志分析 ingress

元乙 发表了文章:

使用Logtail采集Kubernetes上挂载的NAS日志

发布时间:2019-02-26 12:39:46 浏览:3298 回帖 :0

采集k8s挂载Nas后的日志 该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。两种采集方式的实现原理是一样的,都是通过将Logtail和业务容器挂载到相同的NAS上...

nginx 日志 日志服务 LOG path 配置 code 容器 Image Logtail Registry kubernetes k8s 日志采集 NAS

元乙 发表了文章:

最全Kubernetes审计日志方案

发布时间:2019-01-15 13:22:42 浏览:5885 回帖 :0

审计是每个公司必备的安全手段之一,为尽可能减少用户对于审计日志的分析代价,阿里云容器服务将Kubernetes审计日志与日志服务SLS打通,推出了一站式的Kubernetes审计日志方案,让每个用户都...

云栖社区 安全 日志 集群 容器 Image blank 报表 kubernetes k8s 日志分析 审计

元乙 参与了问答:

如果某台机器资源紧张,agent是否会进行自我资源限制?比如现在采集流量或者现在自身消耗的cpu?

如果某台机器资源紧张,agent是否会进行自我资源限制?比如现在采集流量或者现在自身消耗的cpu?

“自我资源限制也是有的,可以从好几个维度控制:Logtail整体的流量、cpu、内存;每个配置的流量(未开放);cpu auto scale等”

元乙 参与了问答:

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

“高保的场景在公有云比较少(通常一个Logtail的能力是20MB/s,一般用户单机都不会产生那么多数据),在阿里内部是有的,除了多租户隔离以及公平调度,我们也有配置的优先级控制(公有云未开放,有需求可”

元乙 参与了问答:

数以万计的agent如何部署和升级?

数以万计的agent如何部署和升级?

“升级问题,Logtail是支持后端热升级的,也就是说,支持升级的时候数据不丢失。公有云和阿里内部我们后台都会定期去把老的版本升级到最新版本。”

元乙 参与了问答:

logtail有开源计划吗

logtail有开源计划吗

“logtail暂时还没有开源,这个会在今年内开源(2019年)”

元乙 参与了问答:

logtail和log-pilot有啥不同?

logtail和log-pilot有啥不同?

“logtail和log-pilot都是阿里云的日志采集agent,个人觉得都比较优秀。 log-pilot本身不负责采集,主要做容器自动发现,配置管理这块,实际数据采集由内部管理的filebeat或其”

元乙 参与了问答:

这些审计数据,有接口可以获取吗?

这些审计数据,有接口可以获取吗?

“有的,我们支持非常多语言的SDK,采集到日志服务后可以自己用SDK拿到数据,也可以用流计算引擎订阅处理。”
3
阿里云日志服务数据采集客户端负责人,目前采集客户端logtail在集团百万规模部署,每天采集上万应用数PB数据,经历多次双11双12考验。

感兴趣or擅长的领域:

更多>
Evan_晓航
Evan_晓航
文章:3丨 粉丝:7丨 话题:0
赵鹏鹏
赵鹏鹏
文章:1丨 粉丝:2丨 话题:0
chenqz
chenqz
文章:18丨 粉丝:73662丨 话题:0
刘洪峰iot
刘洪峰iot
文章:5丨 粉丝:3930丨 话题:0
吴波bruce_wu
吴波bruce_wu
文章:19丨 粉丝:70204丨 话题:0
简志
简志
文章:55丨 粉丝:4384丨 话题:1
更多>
游客2ls7bnvitejgg
游客2ls7bnvitejgg
文章:0丨 粉丝:0丨 话题:0
游客bqpp4msmdrvj4
游客bqpp4msmdrvj4
文章:0丨 粉丝:0丨 话题:0
游客k4nrcjt5pilys
游客k4nrcjt5pilys
文章:0丨 粉丝:0丨 话题:0
游客a33oti64c7e6y
游客a33oti64c7e6y
文章:0丨 粉丝:0丨 话题:0
游客mu24cyv2l6z3y
游客mu24cyv2l6z3y
文章:0丨 粉丝:0丨 话题:0
游客bpdvwmqkcudpc
游客bpdvwmqkcudpc
文章:0丨 粉丝:0丨 话题:0