元乙 + 关注
阿里云存储服务技术专家

元乙 发表了文章:

系列文章:云原生Kubernetes日志落地方案

发布时间:2019-09-08 23:44:34 浏览:8811 回帖 :0

越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决,授人以鱼不如授人以渔,于是我们把这些年积累的经验以文章的形式发出来,让看到这篇文章的同学能少...

分布式 架构 飞天 日志 日志服务 公共云 微服务 容器 Image 流计算 logging kubernetes

元乙 发表了文章:

OpenTelemetry-可观察性的新时代

发布时间:2019-07-22 10:39:32 浏览:4811 回帖 :0

Ops领域两个网红项目OpenTracing和OpenCensus终于走到了一起,可观察性统一的标准化已经扬帆起航。这篇文章旨在抛砖引玉,希望能够和更多的同学一起交流可观察性相关的内容。

分布式 日志 trace Image 存储 logging 云原生 tracing metric Metrics 分布式链路追踪 OpenTelemetry

元乙 发表了文章:

Kubernetes Ingress日志分析入门

发布时间:2019-06-17 22:00:44 浏览:1894 回帖 :0

本文主要介绍如何基于日志服务构建Kubernetes Ingress日志分析平台,并提供一些简单的动手实验方便大家快速了解日志服务相关功能。

云栖社区 监控 日志 分析 日志服务 配置 集群 容器 Image cdn kubernetes k8s 日志分析 日志采集 ingress

元乙 发表了文章:

阿里PB级Kubernetes日志平台建设实践

发布时间:2019-05-29 21:01:18 浏览:13935 回帖 :0

将在QCon上分享的《阿里PB级Kubernetes日志平台建设实践》整理出来,分享给大家。

日志 配置 集群 容器 Image cdn 数据采集 kubernetes k8s 日志分析

元乙 发表了文章:

Logtail提升采集性能

发布时间:2019-05-21 21:03:39 浏览:1249 回帖 :0

为防止滥用消耗过多机器资源,我们对默认安装的Logtail进行了一系列的资源限制。默认安装的Logtail最多日志采集速度为20M/s,20个并发发送。如需提高采集性能,请参考本篇文章。

性能优化 性能 日志 线程 Json 配置 Logtail CPU 日志采集

元乙 评论了文章:

ALiyun LOG Go Consumer Library 快速入门及原理剖析

发布时间:2019-03-15 18:01:36 浏览:871 回帖 :4

Aliyun LOG Go Consumer Library是用go语言编写的协同消费库,主要处理多个消费者同时消费logstore时自动分配shard问题。 其中消费组会自动处理shard的负载均衡...

Golang Go 函数 日志 LOG 线程 高并发 配置 负载均衡 aliyun string 多线程 Consumer groutine

“盘他”

元乙 发表了文章:

Kubernetes Ingress 日志分析与监控的最佳实践

发布时间:2019-03-14 12:27:54 浏览:21160 回帖 :0

Ingress主要提供HTTP层(7层)路由功能,是目前K8s中HTTP/HTTPS服务的主流暴露方式。为简化广大用户对于Ingress日志分析与监控的门槛,阿里云容器服务和日志服务将Ingress日...

监控 日志 日志服务 SLS 容器 Image 负载均衡 Logtail aliyun 报表 service kubernetes 日志分析 ingress

元乙 发表了文章:

使用Logtail采集Kubernetes上挂载的NAS日志

发布时间:2019-02-26 12:39:46 浏览:2183 回帖 :0

采集k8s挂载Nas后的日志 该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。两种采集方式的实现原理是一样的,都是通过将Logtail和业务容器挂载到相同的NAS上...

nginx 日志 日志服务 LOG path 配置 code 容器 Image Logtail Registry kubernetes k8s 日志采集 NAS

元乙 发表了文章:

最全Kubernetes审计日志方案

发布时间:2019-01-15 13:22:42 浏览:2584 回帖 :0

审计是每个公司必备的安全手段之一,为尽可能减少用户对于审计日志的分析代价,阿里云容器服务将Kubernetes审计日志与日志服务SLS打通,推出了一站式的Kubernetes审计日志方案,让每个用户都...

云栖社区 安全 日志 集群 容器 Image blank 报表 kubernetes k8s 日志分析 审计

元乙 参与了问答:

如果某台机器资源紧张,agent是否会进行自我资源限制?比如现在采集流量或者现在自身消耗的cpu?

如果某台机器资源紧张,agent是否会进行自我资源限制?比如现在采集流量或者现在自身消耗的cpu?

“自我资源限制也是有的,可以从好几个维度控制:Logtail整体的流量、cpu、内存;每个配置的流量(未开放);cpu auto scale等”

元乙 参与了问答:

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

如果单个agent需要采集的数据过多,是否有优先级控制?比如高优保障采集某一部分日志

“高保的场景在公有云比较少(通常一个Logtail的能力是20MB/s,一般用户单机都不会产生那么多数据),在阿里内部是有的,除了多租户隔离以及公平调度,我们也有配置的优先级控制(公有云未开放,有需求可”

元乙 参与了问答:

数以万计的agent如何部署和升级?

数以万计的agent如何部署和升级?

“升级问题,Logtail是支持后端热升级的,也就是说,支持升级的时候数据不丢失。公有云和阿里内部我们后台都会定期去把老的版本升级到最新版本。”

元乙 参与了问答:

logtail有开源计划吗

logtail有开源计划吗

“logtail暂时还没有开源,这个会在今年内开源(2019年)”

元乙 参与了问答:

logtail和log-pilot有啥不同?

logtail和log-pilot有啥不同?

“logtail和log-pilot都是阿里云的日志采集agent,个人觉得都比较优秀。 log-pilot本身不负责采集,主要做容器自动发现,配置管理这块,实际数据采集由内部管理的filebeat或其”

元乙 参与了问答:

这些审计数据,有接口可以获取吗?

这些审计数据,有接口可以获取吗?

“有的,我们支持非常多语言的SDK,采集到日志服务后可以自己用SDK拿到数据,也可以用流计算引擎订阅处理。”

元乙 发表了文章:

Kubernetes日志采集Sidecar模式介绍

发布时间:2018-10-10 21:38:56 浏览:15279 回帖 :2

DaemonSet和Sidecar模式各有优缺点,目前没有哪种方式可以适用于所有场景。因此我们阿里云日志服务同时支持了DaemonSet以及Sidecar两种方式,并对每种方式进行了一些额外的改进,更...

日志 日志服务 配置 集群 容器 Image Logtail aliyun html kubernetes k8s 日志采集

元乙 发表了文章:

Logtail从入门到精通(六):工作原理简介

发布时间:2018-09-12 11:42:10 浏览:2198 回帖 :0

Logtail数据采集原理介绍,包括文件采集原理以及插件采集原理。

日志 日志服务 数据处理 配置 Logtail 插件 数据采集 日志采集 原理介绍 日志处理 从入门到精通

元乙 发表了文章:

IOT/智能设备日志解决方案(3):上下游对接

发布时间:2018-09-10 10:31:26 浏览:1890 回帖 :1

当数据从遍布全球的设备端以及服务端采集上来后,最先会到达数据队列。队列承载所有数据的入口和出口,必须具备的两大能力是: * 丰富的上下游对接能力:数据要能从各种方式接入上来,也能够非常容易的对接各个...

云栖社区 监控 日志 数据仓库 Image 弹性伸缩 解决方案 物联网 IOT 流计算 智能设备 日志解决方案 r=日志服务

元乙 发表了文章:

IOT/智能设备日志解决方案(2):全方位数据采集

发布时间:2018-09-10 10:28:59 浏览:3273 回帖 :1

LogHub提供[30+种开箱即用的数据采集手段],包括直接和云产品打通的日志、移动端、服务端、程序、SDK、网页、嵌入端等。在[全方位日志采集](https://yq.aliyun.com/arti...

docker 服务器 日志 日志服务 配置 Image Logtail aliyun 解决方案 物联网 IOT 数据采集 智能设备 日志解决方案 数据解决方案

元乙 发表了文章:

IOT/智能设备日志解决方案(1):概述

发布时间:2018-09-10 10:26:33 浏览:2709 回帖 :0

无论是物联网还是智能设备,规模都越来越大,产业分工也越来越明确,逐渐形成一整套的生态系统。而同时无论是物联网还是智能设备的生态系统中,日志数据永远是不可缺少的一个重要环节。

数据存储与数据库 监控 消息队列 日志 日志服务 SLS 解决方案 物联网 IOT 离线分析 数据采集 智能设备 日志解决方案

3
阿里云日志服务数据采集客户端负责人,目前采集客户端logtail在集团百万规模部署,每天采集上万应用数PB数据,经历多次双11双12考验。

感兴趣or擅长的领域:

更多>
Evan_晓航
Evan_晓航
文章:2丨 粉丝:6丨 话题:0
赵鹏鹏
赵鹏鹏
文章:1丨 粉丝:2丨 话题:0
chenqz
chenqz
文章:18丨 粉丝:45954丨 话题:0
刘洪峰iot
刘洪峰iot
文章:0丨 粉丝:2574丨 话题:0
吴波bruce_wu
吴波bruce_wu
文章:16丨 粉丝:42388丨 话题:0
简志
简志
文章:53丨 粉丝:3324丨 话题:1
更多>
游客ws72c44zaqew4
游客ws72c44zaqew4
文章:0丨 粉丝:0丨 话题:0
游客adzm5ytjyjt7o
游客adzm5ytjyjt7o
文章:0丨 粉丝:0丨 话题:0
游客qkp5bg6klenu2
游客qkp5bg6klenu2
文章:0丨 粉丝:0丨 话题:0
游客6jhjx3dbfijkm
游客6jhjx3dbfijkm
文章:0丨 粉丝:0丨 话题:0
游客6ebaaexvl5464
游客6ebaaexvl5464
文章:0丨 粉丝:0丨 话题:0
游客oodceb7oagyfs
游客oodceb7oagyfs
文章:0丨 粉丝:0丨 话题:0