阿里云存储服务 关注
手机版

【功能发布】日志服务Logtail 2018-08

  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

【功能发布】日志服务Logtail 2018-08

元乙 2018-08-29 19:59:17 浏览365 评论1

摘要: 【功能发布】日志服务Logtail 2018-08

新功能

  • 插件输入新增syslog,支持rfc5424和rfc3164两种协议。
  • 插件数据处理新增processor_filter_key_regex,支持根据日志字段过滤日志。

功能优化

  • Logtail支持手动更新命令(upgrade),升级期间数据不丢失。
  • lumberjack插件支持SSL。
  • 容器数据采集支持_container_ip_
  • 优化容器数据采集中的_image_name_,将hash值改为可读的tag值。

问题修复

  • 容器stdout采集默认去除日志尾的'\n',改善可读性。
  • 优化容器数据采集策略,增加对Job型容器(启动后3秒内退出)的日志采集。

用云栖社区APP,舒服~

【云栖快讯】诚邀你用自己的技术能力来用心回答每一个问题,通过回答传承技术知识、经验、心得,问答专家期待你加入!  详情请点击

网友评论

1F
1157827898168582

你好,我们的日志量比较大,预计在5000-1000条每秒,平均0.7KB每条,想上日志服务,但是领导比较担心logtail的资源占用,想问下这个量级下你们的CPU占用可以只占用单核吗,单核资源消耗是多少,另外想问下Logtail有cgroup限制吗

元乙

你们的日志量算起来不是很大,0.7 * 10000 也就7MB/s,如果你们日志只是每行采集上来(极简模式),也就会消耗10%左右的CPU。如果需要解析并上传,正则优化好一些也最多会占40%左右的CPU。内存比较低,也就几十M左右。
另外Logtail本身不带cgroup限制,Logtail本身就会限制资源,如果有需求你可以再加一层cgroup。
Logtail是目前已知的agent中性能最高的,阿里内部每秒几百兆的都可以搞定。具体可以加钉钉群咨询哈,群号 : 11775223

评论
元乙
文章24篇 | 关注53
关注
针对日志类数据的一站式服务,用户无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能,... 查看详情
提供基于开源Elasticsearch及商业版X-pack插件,致力于数据分析、数据搜索等场... 查看详情
深度挖掘企业与企业、企业与人物的关系,通过多位交叉分析及智能算法,构建基于企业全息画像和企业... 查看详情
为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效... 查看详情
阿里云总监课正式启航

阿里云总监课正式启航