关于k8s集群容器日志收集的总结

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 容器日志存在形式 目前容器日志有两种输出形式: 1、 stdout,stderr标准输出 这种形式的日志输出我们可以直接使用docker logs查看日志,k8s集群中同样集群可以使用kubectl logs类似的形式查看日志。

容器日志存在形式

目前容器日志有两种输出形式:

1、 stdout,stderr标准输出

这种形式的日志输出我们可以直接使用docker logs查看日志,k8s集群中同样集 群可以使用kubectl logs类似的形式查看日志。

2、日志文件记录

这种日志输出我们无法从以上方法查看日志内容,只能tail日志文件查看。

在k8s官方文档中,对于以上两种形式的日志形式我们如果想收集并分析日志的话,官方推荐以下两种对策:
对于第一种文档中这样说:

When a cluster is created, the standard output and standard error output of each container can be ingested using a Fluentd agent running on each node into either Google Cloud Logging or into Elasticsearch and viewed with Kibana.

When a Kubernetes cluster is created with logging to Google Cloud Logging enabled, the system creates a pod called fluentd-cloud-logging on each node of the cluster to collect Docker container logs. These pods were shown at the start of this blog article in the response to the first get pods command.

就说说集群启动时会在每个机器启动一个Fluentd agent收集日志然后发送给
Elasticsearch。
实现方式是每个agent挂载目录/var/lib/docker/containers使用fluentd的tail插件扫描每个容器日志文件,直接发送给Elasticsearch。

对于第二种:

  1. A second container, using the gcr.io/google_containers/fluentd-sidecar-es:1.2 image to send the logs to Elasticsearch. We recommend attaching resource constraints of 100m CPU and 200Mi memory to this container, as in the example.
  2. A volume for the two containers to share. The emptyDir volume type is a good choice for this because we only want the volume to exist for the lifetime of the pod.
  3. Mount paths for the volume in each container. In your primary container, this should be the path that the applications log files are written to. In the secondary container, this can be just about anything, so we put it under /mnt/log to keep it out of the way of the rest of the filesystem.
  4. The FILES_TO_COLLECT environment variable in the sidecar container, telling it which files to collect logs from. These paths should always be in the mounted volume.

其实跟第一种类似,但是是把Fluentd agent起在业务同一个pod中共享volume然后实现对日志文件的收集发送给Elasticsearch

fluentd分析

2016121461970fluentd-architecture.png

对于fluentd官方对其的定义是:

统一日志层

Fluentd通过在后端系统之间提供统一的日志记录层来从后端系统中解耦数据源。
此层允许开发人员和数据分析人员在生成日志时使用多种类型的日志。
统一的日志记录层可以让您和您的组织更好地使用数据,并更快地在您的软件上进行迭代。
也就是说fluentd是一个面向多种数据来源以及面向多种数据出口的日志收集器。另外它附带了日志转发的功能。

fluentd特点

  1. 部署简单灵活
  2. 开源
  3. 经过验证的可靠性和性能
  4. 社区支持,插件较多
  5. 使用json格式事件格式
  6. 可拔插的架构设计
  7. 低资源要求
  8. 内置高可靠性

fluentd与Logstash

2016121448323logstash_fluentdcomparison.png

引用一张图对比这两个日志收集工具。具体它们两个项目的对比请参考:

Fluentd vs. Logstash: A Comparison of Log Collectors1

fluentd与zeroMQ

把这两个产品放在一起比较实属不怎么合适,因为它们属于不同的阵营,完成不同的功能需求。由于fluentd具有消息转发的功能,姑且将其与以zeroMQ为例的消息中间件的关系做个说明:
在大型系统架构中,有使用zeroMQ进行大量的日志转发工作。在fluentd中有两个项目完成日志的中转路由的任务:golang编写的:fluentd-forwarder 和c写的fluent-bit

那么是否意味着你需要做出选择呢?其实不然。
着眼fluentd的定义和zeroMQ的定义。其实它们是一种合作关系。如果你是大型的架构系统,日志量很庞大。我推荐你使用fluentd进行日志收集,将zeroMQ作为fluentd的出口。就是说fluentd完成统一收集,zeroMQ完成日志传输。如果你的系统并不庞大,你就无需zeroMQ来传输了。

因此你也无需关注这两个产品的性能比较。虽然它们都有高性能的定义。

zeroMQ的性能测试结果:zeroMQ 与JeroMQ性能对比1

容器日志收集总结

如上所描述的一样,无论你的业务容器日志呈现方式有什么不同,你都可以使用统一的日志收集器收集。以下简介三种情况下日志手机方式推荐:

  1. k8s集群
    这种方式上文中已经提到了官方的解决方案,你只需要安装此方案部署即可。
  2. docker swarm集群
    docker swarm目前暂时没有提供日志查看机制。但是docker cloud提供了与kubectrl logs类似的机制查看stdout的日志。目前还没有fluentd插件直接对服务进行日志收集,暂时考虑直接使用使用跟容器一样的机制收集。docker service create 支持--log-driver
  3. 自己部署的docker容器
    从docker1.8内置了fluentd log driver。以如下的形式启动容器,容器stdout/stderr日志将发往配置的fluentd。如果配置后,docker logs将无法使用。另外默认模式下如果你配置得地址没有正常服务,容器无法启动。你也可以使用fluentd-async-connect形式启动,docker daemon则能在后台尝试连接并缓存日志。
docker run --log-driver=fluentd --log-opt fluentd-address=myhost.local:24224

同样如果是日志文件,将文件暴露出来直接使用fluentd收集。

好雨云帮对kubernetes服务日志的统一处理方式

需求是什么?

云帮的公有云服务,平台上跑着有企业级应用和小型用户应用。我们怎么做到统一的日志收集和展示?又怎么做到面对企业级应用的日志输出和分析?
上面提到的方式不能完全解决我们的问题。

实践

首先目前kubernetes版本(v1.5.1)还不支持pod级别的日志log-driver设置,但是我们知道容器是可以设置log-driver的。这里1也有关于这个问题的讨论。我们为了实现在用户网络(即pod容器网络)下的可配置日志转发方式。我们暂时修改了kubernetes源码使其支持设置容器的log-driver。默认情况下我们使用自己实现的zeroMQ-driver直接将容器日志通过0MQ发到日志统一处理中心。在处理中心统一完成下一步处理。如果平台用户需要将日志向外输出或者直接对接平台内日志分析应用,我们的处理是在应用pod中启动日志收集插件容器(封装扩展的fluentd),根据用户的需要配置日志出口,实现应用级日志收集。这里你需要明确的是:容器日志首先是由docker-daemon收集到,再根据容器log-driver配置进行相应操作,也就是说如果你的宿主机网络与容器网络不通(k8s集群),日志从宿主机到pod中的收集容器只有两种方式:走外层网络,文件挂载。
我们采用文件挂载方式。

本文转自开源中国-关于k8s集群容器日志收集的总结

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
7天前
|
缓存 Kubernetes Docker
容器服务ACK常见问题之容器服务ACK ingress websocket配置失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
7天前
|
存储 运维 Kubernetes
容器服务ACK常见问题之容器服务ACK 淘宝源过期了如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
8天前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
3天前
|
Kubernetes Cloud Native Docker
【云原生】kubeadm快速搭建K8s集群Kubernetes1.19.0
Kubernetes 是一个开源平台,用于管理容器化工作负载和服务,提供声明式配置和自动化。源自 Google 的大规模运维经验,它拥有广泛的生态支持。本文档详细介绍了 Kubernetes 集群的搭建过程,包括服务器配置、Docker 和 Kubernetes 组件的安装,以及 Master 和 Node 的部署。此外,还提到了使用 Calico 作为 CNI 网络插件,并提供了集群功能的测试步骤。
122 0
|
6天前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
12 0
|
7天前
|
存储 Kubernetes 监控
容器服务ACK常见问题之容器服务ACK启动时readiness告警如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
7天前
|
存储 监控 Kubernetes
容器服务ACK常见问题之cmonitor-agent容器一直没起来如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
7天前
|
存储 Kubernetes 监控
容器服务ACK常见问题之容器服务ACK worker节点选择不同地域失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
7天前
|
弹性计算 运维 Kubernetes
容器服务ACK常见问题之线上的K8s一直waiting如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
7天前
|
存储 Kubernetes 前端开发
容器服务ACK常见问题之把容器的时间改成宿主机的时区失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。

相关产品

  • 容器服务Kubernetes版