“Hack”阿里云Kubernetes的Scheduler的日志级别

简介: ### 问题 阿里云的Kubernetes容器服务,默认已经根据生产的要求创建好了3个master的高可用集群。每个master节点都部署了对应的apiserver, controller, scheduler。对于一些高级用户,特别是在开发测试阶段,或许需要调整这些组件的日志级别来dubug其运行的行为,则需要手工做一下日志级别的调整。那么我们需要了解阿里云的kubernetes是如何配置

问题

阿里云的Kubernetes容器服务,默认已经根据生产的要求创建好了3个master的高可用集群。每个master节点都部署了对应的apiserver, controller, scheduler。对于一些高级用户,特别是在开发测试阶段,或许需要调整这些组件的日志级别来dubug其运行的行为,则需要手工做一下日志级别的调整。那么我们需要了解阿里云的kubernetes是如何配置,从而“hack”它。

了解阿里云Kubernetes的部署方式

Docker的部署

Docker是通过systemd部署,可以登录到一台master,通过

systemctl status docker

查看docker daemon的状态,从而知道docker的配置在/usr/lib/systemd/system/docker.service
可以查看改文件知道,docker的日志配置:
image.png

那么可以知道容器的stdout的日志将存在容器的目录里,文件为/var/lib/docker/containers/<container-id>/<container-id>-json.log

Kubelet的部署方式

Kubelet也是通过systemd部署,可以登录到一台master,通过

systemctl status kubelet

查看kubelet的运行状态,从而知道kubelet的配置在/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
可以查看改文件知道,kubelet的运行配置为:
image.png
红色框是配置static pod的对应的yaml文件所在的路径:/etc/kubernetes/manifests

Static Pod的使用和原理可以参见:https://kubernetes.io/docs/tasks/administer-cluster/static-pod/

scheduler的日志启动参数

进入/etc/kubernetes/manifests目录,可以看到有三个文件,这个就是apiserver, scheduler, controller的pod的运行yaml文件

对云的scheduler的podyaml文件是:kube-scheduler.yaml,相关的配置就在这里面。从配置可以知道,该scheduler pod是直接输出到stdout的,那么它的日志对应文件就在之前说的容器的目录里。

Kubernetes scheduler的日志级别配置

Kubernetes的scheduler的日志配置第一反应就是去改配置参数,但是比较坑的是kube-scheduler --help输出的提示是:

image.png

尽然没有说配置的可选值是什么,然后官网的文档也没有说怎么配置,连-v参数都不说
不得不去google,最后找到一下文档:

https://github.com/kubernetes/community/blob/master/contributors/devel/logging.md

Hack scheduler日志级别实践

从上面的信息我们已经知道了scheduler的运行方式,以及了解了日记级别的配置,那么hack就简单多了

  • 修改 /etc/kubernetes/manifests/kube-scheduler.yaml 增加. -v=4的配置

image.png

  • 等待kubelet重启对应的pod,可以通过docker ps | grep scheduler 来看对应的pod是否已经重启
  • docker ps | grep scheduler 获得对应的container id
  • 查看对应的 /var/lib/docker/containers/<container-id>/<container-id>-json.log就可以获得对应的日志了

总结

如果需要“hack”其它组件也是类似的原理。不过提醒大家,这个只能是作为开发/测试需要时才使用。在生产环境还是要保留原有的方式,毕竟那个是经过生产检验过的配置方式。

相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务&nbsp;ACK 容器服务&nbsp;Kubernetes&nbsp;版(简称&nbsp;ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情:&nbsp;https://www.aliyun.com/product/kubernetes
目录
相关文章
|
1月前
|
存储 Kubernetes Docker
容器服务ACK常见问题之阿里云控制台进不去了如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
2月前
|
人工智能 运维 Kubernetes
阿里云容器服务ACK AI助手正式上线带来的便利性
作为开发者想必大家都知道,云原生容器技术的优势,尤其是近两年的随着容器技术的迅猛发展,Kubernetes(K8s)已成为广泛应用于容器编排和管理的领先解决方案,但是K8s的运维复杂度一直是挑战之一。为了应对这一问题,就在最近,阿里云容器服务团队正式发布了ACK AI助手,这是一款旨在通过大模型增强智能诊断的产品,旨在帮助企业和开发者降低Kubernetes(K8s)的运维复杂度。那么本文就来详细讲讲关于这款产品,让我们结合实际案例分享一下K8s的运维经验,探讨ACK AI助手能否有效降低K8s的运维复杂度,并展望ACK AI助手正式版上线后的新功能。
269 2
阿里云容器服务ACK AI助手正式上线带来的便利性
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群监控与日志管理实践
【2月更文挑战第29天】 在微服务架构日益普及的当下,Kubernetes 已成为容器编排的事实标准。然而,随着集群规模的扩大和业务复杂度的提升,有效的监控和日志管理变得至关重要。本文将探讨构建高效 Kubernetes 集群监控系统的策略,以及实施日志聚合和分析的最佳实践。通过引入如 Prometheus 和 Fluentd 等开源工具,我们旨在为运维专家提供一套完整的解决方案,以保障系统的稳定性和可靠性。
|
22天前
|
消息中间件 Kubernetes Kafka
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
Terraform阿里云创建资源1分钟创建集群一键发布应用Terraform 创建 Kubernetes 集群
16 0
|
1月前
|
Prometheus 监控 Kubernetes
Kubernetes 集群的监控与日志管理实践
【2月更文挑战第31天】 在微服务架构日益普及的今天,容器编排工具如Kubernetes已成为部署、管理和扩展容器化应用的关键平台。然而,随着集群规模的扩大和业务复杂性的增加,如何有效监控集群状态、及时响应系统异常,以及管理海量日志信息成为了运维人员面临的重要挑战。本文将深入探讨 Kubernetes 集群监控的最佳实践和日志管理的高效策略,旨在为运维团队提供一套系统的解决思路和操作指南。
27 0
|
1月前
|
Kubernetes 监控 调度
|
3月前
|
存储 监控 Serverless
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况
在处理阿里云函数计算3.0版本的函数时,如果遇到报错但没有日志信息的情况【1月更文挑战第23天】【1月更文挑战第114篇】
63 5
|
3月前
|
Kubernetes 容器
阿里云OpenAPI咋取到ack集群的Deployment呀?
阿里云OpenAPI咋取到ack集群的Deployment呀?【1月更文挑战第17天】【1月更文挑战第84篇】
22 2
|
3月前
|
存储 监控 数据挖掘
阿里云函数计算的日志可以通过两种方式进行处理
【1月更文挑战第16天】【1月更文挑战第76篇】阿里云函数计算(Function Compute)的日志可以通过两种方式进行处理
57 1
|
3月前
|
人工智能 运维 Kubernetes
期待已久!阿里云容器服务 ACK AI 助手正式上线
期待已久!阿里云容器服务 ACK AI 助手正式上线

推荐镜像

更多