阿里云容器服务Kubernetes 基于GPU指标自动伸缩

  1. 云栖社区>
  2. 博客>
  3. 正文

阿里云容器服务Kubernetes 基于GPU指标自动伸缩

萧元 2018-10-19 10:51:00 浏览2142
展开阅读全文

基于GPU的指标扩缩容

在深度学习训练中,训练完成的模型,通过Serving服务提供模型服务。本文介绍如何构建弹性自动伸缩的Serving服务。

Kubernetes 支持HPA模块进行容器伸缩,默认支持CPU和内存等指标。原生的HPA基于Heapster,不支持GPU指标的伸缩,但是支持通过CustomMetrics的方式进行HPA指标的扩展。我们可以通过部署一个基于Prometheus Adapter 作为CustomMetricServer,它能将Prometheus指标注册的APIServer接口,提供HPA调用。 通过配置,HPA将CustomMetric作为扩缩容指标, 可以进行GPU指标的弹性伸缩。

前提

您需要创建一个容器服务Kubernets集群,并完成GPU监控部分的部署 阿里云容器Kubernetes监控- GPU监

网友评论

登录后评论
0/500
评论
萧元
+ 关注