在阿里云HPC上用容器服务一键部署和运行WRF解决方案

本文涉及的产品
容器镜像服务 ACR,镜像仓库100个 不限时长
简介: 利用阿里云HPC和容器服务,可以在云端快速的部署和执行气象模拟应用,让传统的WRF(气象预报模型)应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从高性能弹性计算、负责均衡到对象存储,日志、监控等等。

背景

众所周知,容器技术的出现深刻改变了软件交付的方式:

  • 敏捷: 秒级应用启动、轻量级隔离、细粒度资源控制、低性能损耗
  • 标准化:版本管理可追溯。
  • 可移植性: 环境无关的交付、部署方式;可用于软件生命周期中不同运行环境。
    这些能力不但影响了企业软件的开发、构建和交付模式,提高了交付效率和可靠性,也对于像WRF(Weather Research Forecast)这类大型开源气象科学预报软件产生了潜移默化的影响。美国国家大气研究中心(NCAR,也是WRF的开发方)于2016年开源了自己的容器化解决方案。 而阿里云HPC团队和容器服务团队在NCAR方案的基础上进行了改进和增强,在保持高性能的同时,方便您实现一键式的部署和运行WRF,将复杂的WRF工作变成一个高效,可控的自动化流程。

注: 为节省篇幅,会将美国国家大气研究中心统称为NCAR

痛点

美国国家大气研究中心(NCAR)容器化WRF并非无痛呻吟,作为WRF的开发方,维护者和主要使用者,对于WRF这个在工业界和学术界得到广泛使用的数值天气预测软件,NCAR面临这如下挑战:

  • 编译和执行WRF非常复杂,需要专业的知识和大量的时间准备,很久才能得到结果

    • 代码量巨大
    • 非常多的软件依赖
    • 配置容易出错,很难排查
    • 经常需要数周的准备才能将WRF运行起来并且得到结果
  • WRF本身的部署难度给基于MPI的WRF的高扩展性带来了困难
  • WRF迭代迅速,而部署构建困难导致许多公司和研究机构依然使用3.4.1版本的WRF,造成了极大的维护成本
  • 初学者抱怨搭建WRF难度过大,对于软件知识要求太高,导致入门花的时间太多
  • 研究者发现重现数值天气预报的难度极大,因为机器不同,编译器配置不同,以及复杂的配置和流程

而这些痛苦也是中国的WRF使用者遭遇到的,为了解决这个问题,阿里云容器服务给出以下解决方案:

方案

整个方案分为下面几个步骤:

  • 通过容器镜像标准化WRF的构建和配置,同时实现一次构建到处运行
    -客户可以直接使用阿里云Dockerfile,也可以对其进行改进和替换
  • 利用OSSFS上传WRF配置文件,WPS配置文件, 气象数据以及地理基础数据,

  • 利用容器服务一键式部署和WRF应用,并且将运行出的数据导出到OSS上,并可以直接下载

    • 可以通过参数配置指定运行方式
  • 利用容器服务一键式部署和运行NCL应用,将WRF运算出的结果通过NCL绘图出来

上图所列的是通过阿里云提供高性能计算,容器服务和OSS实现一键式的从数据到计算再产生数据的全过程。

这样就可以看到气象的走势

Precip_total.gif Surface_multi.gif

总结

可以看到,利用阿里云HPC和容器服务,您除了可以获得高性能计算的洪荒之力,还可以简单的掌控这种能力,降低使用门槛,真正实现弹性的高性能计算。利用阿里云的能力,我们可以在云端快速的部署和执行气象模拟应用,让传统的WRF应用焕发新的魅力。阿里云为气象预测提供了丰富的基础设施,从弹性计算、负责均衡到对象存储,日志、监控等等。
具体来说:

  • 帮助客户构建标准化可追溯的容器镜像

    • 让客户很清楚自己在WRF上配置了什么,并且很容易复制自己的配置
    • 将系统构建过程透明化,整个架构可描述,降低运维成本,避免人员变化带来的隐患
  • 加快交付速度,缩短投产时间(从周到小时)

    • 支持WRF应用的一键式部署和执行
    • 无需提前软件依赖,几个小时内WRF就开始工作
  • 支持本地和云上构建和测试,保持一致性
  • 国际上WRF的版本演进非常迅速,紧跟国际潮流,保持更新速度
  • 多种软件及配置组合比较,最优性能选择

想了解更多容器服务内容,请访问 https://www.aliyun.com/product/containerservice

想了解如何在HPC上使用容器服务,请访问https://help.aliyun.com/document_detail/48631.html

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
容器应用与集群管理
欢迎来到《容器应用与集群管理》课程,本课程是“云原生容器Clouder认证“系列中的第二阶段。课程将向您介绍与容器集群相关的概念和技术,这些概念和技术可以帮助您了解阿里云容器服务ACK/ACK Serverless的使用。同时,本课程也会向您介绍可以采取的工具、方法和可操作步骤,以帮助您了解如何基于容器服务ACK Serverless构建和管理企业级应用。 学习完本课程后,您将能够: 掌握容器集群、容器编排的基本概念 掌握Kubernetes的基础概念及核心思想 掌握阿里云容器服务ACK/ACK Serverless概念及使用方法 基于容器服务ACK Serverless搭建和管理企业级网站应用
目录
相关文章
|
7天前
|
存储 Kubernetes Docker
容器服务ACK常见问题之阿里云控制台进不去了如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。
|
15天前
|
Oracle 关系型数据库 数据库
|
1月前
|
弹性计算 数据安全/隐私保护
【畅玩雾锁王国】阿里云一键部署雾锁王国/Enshrouded游戏服务端教程
【畅玩雾锁王国】阿里云一键部署雾锁王国/Enshrouded游戏服务端教程。本文将为您提供极简部署雾锁王国服务器的指引,「仅需轻点三次鼠标,即可完成开服」,和自己的朋友一起enjoy独立畅快的游戏体验。
62 0
|
1月前
|
人工智能 运维 Kubernetes
阿里云容器服务ACK AI助手正式上线带来的便利性
作为开发者想必大家都知道,云原生容器技术的优势,尤其是近两年的随着容器技术的迅猛发展,Kubernetes(K8s)已成为广泛应用于容器编排和管理的领先解决方案,但是K8s的运维复杂度一直是挑战之一。为了应对这一问题,就在最近,阿里云容器服务团队正式发布了ACK AI助手,这是一款旨在通过大模型增强智能诊断的产品,旨在帮助企业和开发者降低Kubernetes(K8s)的运维复杂度。那么本文就来详细讲讲关于这款产品,让我们结合实际案例分享一下K8s的运维经验,探讨ACK AI助手能否有效降低K8s的运维复杂度,并展望ACK AI助手正式版上线后的新功能。
51 2
阿里云容器服务ACK AI助手正式上线带来的便利性
|
25天前
|
Linux 开发工具 C语言
Centos8下编译安装最新版ffmpeg解决方案(含Centos8换源阿里云)
Centos8下编译安装最新版ffmpeg解决方案(含Centos8换源阿里云)
100 3
|
11天前
|
弹性计算 运维 安全
2024年阿里云一键搭建部署幻兽帕鲁服务器解决方案
幻兽帕鲁火了,为了确保畅快体验游戏,构建高效、稳定的游戏服务器至关重要。幸运的是,阿里云为您提供了快速、简便的服务器搭建解决方案,即使您对技术知识了解有限,也能在短短一分钟内轻松完成《幻兽帕鲁》游戏的联机服务器搭建!
760 0
|
1月前
|
弹性计算 Ubuntu Linux
2024年如何在阿里云主机实现一键部署【幻兽帕鲁/Palworld】游戏?
《幻兽帕鲁》是最近非常火爆的一款游戏,由 Pocketpair 开发,是一款开放世界生存制作游戏,游戏于 2024 年 1 月 18 日发行抢先体验版本。游戏中,玩家可以在广阔的世界中收集神奇的生物 " 帕鲁 ",派他们进行战斗、建造、做农活,工业生产等。本文将详细介绍如何在阿里云服务器实现一键部署幻兽帕鲁联机服务器,帮助大家快速搭建自己的游戏联机服务器。
|
2天前
|
弹性计算 缓存 Kubernetes
什么是阿里云弹性容器实例?弹性容器实例优势及应用场景介绍
弹性容器实例是阿里云的云服务器产品,使用弹性容器实例之后,用户无需管理底层 ECS 服务器,只需要提供打包好的镜像,即可运行容器,与阿里云容器服务无缝对接并仅为容器实际运行消耗的资源付费。本文介绍了阿里云弹性容器实例的、功能特性、产品优势及应用场景。
什么是阿里云弹性容器实例?弹性容器实例优势及应用场景介绍
|
9天前
|
存储 Kubernetes 搜索推荐
作为k8s容器运行时,containerd跟docker的对比
作为k8s容器运行时,containerd跟docker的对比
111 0
作为k8s容器运行时,containerd跟docker的对比
|
10天前
|
JavaScript Shell Docker

相关产品

  • 容器镜像服务
  • 容器服务Kubernetes版