高性能计算应用走入新时代 大计算来临

  1. 云栖社区>
  2. 博客>
  3. 正文

高性能计算应用走入新时代 大计算来临

晚来风急 2017-08-02 10:05:00 浏览744
展开阅读全文

很多人也许觉得高性能计算离我们很远,在高性能计算上的技术发展只能代表纯粹计算技术上的进步。但实际上,随着高性能计算的应用领域越来越广,高性能计算已经走入了一个全新的时代。以前高性能计算主要集中在传统行业领域的研究,如石油、气象、材料、物理和地球科学计算等领域。而近几年随着高性能计算技术快速发展、互联网与传统行业不断地渗透和融合,推动了工业4.0、智能语音、人脸识别、智慧医疗、可穿戴设备等各个领域的快速发展,这些技术改变了我们生活的方方面面,也使得我们的生活越来越便利。

高性能计算不再是高深莫测的科研技术,它已经实实在在地影响着我们的生活。“根植应用,引领创新”也成为高性能计算新的主题。日前,来自传统行业和互联网行业、工业制造行业等新兴领域的专家和用户一起云集于一年一度的高性能计算用户大会,共同讨论高性能计算发展趋势、交流经验、学习新技术。据了解,这个大会最早是由浪潮主办的高性能计算大会,经过数年发展,高性能计算用户大会吸引了英特尔、英伟达、中科院、清华大学、中石油等一批高性能计算领域的海内外知名技术厂商、应用和研究机构参与,逐渐发展成为国内高性能计算领域规模最大的大会,至今已经举办了五届。

中国HPC建设取得举世瞩目的成就

国家863计划“高性能计算机及其核心软件”重大专项总体组组长北京航空航天大学钱德沛教授在接受采访时强调,计算已经从最初的为了计算而发明,渗透到我们生活的各个方面,可以说如果没有计算我们今天的社会将无法运行。美国前不久发布了关注计算的战略,协调美国各方面的力量来发展计算战略能力,支撑美国国家发展和社会进步。我国从2013年也开始做计算战略研究,今年年初的时候已经提出了在十三五期间发展高性能计算的建议。

实际上,近几年来我国在高性能计算硬件系统建设上取得了举世瞩目的成就,今年7月份,在2015国际超算大会上公布了最新的全球高性能计算TOP500排行榜,这是当前全球HPC业界高权威的榜单。中国的天河2号以每秒33.86千万亿次的浮点运算速度继续蝉联了榜单第一名,获得了五连冠,中国HPC再次站在了世界的巅峰。

浪潮高性能计算经理刘军对记者说,十几年前国内大多数高于五百万以上的HPC项目都被国际品牌垄断,而今天国内HPC厂商已经在中国市场上拥有了最高、最多的份额,并且中国HPC已经开始走出国门,为海外的HPC客户提供更好的产品与服务。如浪潮刚刚和思科签约建立合资公司,补全了其产品线,也使浪潮从中国本土公司走向世界,成为一个国际化IT公司添加更强助力。

新兴领域导致大计算成为趋势

在文章开头提到的深度学习、人工智能和工业4.0等新兴领域发展的背景下,“大计算”开始成为一种趋势,它主要体现在两个方面: 第一是云计算、大数据和高性能计算等多种计算形式在逐步融合,互联网技术、遥感技术的快速发展和对其他行业的渗透,带来了数据的爆炸式增长,也带动了人工智能等一批新技术的兴起,复杂的应用使得单一架构的数据中心难以胜任处理工作,需要将不同的计算方式予以融合。

第二是基础架构如计算、网络、存储等的界限也越来越模糊,走向软件定义的趋势。

同时,大计算也代表着一个更大计算力的时代——百亿亿次。数据的爆炸式增长带来的直接结果,就是对计算力的需求更加旺盛。在人类社会的数据量以EB级的速度增长的情况下,需要一种新型的低成本、高效率计算架构(主要是芯片、网络技术的颠覆性变革),才能完成数据处理的工作。

刘军认为在这样一个新的计算时代我们将面临三方面的挑战。首先是我们希望用一个大计算解决所有企业计算架构的问题,但是不同的应用应该具备不同的计算特征,我们需要一个具有适应性的计算环境。第二个挑战是统一的硬件架构需要面对多样的计算挑战,如大数据、科学工程计算和深度学习等,它们对后台的计算架构需求不一样,硬件架构应该如何应对这个挑战。第三个挑战是混合的计算架构如何提供应用需要的灵活性。

浪潮计算+策略实现软件定义的HPC

浪潮今年4月份提出了一个计算+的策略来应对以上三种挑战,其核心理念是通过软件定义的方式实现整个计算架构的融合,将服务器、存储、网络等合为一体。基于这样的策略,浪潮在三个方面进行了准备。

第一是提供一个具有适应性的计算环境。在不同的计算中不同应用对于计算特征的需求完全不同,我们不可能借助一个环境做一切事情浪潮提供了更多的可能性和选择性。如浪潮可以提供32路高端计算设备,明年64路关键应用主机也将推出。单机支持1000核以上的计算能力。虽然这属于小众产品,但是有了它,大规模的工程仿真、机器化的数值天气预报、光谱分析都可以通过这样的模型来完成。此外,浪潮提供高密度的HPC集群产品,在分子动力学、电池模拟、网络安全、深度学习等领域帮助构建计算架构。

第二是融合基础架构。计算、存储和网络正在实现融合,浪潮可以提供一个整机柜式的基础架构平台,它在一个机柜里面用相同的物理规格实现不同的计算功能,通过软件定义的方式实现资源池化和共享。并且在整机柜中,供电和散热也可以实现统一的共享,对于整个机柜所有的计算资源实现统一管理,实现机柜全局管理的融合。

第三是软件定义的HPC。软件定义这个词近些年非常热,应用到HPC中就是在前面适应性的计算环境和融合架构基础上,加上提供软件定义。这里面应该包含软件定义的数据服务、软件定义的网络服务和软件定义的资源服务三个层次。

软件定义的数据服务是指高性能计算、大数据、云计算形成统一的管理,可以支持不同数据格式,为不同的应用提供统一的存储空间。而软件定义的网络服务是指在软件定义的环境中不同应用场景通过软件定义形成不同的拓扑,通过资源通讯密集应用放到网络同一平面上。软件定义的资源服务可以实现资源的服务和调度统一,在物理机和虚拟机之间实现资源分配和迁移,实现计算在本地和云端的统一管理。

为HPC未来做技术储备

除了高性能计算产品的准备,浪潮还和英特尔在四年前成立了中国云计算实验室,为未来做技术储备。刘军透露,这个实验室在过去几年中主要是基于英特尔众核计算技术做一系列相关工作,在两方面取得了比较突出的成果。一个是新的众核计算技术和实际应用的结合,在这个实验室里针对国内主要行业的应用,不论是传统的科学工程计算、石油、气象应用,还是新兴的互联网学习应用都和众核计算结合的非常好。众核技术在性能功耗方面有着非常突出的表现,如果有更多应用发挥出众核计算的优势,不管是对计算性能的提升还是对降低系统功耗都有非常大的作用。

第二个成果是浪潮基于这个联合实验室做了大量人才培养和技术培训的工作。浪潮在每年的ASC超算大赛里都设定相应的采用中和技术解决实际问题的试题,这激发了很多大学生通过这样的机会喜爱上HPC,并且在今后投身到HPC的实验中。

浪潮已经基于联合实验室不断在国内各地甚至香港地区开设了基于众核技术训练班,使得浪潮有原来越多的技术人员、开发人员、学生能够了解学习关于众核技术在HPC的变成和应用,使得新的技术可以更快更好的进入到实际应用当中。


本文作者:佚名

来源:51CTO

网友评论

登录后评论
0/500
评论
晚来风急
+ 关注