高速计算+海量存储 浪潮服务器让中国“看得更清”

简介:

由近两百台浪潮双路服务器NF5270M4搭建成的集群存储系统,为高分卫星地面数据处理系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,有效的提升了我国全球数据及时获取、接收和处理的能力,实现了对中国及周边地区多尺度、近实时的高分辨率观测能力。

 高速计算+海量存储 浪潮服务器让中国看得更清

浪潮服务器NF5270M4支撑高分专项地面数据处理系统

卫星那些事儿,离你并不远

发射卫星,跟百姓生活有什么关系吗?我们经常能听到这样的疑问。在许多人看来,航天技术高高在上,与我们的日常生活相去甚远。然而事实上,遥感、通信、导航等卫星的应用早与你我生活密不可分。利用风云气象卫星云图制作的天气预报,每天近10亿人收看;通过通信广播卫星,大众能随时了解信息变化;最近火起来的共享自行车使用的就是卫星提供的服务……

2006年,《国家中长期科学与技术发展规划纲要(2006-2020年)》把高分辨率对地观测系统列为当年部署的16个重大专项之一,是中国着手研发的新一代高分辨率对地观测系统。2010年5月,"高分专项"全面启动,这是一个非常庞大的遥感技术项目,包含至少7颗卫星和其他观测平台,分别编号为"高分一号"到"高分七号",都将在2020年前发射并投入使用。"高分"系列卫星覆盖了从全色、多光谱到高光谱,从光学到雷达,从太阳同步轨道到地球同步轨道等多种类型,构成了一个具有高空间分辨率、高时间分辨率和高光谱分辨率能力的对地观测系统。

想要"看得更清" 数据处理能力成关键

高分专项相关工作人员介绍到:"资源卫星成功发射升空后,资源卫星中心根据任务需要,相机进行照相并将图像信息等压缩成数字信息,再传到地面接收站,由数据处理中心将数字信息处理成图像,遥感专家再根据任务的需要对图像进行解译和判读,形成分析报告提供给农业、林业、水利、国土资源、城市规划、环境保护、灾害监测、海洋、测绘、国防建设等有关部门和单位。"

想要实现"看得更清"的目的,承担遥感卫星图像数据的存取和处理任务的地面数据处理系统必须具备极高的数据处理能力。以2*450Mbps极化复用商用遥感卫星为例,其每天接收的原始数据约为10TB,而这些数据都要存储在地面数据处理系统之中,同时系统还要随时承担应用数据调取和冷数据归档等数据IO任务。因此,地面数据处理系统呈现出大数据量、高IO带宽、多应用并等特点。

而随着高分卫星数据的不断增加,卫星应用的不断升级,后端地面数据处理系统对于卫星数据的存储和处理能力需求也在不断增加。想要"看得更清",高分辨率对对地观测系统地面数据处理系统的全面升级和扩展迫在眉睫。

对症下药才能药到病除

想要突破高分专项地面数据处理系统存储和计算能力的瓶颈,必须找到系统问题的根源,才能对症下药。浪潮工程师通过对用户业务进行分析,发现:

首先,此种平台应用具有系统数据存储量大,数据IO峰值并发高,应用类型复杂等多个特点,这对集群存储系统的压力极大。因此,必须采用拥有大容量、高IO、高可用的服务器设备。

其次,伴随着业务的发展与技术的革新,数据资料的数量会不断增加、体积会不断变大。因此,需要集群存储系统具备极强的扩展能力,能够在业务不中断的情况下进行容量和性能的提升,满足不断发展的业务需求。

再次,由于用户数据的重要性,本系统相对同类产品必须具有技术先进性和前瞻性,保证在足够长的年限内满足业务的需求。

针对这些特点和问题,浪潮工程师用数百台浪潮双路服务器NF5270M4帮助高分辨率对地观测系统地面数据处理系统搭建集群存储系统,存储系统软件使用的是集群文件系统,这是一个高度容错性的系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,适合部署在高性价比的服务器上。根据该系统的应用特性,浪潮提供了双路服务器NF5270M4服务器,为用户提供高性价比、高硬盘密度、灵活部署的集群存储服务器解决方案。

浪潮双路服务器NF5270M4

浪潮NF5270M4采用全新智能计算加速技术,搭载英特尔最新E5 v4处理器,可根据用户应用智能调节提供更优性能,应用性能显著提升。采用最新的DDR4内存技术,内存带宽提升50%。相比DDR3,传输速率提高2~4倍,但耗电量却大幅减少,在相同传输速率下,功率降低高达57.1%。为适配卫星数据大容量,高并行性等特点,NF5270M4超大存储空间为高分系统的大数据平台提供足够的存储空间及响应速度。

整个集群存储系统采用管理网络与业务网络分离的方式进行部署,所有的集群存储服务器分别连接千兆管理网络和万兆业务网络,并通过10Gb/s和40Gb/s上联端口将整个系统上联到资源卫星中心已有的核心交换网络中,无缝接入到已有的系统当中。

高分专项 利国利民

本着先进性、开放性、易管理、安全性、可靠性和经济性等原则,依托浪潮服务器建设的高分专项(民用部分)地面数据处理系统建设完成后,将为原有系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,提升我国全球数据及时获取、接收和处理的能力,实现对中国及周边地区多尺度、近实时的高分辨率观测能力。

"高分专项"的实施,将全面提升中国自主获取高分辨率观测数据的能力,加快中国空间信息应用体系的建设,推动卫星及应用技术的跨越发展,有力保障现代农业、防灾减灾、资源环境、国家安全的重大战略,大力支撑国土调查与利用、地理测绘、海洋和气候气象观测、水利和林业资源监测、城市和交通精细化管理、疫情评估与公共卫生应急、地球系统科学研究等重点领域应用需求,积极支持区域示范应用,加快推动空间信息产业发展。


原文发布时间为: 2017年7月11日

本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。

相关文章
|
1月前
|
存储 机器学习/深度学习 弹性计算
ecs实例规格存储和I/O需求
阿里云ECS提供多种实例类型满足不同需求:通用型适合中小型应用;计算型强调CPU性能,适合大数据分析;存储型针对高I/O场景,如数据库;内存型适合内存敏感应用;GPU型用于GPU加速任务;异构计算型包含FPGA、ASIC。实例搭配不同性能的云盘(如ESSD)以调整IOPS和吞吐量。选择实例时,需综合考虑应用对计算、内存和存储I/O的需求。
15 1
|
1天前
|
存储 算法 数据挖掘
服务器数据恢复—昆腾存储StorNext文件系统数据恢复案例
服务器数据恢复环境: 昆腾某型号存储,8个存放数据的存储柜+1个存放元数据的存储柜。 元数据存储:8组RAID1阵列+1组RAID10阵列+4个全局热备硬盘。 数据存储:32组RAID5阵列,划分2个存储系统。 服务器故障: 数据存储的1个存储系统中的一组RAID5阵列中有2块硬盘先后出现故障离线,导致该RAID5阵列失效,整个存储系统崩溃不可用。
服务器数据恢复—昆腾存储StorNext文件系统数据恢复案例
|
30天前
|
缓存 编解码 前端开发
2024年阿里云服务器经济型e、通用算力型u1及计算型、通用型实例适用场景参考
目前阿里云的活动中提供了多种云服务器实例规格,包括经济型e、通用算力型u1、计算型c7/a系列和通用型g7/a系列等,适用于不同场景。实例规格定义了CPU、内存等配置,影响计算和存储能力。本文主要为大家介绍了阿里云服务器的实例规格是什么,并汇总了阿里云轻量应用服务器和阿里云服务器e/u1/c7/c7a/c8a/c8y/g7/g7a/g8a/g8ae实例规格适用场景,以供参考。
2024年阿里云服务器经济型e、通用算力型u1及计算型、通用型实例适用场景参考
|
1月前
|
物联网 大数据 云计算
未来趋势:无服务器计算的崛起
随着云计算技术的发展,无服务器计算作为一种新兴的计算模式正逐渐受到关注。本文将探讨无服务器计算的定义、优势以及在后端开发中的应用,并展望其在未来的发展趋势。
|
1月前
|
存储 编解码 网络协议
阿里云服务器计算型c7、c7a、c8a、c8y实例区别参考
在阿里云目前的活动中,属于计算型实例规格的云服务器有计算型c7、计算型c7a、计算型c8a、计算型c8y这几个实例规格,相比于活动内的经济型e和通用算力型u1等实例规格来说,这些实例规格等性能更强,本文为大家介绍计算型c7、c7a、c8a、c8y实例区别及最新活动价格,以供参考。
阿里云服务器计算型c7、c7a、c8a、c8y实例区别参考
|
1月前
|
存储 运维 安全
服务器数据恢复—存储互斥不当导致VMFS卷损坏的数据恢复案例
某公司的信息管理平台,通过3台虚拟机共享了一台存储设备供企业内部使用,存储设备中存放了公司内部重要的数据文件。 由于业务增长的需要,管理员又在这个存储网络上连接了一台Windows server服务器,结果这台存储变得不可用了。 管理员对该存储进行故障排查时发现存储中虚拟磁盘丢失,分区表丢失。重启该存储设备后故障依旧。 由于存储中的数据十分重要,没有备份。管理员为了安全起见,联系北亚企安数据恢复中心寻求帮助。 经过硬件工程师的检测,没有发现存储存在硬件故障。存储中的硬盘经过硬件工程师的检测后也没有发现任何物理故障,都可以正常读取。基本上可以排除故障是由于硬件导致的。
|
1月前
|
存储 机器学习/深度学习 并行计算
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
在我们选购阿里云服务器的时候,云服务器架构有X86计算、ARM计算、GPU/FPGA/ASIC、弹性裸金属服务器、高性能计算可选,有的用户并不清楚他们之间有何区别,本文主要简单介绍下不同类型的云服务器有何不同,主要特点及适用场景有哪些。
阿里云服务器X86计算、Arm计算、GPU/FPGA/ASIC、高性能计算架构区别
|
1月前
|
人工智能 安全 Linux
在云智融合浪潮下,服务器操作系统产业的未来发展将更加注重性能、安全性、稳定性
在云智融合浪潮下,服务器操作系统产业的未来发展将更加注重性能、安全性、稳定性以及对于AI和云计算的支持【2月更文挑战第21天】
21 4
|
1月前
|
存储 安全 网络协议
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考
在阿里云2024年的上云采购季活动中,除了以往活动中有的轻量应用服务器和经济型e、通用算力型u1、计算型c7、通用型g7实例之外,阿里云还新增了计算型c8a、通用型g8i/g8a和g8y实例规格,这些都是具有超高性能的AMD&Intel&倚天第八代云服务器,那么这几个云服务器实例规格的性能及适用场景是怎样的呢?本文为大家介绍阿里云计算型c8a、通用型g8i/g8a和g8y实例规格性能及适用场景。
368 0
2024阿里云上云采购季活动,云服务器计算型c8a、通用型g8i/g8a/g8y实例区别及价格参考
|
29天前
|
Ubuntu JavaScript 关系型数据库
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客
在阿里云Ubuntu 20.04服务器上部署Ghost博客的步骤包括创建新用户、安装Nginx、MySQL和Node.js 18.x。首先,通过`adduser`命令创建非root用户,然后安装Nginx和MySQL。接着,设置Node.js环境,下载Nodesource GPG密钥并安装Node.js 18.x。之后,使用`npm`安装Ghost-CLI,创建Ghost安装目录并进行安装。配置过程中需提供博客URL、数据库连接信息等。最后,测试访问前台首页和后台管理页面。确保DNS设置正确,并根据提示完成Ghost博客的配置。
在阿里云Ubuntu 20.04服务器中搭建一个 Ghost 博客