高性能计算GPU解决方案系列课程七--分布式文件系统

简介:
7.     分布式文件系统
7.1.     文件系统     

     1)   本地文件系统
      
一种存储和组织计算机数据的方法,它使得对其存取和查找变得容易。
        文件系统管理的存储资源直接连在本地节点上, 如:ext2ext3ext4NTFS
     2)   分布式文件系统
        文件系统管理的存储资源通过网络不节点相连
        分布式文件系统的设计是基于客户机/服务器模式, 如:nfs
    3)    集群文件系统
        由多个服务器节点组成的分布式文件系统, ISILONLoongStoreLustre     4)    并行文件系统
        所有客户端可以同时幵发读写同一个文件
        支持幵行应用(MPI) LustreGPFS
7.2.     基于集群的分布式架构  
  1)    特点
        分布式文件系统
        服务器直连各自存储
        MDS管理元数据
        RAID、卷管理、文件系统三者合一
        性能和容量同时扩展
        规模可以很大
151421z366zhzfy38ikady.png
                             
   2)     典型案例
      a)  国外商业产品
             IBM GPFS, EMC ISILON, PanasasPanFS      
     b )    国外开源系统
             Intel Lustre, Redhat GFS, GlusterGlusterfs
             Clemon PVFS,Sage Weil/InktankCeph, Apache HDFS
     c )     国内产品
             中科蓝鲸BWFS
             龙存Loongstore
             余庆FastDFS
             淘宝TFS

7.3.     性能评价方法
           1)带宽
           2)IOPS
           3)试工具
                Linux dd
                IOzone
                IOmeter
                Mdtest
                IOR

原文发布时间为: 2016-7-11 15:14:44
原文由:十四王爷 发布,版权归属于原作者 
本文来自云栖社区合作伙伴NVIDIA,了解相关信息可以关注NVIDIA官方网站
相关实践学习
基于阿里云DeepGPU实例,用AI画唯美国风少女
本实验基于阿里云DeepGPU实例,使用aiacctorch加速stable-diffusion-webui,用AI画唯美国风少女,可提升性能至高至原性能的2.6倍。
目录
相关文章
|
2月前
|
机器学习/深度学习 人工智能 Java
机器学习PAI报错问题之跑collective gpu分布式报错如何解决
人工智能平台PAI是是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务;本合集将收录PAI常见的报错信息和解决策略,帮助用户迅速定位问题并采取相应措施,确保机器学习项目的顺利推进。
|
10月前
|
存储 机器学习/深度学习 缓存
阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架
阿里云机器学习平台 PAI 团队和达摩院 GraphScope 团队联合推出了面向 PyTorch 的 GPU 加速分布式 GNN 框架 GraphLearn-for-PyTorch(GLT) 。
阿里云PAIx达摩院GraphScope开源基于PyTorch的GPU加速分布式GNN框架
|
10月前
|
存储 人工智能 缓存
带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用
带你读《云存储应用白皮书》之33:6. 高性能计算存储在渲染行业的应用
135 0
|
11月前
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(上)
295 0
|
11月前
|
存储 弹性计算 运维
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
带你读《生命科学行业云上解决方案及最佳实践》——阿里云 E-HPC 生命科学行业整体解决方案(下)
253 0
|
11月前
|
弹性计算 缓存 运维
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(上)
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(上)
191 0
|
11月前
|
弹性计算 并行计算 数据挖掘
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)
带你读《生命科学行业云上解决方案及最佳实践》——五大解决方案(下)
199 0
|
11月前
|
机器学习/深度学习 人工智能 并行计算
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
带你读《生命科学行业云上解决方案及最佳实践》——GHDDI,阿里云高性能计算助力 药物研发实现高通量分子筛选
167 0
|
机器学习/深度学习 并行计算 算法
在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
744 0
在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
|
存储
《HPC高性能计算数据存储解决方案蓝皮书》电子版地址
HPC高性能计算数据存储解决方案蓝皮书
104 0
《HPC高性能计算数据存储解决方案蓝皮书》电子版地址

热门文章

最新文章