【2018中国计算机大会】阿里云分布式存储架构师谈 自研分布式文件系统服务

简介: 10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,一起探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里云分布式存储团队架构师黄硕针对存储软硬件国产化进行了《云上自研分布式文件系统服务的设计与实践》的报告。

10月27日下午,2018中国计算机大会上举办了主题“存储软硬件之国产化挑战与机遇”的技术论坛,一起探讨存储软硬件栈上的关键系统与技术的国产化发展道路。论坛上,阿里云分布式存储团队架构师黄硕针对存储软硬件国产化进行了《云上自研分布式文件系统服务的设计与实践》的报告。
image001

专家简介:
黄硕,阿里云分布式存储团队架构师,主要从事分布式文件系统上云、元数据管理、分布式一致性协议、高性能存储引擎与QoS等相关架构设计和研发工作。

image003

黄硕从云上分布式文件系统(DFS,Distributed File System)的价值出发,详述了存储发展的关键推动力——大数据分析,包括大数据分析的数据量增长前景、存储方案发展历程与现状等,对比了DFS服务相对于开源HDFS在性能、成本、灵活性、规模及稳定性方面的优势,同时阿里云DFS服务全面对接开源大数据生态,兼容HDFS API,确保用户实现系统平滑迁移。
image005
image007
image009
image011

阿里云的云上分布式文件系统(DFS)服务是极具竞争力的大数据存储方案,具有云化服务、开源大数据生态兼容、阿里存储中台“盘古”十年积累带来的多重优势,其自研内核“盘古”的技术革新保证了阿里云DFS服务在规模、性能、可靠性、技术先进性等方面的极大优势。黄硕针对“盘古”的整体架构、应用接口、数据多副本复制协议、高性能线程模型、单机存储引擎、用户态文件系统、存储设备上数据布局及盘古近期的演化方向进行了详细的解析。
image013
image015
image017

阿里云在专有云和公共云提供DFS服务(公共云即将公测上线),其架构具有多租户、安全、高可用、继承阿里存储中台(盘古)优势、统一等特点。
image019

了解更多阿里云产品请戳链接:
https://www.aliyun.com/product/list?utm_code=p_2018090501

点击了解“阿里云新品发布会频道”:
https://promotion.aliyun.com/ntms/act/cloud/product.html

阿里云总监系列课重磅上线!聚焦人工智能、弹性计算、数据库等热门领域,首次集齐12位阿里云技术高管,耗时半年精心打磨,从理论到实践倾囊相授,从零开始绘制技术大牛成长路径,限时直播课程免费报名中!欢迎戳“https://yq.aliyun.com/promotion/689”免费报名学习。
IMG_1996

相关文章
|
1天前
|
监控 负载均衡 Cloud Native
ZooKeeper分布式协调服务详解:面试经验与必备知识点解析
【4月更文挑战第9天】本文深入剖析ZooKeeper分布式协调服务原理,涵盖核心概念如Server、Client、ZNode、ACL、Watcher,以及ZAB协议在一致性、会话管理、Leader选举中的作用。讨论ZooKeeper数据模型、操作、会话管理、集群部署与管理、性能调优和监控。同时,文章探讨了ZooKeeper在分布式锁、队列、服务注册与发现等场景的应用,并在面试方面分析了与其它服务的区别、实战挑战及解决方案。附带Java客户端实现分布式锁的代码示例,助力提升面试表现。
129 2
|
1天前
|
设计模式 架构师 前端开发
JavaEE企业级分布式高级架构师课程
本课程主要面向1-5年及以上工作经验的Java工程师,大纲由IT界知名大牛 — 廖雪峰老师亲自打造,由来自一线大型互联网公司架构师、技术总监授课,内容涵盖深入spring5设计模式/高级web MVC开发/高级数据库设计与开发/高级响应式web开发/分布式架构设计等主流核心技术。
26 1
JavaEE企业级分布式高级架构师课程
|
1天前
|
消息中间件 算法 Java
【亿级数据专题】「分布式服务框架」 盘点本年度我们探索服务的保障容量的三大关键方案实现
【亿级数据专题】「分布式服务框架」 盘点本年度我们探索服务的保障容量的三大关键方案实现
189 0
|
1天前
|
弹性计算 数据库 Docker
学习阿里云架构设计知识2-翀举
VPC分区清晰架构,VSW网络分隔,CEN连通VPC,按量付费小规格,均衡策略,ESS/ACK内置SNAT,ECS用NAT上网。建DMZ需VPC、VSW、NAT、EIP。主系统多VPC/VSW配ECS和Redis,CEN全连接。CEN设路由表,外网访问设DMZ、CEN、EIP,加堡垒机。Web系统ACR部署WordPress,配数据库。验证WordPress、弹性伸缩,测外访、发文、负载。含架构图。
25 1
学习阿里云架构设计知识2-翀举
|
1天前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】(部分图片来源于网络)【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】(图片来源于网络)
121 2
|
1天前
|
弹性计算 负载均衡 容灾
应用阿里云弹性计算:打造高可用性云服务器ECS架构
阿里云弹性计算助力构建高可用云服务器ECS架构,通过实例分布、负载均衡、弹性IP、数据备份及多可用区部署,确保业务连续稳定。自动容错和迁移功能进一步增强容灾能力,提供全方位高可用保障。
40 0
|
1天前
|
存储 Cloud Native 对象存储
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
AutoMQ[1] 是新一代基于共享存储架构实现的云原生 Kafka。得益于其存算分离的共享存储架构,通过和阿里云合作,深度使用阿里云可靠、先进的云服务如对象存储OSS、块存储 ESSD、弹性伸缩ESS以及抢占式实例实现了相比 Apache Kafka 10倍的成本优势并且提供了自动弹性的能力。
116 0
AutoMQ:如何基于阿里云计算与存储产品实现云原生架构升级
|
1天前
|
存储 大数据 Apache
深入理解ZooKeeper:分布式协调服务的核心与实践
【5月更文挑战第7天】ZooKeeper是Apache的分布式协调服务,确保大规模分布式系统中的数据一致性与高可用性。其特点包括强一致性、高可用性、可靠性、顺序性和实时性。使用ZooKeeper涉及安装配置、启动服务、客户端连接及执行操作。实际应用中,面临性能瓶颈、不可伸缩性和单点故障等问题,可通过水平扩展、集成其他服务和多集群备份来解决。理解ZooKeeper原理和实践,有助于构建高效分布式系统。
|
1天前
|
人工智能 分布式计算 Cloud Native
阿里云PAI平台架构介绍
阿里云PAI平台架构介绍
28 0

热门文章

最新文章