1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. F>
  5. 分布式存储系统

当前主题:分布式存储系统

分布式存储系统相关的博客

查看更多 写博客

ElasticDL: Kubernetes-native 弹性分布式深度学习系统

9月11日,蚂蚁金服在 Google Developer Day Shanghai 2019 上宣布开源了基于 TensorFlow 2.0 eager execution 的分布式深度学习系统 ElasticDL。基于 TensorFlow 的支持弹性调度

阅读全文

好程序员大数据学习路线分享分布式文件系统HDFS

好程序员大数据学习路线分享分布式文件系统HDFS,设计目标: 1、存储量大 2、自动快速检测应对硬件错误 3、流式访问数据 4、移动计算比移动数据本身更划算 5、简单一致性模型 6、异构平台可移植 特点 优点: 高可靠性:Hadoop按位存储和处理数据的能力

阅读全文

浅谈分布式计算的开发与实现(一)

介绍 分布式计算简单来说,是把一个大计算任务拆分成多个小计算任务分布到若干台机器上去计算,然后再进行结果汇总。 目的在于分析计算海量的数据,从雷达监测的海量历史信号中分析异常信号(外星文明),淘宝双十一实时计算各地区的消费习惯等。 海量计算最开始的方案是提高

阅读全文

阿里巴巴飞天大数据架构体系与Hadoop生态系统

很多人问阿里的飞天大数据平台、云梯2、MaxCompute、实时计算到底是什么,和自建Hadoop平台有什么区别。 先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分

阅读全文

阿里云 ESSD 采用自研新一代存储网络协议,打造“超级高速”

8月26日,阿里云透露,正投入自研数据存储“超级高速”,核心存储产品ESSD已率先采用这一最新的自研存储网络协议,并实现大规模商用,数据传输效率提高50%。 据了解,未来该协议还将继续演进,有望取代传统TCP网络协议。此前,谷歌、微软也曾先后发表论文试图突破

阅读全文

MongoDB 4.2新特性:分布式事务、字段级加密、通配符索引、物化视图

MongoDB 4.2已经发布,我们来看看它增加了哪些新特性?分布式事务?数据库加密?通配符索引? 在2019年MongoDB World大会上,CTO Eliot Horowitz介绍了MongoDB 4.2中的一些功能,这些功能扩展了其在数据库技术方面的

阅读全文

为AIoT智联网而生,阿里云高性能存储ESSD率先全球大规模商用

8月26日,阿里云宣布自研ESSD率先实现大规模商用,服务数万企业,涵盖自动驾驶、AR/VR、证券交易、电商搜索等产业。ESSD是业界首个百万级IOPS、百微秒延时的超高性能云存储产品,由于其突出的高性能、低延时特点,将成为AIoT智联网场景标配。 简单来说

阅读全文

Alluxio使用——开篇

一.Alluxio概述 Alluxio(前身Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 Alluxio项目源自加州大学伯克利分校AMPLab,作为伯克利数据分析堆栈(BD

阅读全文

分布式存储系统相关问答

查看更多 提问题

bulkload导入数据是否disable表?

看到有文章说bulk load导入数据,在load HFile时会短暂的disable表,这个过程具体发生在什么地方?

阅读全文

greenplum系统表reindex后查询效率不生反降

对pg_catalog schema下的表做了reindex/vacuum/reindex/analyze,查询的效率反而降低了。 该从哪方面考虑解决这个问题

阅读全文

分布式存储软件部署到云

请问一个自带分布式存储系统的软件要部署到云上,有什么条件和注意事项吗?

阅读全文

数据库性能问题

现在有一个总账户,每天10万笔订单交易,交易接入支付宝,需要时时根据支付宝的回调来结算,中间还会有提现操作,总账户需要时时算,请问这个系统应该怎么设计

阅读全文

[@徐雷frank][¥20]如何搭建Hadoop处理环境?

Apache Hadoop 是用于开发在分布式计算环境中执行数据处理应用程序的框架。旨在从单个服务器提供存储和计算资源的方式扩展到数千台机器。Apache Hadoop的核心部分由存储部分(Hadoop分布式文件系统)及其数据处理部分(MapReduce)组成

阅读全文

[@墨玖tao][¥20]管理系统的oracle存储过程如何能搭上分布式的快车

大佬好,过去的管理系统使用的是oracle数据库,很多核心业务的算法是采用oracle的存储过程进行操作的,日益增长的数据量对单体数据库造成了极大的压力,存储过程处理速度也逐渐减慢,请问大佬如何能搭上分布式快车对存储过程进行改造升级,并能实现横向扩展,谢谢大佬

阅读全文

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下: hbase.hregion.memstore.flush.size=25

阅读全文

使用 hbase 存储 图片(200kb-1m) 性能如何?

使用 hbase 存储 图片(200kb-1m) 性能如何?

阅读全文

wyx88688123阿里推出 PolarFS 分布式文件系统:将存储与计算分开,提升云数据库性能(附论文)文章中评论
☕️
壹玖分布式系统的架构思路文章中评论
喜欢文章的朋友可以持续关注内容更新~~
it菲菲分布式系统的架构思路文章中评论
喜欢文章的朋友可以持续关注内容更新~
wyx886881238月23日云栖精选夜读 | 阿里推出 PolarFS 分布式文件系统:将存储与计算分开,提升云数据库性能(附论文)文章中评论
666
oss-dx车联网上云最佳实践(二)文章中评论
云篆车联网上云最佳实践(二)文章中评论
很有价值的内容
企业应用中心