1. 云栖社区>
  2. 全部标签>
  3. #分布式文件系统#
分布式文件系统

#分布式文件系统#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

数据湖元数据服务的实现和挑战

大数据引擎的现状 在大数据计算和存储领域,因不同业务场景、不同数据规模,诞生了很多适合处理不同需求的各类大数据引擎,比如计算引擎类有数据分析引擎Hive、交互式分析引擎Presto、迭代计算引擎spark以及流处理引擎Flink等,存储类有日志存储系统的SLS、分布式文件系统HDFS等,这些引擎和...

大数据 模块 开源大数据 分布式文件系统 插件 存储 数据管理

储留香:从丞相说到文件系统

今天,我们要聊的是存储中一个重要的系统——文件系统。

数据安全 Image 弹性扩展 分布式文件系统 容灾 分布式系统 存储 大数据分析

大数据网管运营数据存储模式研究

随着近两年通信流量业务开展得如火如荼,更多的用户上网行为的数据分析需求猛增,而处理这类数据需要大量的写入处理,而且字段不固定,传统的关系型数据库已无法满足需求,急需多节点的分布式大数据集群来解决数据处理及存储问题。

大数据 数据处理 运营 分布式架构 分布式文件系统 并行计算 存储过程 Mapreduce 存储 数据类型 数据存储 海量数据

提升 10 倍!阿里云对象存储 OSS 可用性 SLA 技术揭秘

本文分享阿里云在对象存储 OSS 的可用性 SLA 上的实践和技术沉淀。

分布式 架构 服务器 OSS 高可用 Image 负载均衡 对象存储 云服务 分布式文件系统 分布式系统 分布式存储 存储

如何优雅的理解HBase和BigTable

云栖号资讯:【点击查看更多行业资讯】在这里您可以找到不同行业的第一手的上云资讯,还在等什么,快来! 学习 HBase 最难的地方在于要让你的脑子真正理解它是什么。 HBase:Google BigTable 的开源实现 我们经常会把关系型数据库(RDBMS,比如 MySQL)和 HBase 搞混,因为在这两个系统中都包含 table 和 base(HBase,Database)。

分布式 域名 hbase 数据库 分布式文件系统 存储

过了这么久,我终于看懂了HBase,太不容易了QAQ

在我还不了解分布式和大数据的时候已经听说过HBase了,但对它一直都半知不解,这篇文章来讲讲吧。

分布式 大数据 mysql hbase hdfs 数据库 Image 分布式文件系统 Elasticsearch 磁盘 zookeeper 存储

官宣!ASF官方正式宣布Apache Hudi成为顶级项目

官宣!ASF官方正式宣布Apache Hudi成为顶级项目 马萨诸塞州韦克菲尔德(Wakefield,MA)- 2020年6月 - Apache软件基金会(ASF)、350多个开源项目和全职开发人员、管理人员和孵化器宣布:Apache Hudi正式成为Apache顶级项目(TLP)。

hadoop Apache 云存储 分布式文件系统 存储

对象存储和新型分布式文件系统 - 填补Hadoop存储的空白

IT软硬件架构、企业部署已经发生了翻天覆地的变化,在这些新的变革下,HDFS露出了一定的颓势。但是云上对象存储是唯一的选择吗?面向on-premise,云环境以及混合云环境,在这新旧存储架构交替之际,数据存储会如何发展呢,如何填补Hadoop存储留下的空白?

大数据 架构 hdfs hadoop 公共云 开源大数据 对象存储 分布式文件系统 云架构 存储 数据存储 海量数据

关于阿里云NAS的几大特点介绍【教程】

阿里云NAS主是针对阿里云服务器、弹性高性能计算和容器服务等计算节点的文件存储服务。 阿里云NAS的定义 作为可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统的NAS 。它依赖于 POSIX 文件接口,原生的支持操作系统,不仅提供共享访问还保证数据一致性和锁互斥。

nginx linux 互联网产品及应用 python php 加密 性能 数据安全 Image 阿里云服务器 分布式架构 文件存储服务 弹性扩展 分布式文件系统 高性能

好程序员大数据培训分享Apache-Hadoop简介

  好程序员大数据培训分享Apache-Hadoop简介,一、Hadoop出现的原因:现在的我们,生活在数据大爆炸的年代。国际数据公司已经预测在2020年,全球的数据总量将达到44ZB,经过单位换算后,至少在440亿TB以上,也就是说,全球每人一块1TB的硬盘都存储不下。

分布式 大数据 hdfs hadoop 程序员 Apache 集群 排序 分布式文件系统 培训 Mapreduce 存储 数据存储

好程序员大数据培训分享之HDFS设计思想和相关概念

  好程序员大数据培训分享之HDFS设计思想和相关概念:一、HDFS简介   1、简单介绍   HDFS(Hadoop Distributed FileSystem),是Hadoop项目的两大核心之一,源自于Google于2003年10月发表的GFS论文,是对GFS的开源实现。

大数据 服务器 hdfs 程序员 数据节点 分布式文件系统 磁盘 培训 存储

SpringBoot极简工具箱终于开源了

各位小伙伴们久等了,撸主花了无数个深夜吐血训练了100万小黄图做了一个鉴黄图床,终于在今天开放给大家了。2019年11月22日图床上线了,网友们也都很积极,甚是踊跃的上传了不少有趣的图片,当然由于一些特殊原因被过滤掉了,没能展示给各位网友。

系统监控 模块 敏捷开发 Image springboot 应用管理 云服务 文件服务器 分布式文件系统 Blog 管理系统

Java后端应用架构方案的演化(架构优化)

前言 一个成熟的大型网站(如淘宝、天猫、腾讯等)的系统架构并不是一开始设计时就具备完整的高性能、高可用、高伸缩等特性的,它是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线。

nginx 分布式 架构 java 服务器 性能 网站性能 数据库 负载均衡 aliyun 分布式文件系统 应用服务器

Flink State 最佳实践

本文主要分享与交流 Flink 状态使用过程中的一些经验与心得,当然标题取了“最佳实践”之名,希望文章内容能给读者带去一些干货。本文内容首先是回顾 state 相关概念,并认识和区别不同的 state backend;之后将分别对 state 使用访问以及 checkpoint 容错相关内容进行详细讲解,分享一些经验和心得。

大数据 性能 数据处理 配置 Cache 分布式文件系统 存储 数组 流计算 flink 实时计算

52
GO