1. 云栖社区>
  2. 全部标签>
  3. #分布式文件系统#
分布式文件系统

#分布式文件系统#

已有3人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

谷歌三驾马车如何解决海量数据存储与计算问题。

大数据 架构 模块 Image 分布式文件系统 Mapreduce 存储 海量数据

关于阿里云NAS的几大特点介绍

阿里云NAS主是针对阿里云服务器、弹性高性能计算和容器服务等计算节点的文件存储服务。 阿里云NAS的定义 作为可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统的NAS 。它依赖于 POSIX 文件接口,原生的支持操作系统,不仅提供共享访问还保证数据一致性和锁互斥。

加密 性能 数据安全 Image 阿里云服务器 分布式架构 文件存储服务 弹性扩展 分布式文件系统 高性能 兼容性 存储

阿里云 Serverless 应用引擎(SAE)发布 v1.2.0,支持一键启停、NAS 存储、小规格实例等实用特性

11月26日,阿里云 Serverless 应用引擎(SAE)发布 v1.2.0版本,新版本实现了以下新功能/新特性: 一键启停开发测试环境:企业开发测试环境一般晚上不常用,长期保有应用实例,闲置浪费很高。

云栖社区 events 微服务 容器 测试 钉钉 aliyun 弹性扩展 分布式文件系统 html 存储

CDH在云上利用文件存储HDFS实现存储计算分离

阿里云文件存储HDFS服务是阿里云专门针对先进的存储计算分离架构下的大数据分析场景定制推出的文件存储服务。文件存储HDFS采用全自研的底层架构,有效规避了开源HDFS系统的诸多短板,并提供标准的HDFS访问协议,用户无需对现有大数据分析应用做任何修改,即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的托管型分布式文件系统。

架构 hdfs hadoop 性能 配置 集群 测试 spark 分布式文件系统 离线分析 存储 cloudera 存储计算分离

Zookeeper基本原理与运用场景

Zookeeper基本原理与运用场景一、什么是Zookeeper? zookeeper是一个分布式的一致性协调服务。 换句话说,也可以把zookeeper看成一个小型的分布式文件系统。但是和FastDFS不同,zookeeper只适合用来存储一些小型的数据或者配置信息。

分布式 服务器 path 配置 集群 分布式文件系统 数据同步 zookeeper 数据存储

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:《云原生时代,分布式系统设计必备知识图谱(内含22个知识点)》 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式知识体系大纲,从而对 SOA 到 MSA 进化有着立体的认识;从概念上和工具应用上更近一步了解微服务分布式的本质,身临其境的感受如何搭建全套微服务架构的过程。

分布式 架构 算法 监控 性能 数据库 集群 微服务 中间件 容器 负载均衡 多线程 分布式架构 分布式文件系统 云原生

Hadoop机架感知(rack-aware)配置指南

Hadoop机架感知(rack-aware)配置 副本的存放策略又是HDFS实现高可靠性和搞性能的关键,优化的副本存放策略也正是HDFS区分于其他大部分分布式文件系统的重要特性。HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。

hdfs hadoop 性能 配置 集群 负载均衡 脚本 分布式文件系统 数据中心 带宽 磁盘

云存储的技术原理

云存储(Cloud storage)是一种网络在线存储的模式,即把数据存放在通常由第三方托管的多台虚拟服务器,而非专属的服务器上。托管(hosting)公司营运大型的数据中心,需要数据存储托管的人,则透过向其购买或租赁存储空间的方式,来满足数据存储的需求。

云栖社区 云存储技术 服务器 高可用 云存储 负载均衡 云服务 分布式文件系统 云平台 分布式存储 数据中心 存储 数据存储

通过Datax将CSV文件导入Hbase,导入之前的CSV文件大小和导入之后的Hadoop分布式文件大小对比引入的思考

由于项目需要做系统之间的离线数据同步,因为实时性要求不高,因此考虑采用了阿里的datax来进行同步。在同步之前,将数据导出未csv文件,因为需要估算将来的hbase运行的hadoop的分布式文件系统需要占用多少磁盘空间,因此想到了需要做几组测试。

python 分布式 hbase hadoop random reduce string 分布式文件系统 数据同步 CPU index 磁盘 type csv

大型网站技术架构演进路程

一、初始阶段 初始阶段访问量小,一台服务器就可以满足。应用程序、数据库、文件等 所有的资源都在一台服务器上。通常服务器操作系统使用 Linux,应用程序使用PHP开发,然后部署在Apache上,数据库使用MySQL。

系统研发与运维 分布式 架构 服务器 数据库 高并发 集群 分布式文件系统 分布式数据库 应用服务器 存储 数据存储 海量数据

云数据库POLARDB优势解读系列文章之②——高性价比

现在做任何事情都要看投入产出比,对应到数据库上其实就是性价比。POLARDB作为一款阿里自研数据库,经常被问的问题是:性能怎么样?能不能支撑我的业务?价格贵不贵?很显然,在早期调研阶段,对稳定性、可靠性很难有量化的指标时,性能的好快就成了一个非常关键的决策因子。

数据存储与数据库 分布式 架构 mysql RDS 性能 SQL 高可用 数据库 集群 测试 Image 分布式文件系统 云数据库POLARDB

阿里巴巴飞天大数据架构体系与Hadoop生态系统

先说Hadoop 什么是Hadoop? Hadoop是一个开源、高可靠、可扩展的分布式大数据计算框架系统,主要用来解决海量数据的存储、分析、分布式资源调度等。Hadoop最大的优点就是能够提供并行计算,充分利用集群的威力进行高速运算和存储。

架构 飞天 hdfs hadoop 数据仓库 集群 google 数据节点 分布式文件系统 并行计算 Mapreduce 存储 海量数据

大数据学习路线分享AWK详解

  好程序员大数据学习路线分享AWK怎详解,awk是一个强大的文本分析工具,相对于grep的查找,sed的编辑,awk在其对数据分析并生成报告时,显得尤为强大。简单来说awk就是把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

大数据 程序员 shell 数据分析 脚本 空格 分布式文件系统 Mapreduce awk 文本分析 好程序员

好程序员大数据学习路线Hadoop学习干货分享

  好程序员大数据学习路线Hadoop学习干货分享,Apache Hadoop 为可靠的,可扩展的分布式计算开发开源软件。 Apache Hadoop软件库是一个框架,它允许使用简单的编程模型跨计算机群集分布式处理大型数据集(海量的数据)。

分布式 大数据 hdfs hadoop 程序员 模块 数据处理 高可用 集群 主机 容器 分布式计算 单点故障 分布式文件系统

50
GO