开始云私有云存储系统:让数据更安全高效

简介:

企业数据中70%的数据是非结构化数据。大数据时代,企业非结构化数据的几何式增长,给企业带来了巨大的机遇和财富。许多中大型企业都希望建设自己的私有云存储系统,做好海量数据的积累与传承。

但是,企业该如何满足不断变化的存储需求,保持系统的稳定性?如何有效地规避系统运行中因各种软硬件问题而导致的数据丢失、损坏等风险?当数据增长到一定量级时,又如何对数据进行高效利用?围绕企业数据管理,又存在着一系列的难题与挑战。

但毋庸置疑的是,数据已经成为企业最重要、最具有发展价值的数字资产。统一管理与充分利用好企业数据,不仅能够提高企业日常办公效率,更为企业的长远发展提供了坚实的基础支持。

为了推动中国企业的信息化进程,实现企业向“互联网+”的产业升级转变,开始云自主研发了“KFS私有云存储系统”,帮助企业能够快速搭建私有云平台,解决海量非结构化数据的树状存储及高IO吞吐等问题。

安全、高效的数据存储平台

数据存储

KFS私有云存储系统完全基于JAVA开始,支持Linus/Windows部署。整个系统设计为无单点故障,不论是元数据还是数据块均支持多副本存储,避免因各种软硬件故障而导致的数据丢失。

在文件存储数量方面,KFS私有云存储系统采用标准树状目录结构,支持海量小文件,支持存储去重、大文件切割和冷热数据分离。海量树状结构被智能分裂为众多独立分区分散管理,每个分区掌管一部分树状结构中的元数据,每个分区可由3台名称服务器共同掌管。KFS私有云存储系统支持无限文件夹层级和无限文件及文件夹数量。每台名称服务器可参与掌管多个分区,可通过动态增加名称服务器来弹性扩展整个集群的元数据容量。KFS私有云存储系统集群可管理万台以上名称服务器,以每台名称服务器配备32G内存为例,每台名称服务器可管理约1000万个文件元数据,考虑元数据三份副本机制,整个集群可管理文件个数可达数百亿级别。

而在数据存储容量方面,物理文件按策略均匀分散在众多数据服务器中,企业可通过动态增加数据服务器来弹性扩展整个集群的物理存储容量。KFS私有云存储系统集群可管理百万台以上数据服务器,整个集群可存储数据容量可达EB级(1EB=1024PB)。

  数据传输

KFS私有云存储系统采用HTTP通信协议,支持广域网部署,信息流与数据流分离。KFS私有云存储系统将数据块均匀分散至各数据服务器,可通过增加数据服务器数量来弹性扩展传输带宽。并且,KFS私有云存储系统支持数据文件冷热分离存储,通过部分热数据服务器,实现高带宽要求的文件传输服务。

同时,由于元数据被分散至多台名称服务器管理,且单台名称服务器可并发访问能力为5000以上,因此整个KFS私有云存储系统集群的信息流并发访问能力可轻松超过一万。此外,KFS私有云存储系统支持批量读取元数据,可有效降低客户端和服务器端交互次数。

数据分析

KFS私有云存储系统兼容Hadoop,可使用KFS作为Hadoop MapReduce及Spark大数据分析的数据源,支持基于KFS私有云存储系统进行大数据分析。

帮助管好数据,实现企业数据价值

安全可靠

KFS私有云存储系统可作为企业IT应用系统的底层文件库系统,支持多副本容灾备份,无单点故障,防止数据丢失与用错。

功能强大

KFS私有云存储系统支持跨广域网部署,为企业提供非结构化数据的一站式存储、加速、备份和大数据分析服务,轻松实现数据管理与增值。

  高性价比

KFS私有云存储系统支持弹性扩展,为企业省却高额研发成本,带宽可编程控制,实现企业流量带宽成本和文件存储成本的自动调配,在确保存储容量和带宽的同时将成本降至最低。

弹性扩展

KFS私有云存储系统支持弹性扩容和接口开放,二次开发更灵活。

数据驱动企业更好发展

KFS私有云存储系统是开始云完全自主独立研发的真正具有EB级海量文件集群能力的企业级分布式文件存储系统,支持存储文件个数超过千亿,支持接入存储服务器数量超过万台。KFS私有云存储系统能够为企业实现“互联网+”提供技术支持,快速整合企业数据,帮助企业不断探索数据价值,推动企业不断向前。

亚马逊前任首席科学家Andreas Weigend曾经说过:“数据是新的石油。”在未来10年甚至20年,数据都会是企业最重要的数字财富,即使到现在,我们都还处于大数据发展的初级阶段。但是,从现在开始,从数据的获取、储存到搜索、共享、分析,每一个过程都应该被企业所重视。一个好的企业应该未雨绸缪,借助技术和数据的力量,创造新的价值。





====================================分割线================================


本文转自d1net(转载)

目录
相关文章
|
存储 人工智能 运维
超大规模云数据中心对存储的诉求有哪些?
要实现超大规模部署的特性,就对存储有别于普通数据中心或者消费市场的诉求。具体有哪些呢?主要有以下几点,我们针对部分信息展开讨论
|
11月前
|
存储 容灾 文件存储
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
带你读《云存储应用白皮书》之39:1. 基于混合云存储阵列的虚拟化平台搭建
140 0
|
存储 SQL 安全
混合云计算和数据存储:关键混合云趋势
混合云计算和数据存储:关键混合云趋势
214 0
混合云计算和数据存储:关键混合云趋势
|
存储 缓存 运维
云上应用系统数据存储架构演进
前言回顾过去二十年的技术发展,整个应用形态和技术架构发生了很大的升级换代,而任何技术的发展都与几个重要的变量相关。一,应用形态的变迁,产生更多的场景和需求。整个应用形态从企业应用、互联网服务再到移动应用,历经了几个不同阶段的发展。从最早企业内应用系统,到通过移动互联网技术覆盖到每个人生活的方方面面,这个过程中产生了大量的场景和需求。而新的场景和需求,是推动产品和技术发展的主要因素。二,更复杂的场景
1090 0
云上应用系统数据存储架构演进
|
存储 传感器 边缘计算
如何为智慧城市打造低成本的数据存储基础架构?
支撑智慧城市的数据存储网络的价格可能过高,但是自动化存储技术与合理的计划和设计相结合,可以帮助克服这一挑战。
|
存储 缓存 固态存储
阿里云袁经凯:混合云场景下的高性能存储
介绍阿里云的云存储网关,让云和本地存储形如一体
2725 0
|
供应链 数据挖掘 大数据
|
存储 容灾 数据中心
阿里云发布混合云数据存储和灾备方案
12月7日,2017苏州·云栖大会上,阿里云发布全新的混合云数据存储和灾备方案,此次发布的内容包括最新推出的混合云容灾服务HDR和混合云备份服务HBR,以及全面升级的混合云存储阵列CSA2000和CSA3000。
6568 0