什么是数据湖,有什么用?

  1. 云栖社区>
  2. 博客>
  3. 正文

什么是数据湖,有什么用?

子夜初商南 2019-08-04 00:39:55 浏览296
展开阅读全文

数据湖概念的诞生,源自企业面临的一些挑战,如数据应该以何种方式处理和存储。最开始,企业对种类庞杂的应用程序的管理都经历了一个比较自然的演化周期。

最开始的时候,每个应用程序会产生、存储大量数据,而这些数据并不能被其他应用程序使用,这种状况导致 数据孤岛 的产生。随后数据集市应运而生,应用程序产生的数据存储在一个集中式的数据仓库中,可根据需要导出相关数据传输给企业内需要该数据的部门或个人。

然而数据集市只解决了部分问题。剩余问题,包括数据管理、数据所有权与访问控制等都亟须解决,因为企业寻求获得更高的使用有效数据的能力。

为了解决前面提及的各种问题, 企业有很强烈的诉求搭建自己的数据湖 ,数据湖不但能存储传统类型数据,也能存储任意其他类型数据,并且能在它们之上做进一步的处理与分析,产生最终输出供各类程序消费。

在本文中,将介绍数据湖的一些主要

网友评论

登录后评论
0/500
评论
子夜初商南
+ 关注