1. 云栖社区>
  2. 全部标签>
  3. #大数据#
大数据

#大数据#

已有286人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

云栖大会企业管理协作与数智化专场 | 奥哲孟凡俊:低代码平台对当代企业智能管理的支撑

导读:在数字化时代,业务拓展快,迭变快将成为常态和主流,企业数字化转型除了企业内部协同提效之外,基于多项底层技术框架的低代码平台更是智能协作不可或缺的底层支持,奥哲高级副总裁兼奥哲云枢业务负责人将介绍低代码平台对于当代企业智能管理的支撑。

大数据 云栖大会 钉钉

【数据湖开发治理篇】——数据湖开发治理平台DataWorks

数据湖的定义: wikipedia中对于数据湖的定义是:“A data lake is a system or repository of data stored in its natural/raw format, usually object blobs or files.

大数据 PostgreSQL Image 数据迁移 存储 数据管理 MaxCompute AnalyticDB

云原生计算引擎挑战与解决方案

云原生背景介绍与思考 图一是基于ECS底座的EMR架构,这是一套非常完整的开源大数据生态,也是近10年来每个数字化企业必不可少的开源大数据解决方案。主要分为以下几层: ECS物理资源层,也就是Iaas层 数据接入层,例如实时的Kafka,离线的Sqoop 存储层,包括HDFS和OSS,以及EMR自研的缓存加速JindoFS 计算引擎层,包括熟知的Spark,Presto、Flink等这些计算引擎 数据应用层,如阿里自研的Dataworks、PAI以及开源的Zeppelin,Jupyter 每一层都有比较多的开源组件与之对应,这些层级组成了最经典的大数据解决方案,也就是EMR的架构。

大数据 架构 性能 集群 容器 云盘 spark 解决方案 开源大数据 EMR service 存储

数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储)? 第二,计算和存储分离后,出现了性能瓶颈,计算如何加速和优化(湖加速)? 第三,针对需要的计算场景,选择什么样的计算引擎(湖计算)? 湖存储可以基于我们熟悉的HDFS,在公共云上也可以选择对象存储,例如阿里云OSS。

大数据 架构 OSS hdfs hadoop 性能 集群 对象存储 带宽 存储

数据湖元数据服务的实现和挑战

大数据引擎的现状 在大数据计算和存储领域,因不同业务场景、不同数据规模,诞生了很多适合处理不同需求的各类大数据引擎,比如计算引擎类有数据分析引擎Hive、交互式分析引擎Presto、迭代计算引擎spark以及流处理引擎Flink等,存储类有日志存储系统的SLS、分布式文件系统HDFS等,这些引擎和...

大数据 模块 开源大数据 分布式文件系统 插件 存储 数据管理

JindoTable数据湖优化与查询加速

概述 近几年,数据湖架构的概念逐渐兴起,很多企业都在尝试构建数据湖。相比较大数据平台,数据湖在数据治理方面提出了更高的要求。对于数据湖场景所提出的新需求,“传统”的大数据工具在很多方面都面临着新的挑战。

大数据 架构 公共云 集群 对象存储 存储

1897
GO