与开源大数据相关精彩内容-云栖社区-阿里云

云原生计算引擎挑战与解决方案

作者: 云栖号资讯小哥 5704人浏览

云原生背景介绍与思考图一是基于ECS底座的EMR架构，这是一套非常完整的开源大数据生态，也是近10年来每个数字化企业必不可少的开源大数据解决方案。主要分为以下几层： ECS物理资源层，也就是Iaas层数据接入层，例如实时的Kafka，离线的Sqoop 存储层，包括HDFS和OSS，以及EMR自研的缓存加速JindoFS 计算引擎层，包括熟知的Spark，Presto、Flink等这些计算引擎数据应用层，如阿里自研的Dataworks、PAI以及开源的Zeppelin，Jupyter 每一层都有比较多的开源组件与之对应，这些层级组成了最经典的大数据解决方案，也就是EMR的架构。

大数据架构性能集群容器云盘 spark 解决方案开源大数据 EMR service 存储

数据湖元数据服务的实现和挑战

作者: 云栖号资讯小哥 2921人浏览

大数据引擎的现状在大数据计算和存储领域，因不同业务场景、不同数据规模，诞生了很多适合处理不同需求的各类大数据引擎，比如计算引擎类有数据分析引擎Hive、交互式分析引擎Presto、迭代计算引擎spark以及流处理引擎Flink等，存储类有日志存储系统的SLS、分布式文件系统HDFS等，这些引擎和...

大数据模块开源大数据分布式文件系统插件存储数据管理

重磅发布！阿里云实时计算 Flink 版9大行业应用案例汇总

作者: 阿里云实时计算Flink 28人浏览

2020 年在国际知名咨询调研公司Forrester 的测评中，实时计算 Flink版成为中国唯一进入Forrester象限的实时流计算产品。

分布式大数据架构性能优化 Apache 系统监控数据流集群开源大数据 API 数据中心流计算

@所有人 Flink Forward Asia 2020 向您发出议题征集邀请！

作者: 阿里云实时计算Flink 58人浏览

2020年，加快应用数字技术，推动企业的数字化转型、科学高效发展几乎已成为业界共识。人工智能、大数据、云计算、移动互联网...每一场技术革新都曾被寄予厚望。在此背景下，企业与个人如何不被时代浪潮裹挟，寻找核心技术的未来价值？

大数据开源大数据移动互联网

开源 Flink + 实时计算 Flink 版训练营学习资料汇总

作者: 阿里云实时计算Flink 33人浏览

Apache Flink 是一个开源的分布式大数据处理引擎, 可对有限数据流和无限数据流进行有状态计算。实时计算 Flink版是阿里云提供的基于 Apache Flink 构建的企业级、高性能实时大数据处理系统，由Apache Flink创始团队官方出品。

分布式大数据架构性能优化 Apache 系统监控数据流 aliyun 开源大数据数据中心流计算

文末有福利！Spark 实战训练营新增1000名额，8月24日正式开课

作者: 阿里云E-MapReduce团队 23人浏览

Spark 实战训练营新增1000名额，8月24日正式开课

大数据钉钉 spark aliyun 开源大数据

SaaS模式云数据仓库 MaxCompute 企业级安全能力升级—持续定义云原生

作者: 一念的云平台 0人浏览

日前，阿里云SaaS模式云数据仓库MaxCompute 全面升级企业级安全新能力，新发布功能包含实时审计日志、细粒度授权、数据脱敏、存储加密( BYOK)、持续备份恢复和跨地域的容灾备份。MaxCompute作为全托管大数据平台内建完善的安全管理能力，本次升级将对企业云上数据和业务形成更加全面和细粒度的保护，有效提升企业安全管理水平。

大数据安全数据仓库 SaaS 数据安全 Image aliyun 开源大数据容灾系统安全权限管理 MaxCompute