1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. X>
  5. 血缘存储

当前主题:血缘存储

DataWorksV3.0全新发布,新特性快速一览

DataWorks V3.0发布 • 发布版本:DataWorks V3.0 • 发布时间:2019年12月18日 • 发布范围:全球所有已开通DataWorks的地域 • 发布内容:DataWorks V2.0仅支持MaxCompute计算引擎,DataW

阅读全文

小米流式平台架构演进与实践

作者:夏军@小米 小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据

阅读全文

美团点评基于 Flink 的实时数仓平台实践

作者:鲁昊@美团点评 一、美团点评实时计算演进 美团点评实时计算演进历程 在 2016 年,美团点评就已经基于 Storm 实时计算引擎实现了初步的平台化。2017 年初,我们引入了 Spark Streaming 用于特定场景的支持,主要是在数据同步场景方

阅读全文

读懂这本书,才算读懂阿里大数据

2019年,是阿里巴巴第11个双11。众所周知,阿里的电商在线体系经过多年发展,可以支持峰值超过每秒50几万笔交易。但鲜有人知的是,海量的交易,创造了海量的数据,爆炸性的数据量激增,给狂欢过后的大数据处理,带来了大难题。 今年双11,阿里巴巴MaxCompu

阅读全文

Fuxi2.0—飞天大数据平台调度系统全面升级,首次亮相2019双十一

伏羲(Fuxi)是十年前创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 ODPS,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。 随着阿里经济体和阿里云业务需求(尤其是双十一)的

阅读全文

基于MaxCompute InformationSchema进行血缘关系分析

一、需求场景分析 在实际的数据平台运营管理过程中,数据表的规模往往随着更多业务数据的接入以及数据应用的建设而逐渐增长到非常大的规模,数据管理人员往往希望能够利用元数据的分析来更好地掌握不同数据表的血缘关系,从而分析出数据的上下游依赖关系。 本文将介绍如何去根

阅读全文

阿里经济体大数据平台的建设与思考

本文作者:关涛(观滔) 阿里云智能研究员 通用计算平台负责人 。双十一!=11.11 首先从双11说起,双11已经成为阿里巴巴最大的单日促销活动。双11活动可能对于消费者而言只是一天而已,但是对于阿里巴巴和数百万商家而言,却是一个非常长线的工作。站在阿里巴巴

阅读全文

Spark最佳实践

前言 本文主要分为四个部分: 分布式计算概览:第一章将会从基础的 分布式计算理论 开始,讨论一个分布式计算系统需要实现哪些 主要的功能,以及业界通用的解决方案,并在最后简单扩展了下分布式计算系统的发展历程。这部分主要为开发人员 奠定分布式计算系统的重要理论概

阅读全文