阿里巴巴大数据 —玩家社区 + 关注
手机版

“阿里巴巴大数据系统体系”学习笔记-纲领篇

  1. 云栖社区>
  2. 阿里巴巴大数据 —玩家社区>
  3. 博客>
  4. 正文

“阿里巴巴大数据系统体系”学习笔记-纲领篇

隐林 2018-08-15 14:17:39 浏览7008 评论0

摘要: ‘你是做什么的?’ ‘数据产品经理’看到对方一脸懵逼之后,再补充一句‘大数据相关的工作’ ‘哦~,高大上,不懂’ 过去5年,‘大数据’是最火的一个概念,被纷繁解读。在我看来,数据跟石油、煤炭一样是一种资源。

你是做什么的?

数据产品经理”看到对方一脸懵逼之后,再补充一句大数据相关的工作

哦~,高大上,不懂


过去5年,“大数据”是最火的一个概念,被纷繁解读。在我看来,数据跟石油、煤炭一样是一种资源。这种资源其实很早之前就被发现、被应用。只不过因为互联网的发展,数据这种资源呈现出了“爆炸式”的增长,而人们也发现了它巨大的潜在价值;预计到2020年,全球数据总量将超过40ZB(相当于40万亿GB)。

 

所以面对如此“量大”、“价值大”的资源,我们需要建立一套从数据采集、计算到服务到应用的“大数据体系”,就跟“石油体系’一样有勘探、采集、传输、加工、应用等;由此也萌生出一批“大数据体系”相关的工种。

 

阿里巴巴作为距离大数据最近的公司之一,既有丰富的数据资源也有丰富的应用场景,从它建构的大数据体系了解“大数据”这条生态链的全貌,我认为是比较科学的。

 

阿里巴巴大数据系统体系”设计原则:满足不断变化的业务需求,同时实现系统的高度扩展性、灵活性以及数据展现的高性能。

 

阿里巴巴大数据系统体系”主要分为数据采集、数据计算、数据服务和数据应用四大层次;

  1. 数据采集

    Web端日志采集技术方案:Aplus.JS

    APP端日志采集技术方案:UserTrack

    生产业务—>大数据系统传输:

    TimeTunnel(TT),既包括数据库的增量数据传输,也包括日志数据的传输;既支持实时流式计算,也支持各种时间窗口的批量计算;

    数据同步工具(DataX和同步中心)直连异构数据库来抽取各种时间窗口的数据;

  2. 数据计算

    MaxCompute-离线计算平台:阿里自研的离线大数据平台,拥有强大的存储和计算能力;

    StreamCompute-实时计算平台:阿里自研的流式大数据平台,支持流式计算需求;

    OneData-数据整合及管理体系:数据整合及管理的方法体系和工具,大数据工程师在这一体系下,构建统一、规范、可共享的全域数据体系,避免数据的冗余和重复建设,规避数据烟囱和不一致性。

  3. 数据服务

    OneService-统一的数据服务平台:以数据仓库整合计算好的数据作为数据源,对外通过接口的方式提供数据服务,主要提供简单数据查询服务、复杂数据查询服务和实时数据推送服务三大特色数据服务

  4. 数据应用

    数据作为新能源,需要通过合适的应用提供给用户,让数据最大化地发挥价值。应用表现可以在搜索、推荐、广告、金融、物流等各个方面。

f183c15f90e53f86346258be025f4c0f1710124b
转载:数据产品笔记本
【云栖快讯】阿里巴巴小程序繁星计划,20亿补贴第一弹云应用免费申请,限量从速!  详情请点击

网友评论