如何获取阿里巴巴的大数据能力?

  1. 云栖社区>
  2. 博客>
  3. 正文

如何获取阿里巴巴的大数据能力?

云学习小组 2016-06-20 16:32:18 浏览7353
展开阅读全文

平台定位

eb01139fb06ef0f4ee1e36f9c89ed7e3d1e546e4

图一 数加平台的定位

面对不同的用户,数加平台定位也各不相同。对于开发者而言,它是一站式数据采集、加工和应用的平台;面向企业用户,数加平台提供了影视、金融、电商、交通、通用等行业解决方案;面向服务商,数加平台提供的更多是行业内先进的技术引擎、开发平台,丰富大数据应用经验。

产品概览

数加的产品大致分为三层,在座的各位会比较关心最上层的数据应用,刚才大家体验的智能语音交互就是其中之一,后面还会给大家介绍其他几个智能工具。除了成熟的数据应用之外,中间还有两个开发平台,一个是算法开发的平台、一个是数据开发的平台。算法开发平台提供了业内常用的知名算法,并且以一套界面化的流程进行管理操作。数据开发平台拥有在线查询、ETL加工、定时调度、数据传输等多项功能,满足日常业务数据的生产需要。

在最底层,是阿里云强大的数据计算引擎。值得注意的是,这里所有的计算能力都是经历过阿里巴巴双十一活动的洗礼,每一年随着业务的巨大增速,进而拥有质的飞跃,他的稳定性、安全性、计算能力每年都会参加考试,然后提升,这也是区别于市场上的开源产品一个特点。

afcd30142f5e70b4351d3d9cb33a4710976fc021

图二 数加平台产品概览

数加平台和其他服务差异化的地方在于,其不仅提供了数据计算和存储能力,还提供了大数据整体端到端的应用闭环,他不仅能帮用户采集数据,还能帮大家如何用数据。

2894f427a193416cdc5c0ef0d174d51eb7ba89b5

图三 数加平台差异化的核心能力

解决方案

数加平台不仅为各行业提供相应的解决方案,例如人脸识别、语音识别、舆情分析,以及台风预警等。同时在数加平台上还提供了一些轻量级,适合个人使用的产品,下面将一一进行介绍。

特色产品

1、数据可视化

数据可视化有一种呈现方式,叫数据大屏。从下图可以看到,每年双十一的时候,阿里巴巴都会展示一个数据媒体大屏,其中包括实时数据的的演示和逻辑分析。其背后包括大量实时数据的计算、处理和多维的分析。

如果单看上层的产品,随着大屏的推出,许多媒体、政府、或者即将上市的企业倾向于将核心数据通过物理大屏进行呈现。针对这种情况,数据可视化产品目前推出了活动实时数据大屏、运营动态数据大屏、电商综合数据大屏、设备监控预警大屏四款模板。其使用也十分简单,单人可在十分钟内完成数据大屏的创建。首先选中一个模板、在模板之上可以自主调整可视化组件,包括组件背景的配置;同时其数据源也不仅仅是数据库,也支持从本地的Csv文件中上传数据。

698f353b5e152625319427e58c25c79c801ee064

图四 2015年天猫双十一数据大屏

不同场景下的用户对大屏的需求不尽相同。例如实时动态分析数据架构,主要适用于电商/O2O实时订单、气象/海洋实时动向、交通实时车流等场景;数据综合分析架构,主要适用于政府宏观经济展示、企业用户画像分析等场景;IT运维日志分析架构,主要适用于企业设备监控、危险预警、资源管理等运维场景。

2、公共趋势分析

这是一款最近上线的SaaS化的产品,其初衷是为倾听客户抱怨,提升集团各产品的质量反馈,自动告警,触发工单流转;目前可以实现对(自)媒体内容智能分类,智能打标,智能判断正负面情绪,分析传播路径等功能。

ea32fec5d7b1c0bddcfda84441495ef43f56125b

图五 公共事件传播效果分析

上图是对顺丰快递员被打案例的分析,经过追踪分析发现:后续有四层传播,整个传播量达到一亿以上,转发量达到五万余次,同时可以分析出每次转发背后人的感情指数的趋势。

从产品界面上来看,该产品十分易用,使用者只需输入所监督的关键词,然后该产品可以根据给定的关键词查到市面上所有的相关事件,然后针对这些事情进行情感分析。对于公众事件的传播,也可以通过可视化图形界面查看。

如何使用数加平台? 

对于企业而言,如何让使用数加平台很关键。下面将以Finger为例进行详细讲解。

Finger

Finger应用包括视频、文章帖和电商导购三个模块。Finger截止目前已经发展两年有余,积累了很多数据,在应用方面面临了一些问题,大致包括:移动APP的数据采集通过第三方软件,数据明细拿不到;前后端数据分散、需要整合;数据应用只有第三方提供的报表,应用单一。

Finger最终想要达到的目的是:1、将数据源统一整理起来。2、建立数据池,包括结构化数据和非结构化数据。3、在多种业务场景下应用数据,包括用户画像、个性化推荐、性能分析。

d02255054a4c7f973c6c66cd7b3d6d21b381898d

图六 对应数加解决方案

那对应数加平台的解决方案就是:前端通过“移动数据分析(MAN-SDK)”采集数据、后端通过日志API采集,历史数据存在RDS,三份数据统一汇聚到MaxCompute进行大规模数据计算。然后调用推荐引擎的算法来实现个性化推荐,在应用过程中,算法也是跑在MaxCompute上。

互动体验

数加产品体验馆:https://data.aliyun.com/experience

推荐引擎、BI报表、数据开发、机器学习、以及人工智能算法服务都在其中。

d391acaca120a078ec7b3cc1e4e944f7cb19c30f

图七 数加平台产品列表及体验馆

 


2251a4fe0093b44b2e49e50caa6b41a73d56e31f

图八 印刷文字识别

51b99b1448d07e2c9ef8ff8c9730cc246c667d19

图九 人脸识别

答疑 

有人问到数加平台和御膳房的异同,我的理解是,相同点:首先两者都是同一套计算能力提供出去。不同点:1、从业务特征来看,御膳房侧重点是淘系电商的业务和场景;数加更多面向的是个人或企业的开发者、行业解决方案(包括电商)以及服务商生态。两者面向的对象不太一样。2、从产品功能来看,由于终端客户存在不一样需求,提供的产品也会有差异。

关于分享者: 邓彬,阿里云大数据运营专家

网友评论

登录后评论
0/500
评论
云学习小组
+ 关注