交通和个性化推荐实战经验分享

简介: 平台集合了阿里巴巴十年的大数据能力以及上万名工程师实战检验,包含数十款产品,涵盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等链条,目前又有新的迅猛变化,产品体系更加清晰,场景化方案走向个性化,来自企业的实践也已走向深入。

2016年开年伊始,云栖大会上海峰会上,阿里云宣布发布“核武器”级平台——一站式大数据平台“数加”。该平台集合了阿里巴巴十年的大数据能力以及上万名工程师实战检验,包含数十款产品,涵盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等链条,云栖社区曾特别对其进行了详细的介绍《阿里十年经验输出,大数据平台“数加”的前世今生》。

 

而在4月20日的云栖大会深圳峰会的《大数据》专场上,数加又有新的迅猛变化,产品体系更加清晰,场景化方案走向个性化,来自企业的实践也已走向深入。

 

今日的数加:16+产品,3大方案,3种可视化应用

 

如果从阿里云官网导航栏的“大数据”入口进入,可以看到产品、解决方案、可视化是数加的三大框架体系。具体来看:


2b1bba21cf4ff1d63a6ca95d213e50bf9cbad9ca


产品方面已经拥有16款产品:

  • 开发套件:大数据开发、机器学习、BI报表;
  • 数据应用:推荐引擎、规则引擎标准版、移动定向营销版、移动数据分析;
  • 智能算法:智能语音交互、机器翻译、人脸识别、电商图像分析、通用图像分析和印刷文字识别;
  • 计算引擎:大数据计算服务、分析型数据库、流计算。

 

方案主打3个方向:

  • 移动app数据化运营:为开发者提供一站式数据化运营服务,助力移动开发者实现基于大数据技术的精细化运营,提升产品质量和体验,增强用户黏性;
  • ODPS数据集成方案:提供可跨异构数据存储系统、可靠、安全、低成本、可弹性扩展的数据传输交互服务,让数据不再成为孤岛;
  • 个性化推荐:根据用户的兴趣特点和购买行为,推荐用户感兴趣的信息和物品。

 

可视化应用有3种:

  • DataV:专精于业务数据与地理信息融合的大数据可视化呈现,轻松搭建专业水准的可视化应用;
  • 郡县图治:“郡县治,天下安”,区域发展亟需响应“互联网+”行动计划,敏捷应对经济新常态;
  • 台风预警:台风来临前提供实时的各气象台预报数据对比展示分析,判断台风未来的走向及汛情。 

如果浓缩到一张图中,就是在阿里云大数据事业部总监张金银(花名:行在)演讲中的一张:打通数据生产全链条。

 

084af484806c8a680f5ca1cb79ba15b2eca75401

 

在他看来:“阿里巴巴的命是拴在数加上的,承载了阿里巴巴集团、蚂蚁金服集团EB级别数据的计算。作为大数据践行者,阿里巴巴的大数据之路告诉我们,数据上云(集中存储、大规模计算、统一元数据)、数据资产化(数据整合、数据地图、数据管理、资产计量)、业务创新(数据化运营、精准营销、互联网金融、智能物流)、数据生态(业务闭环、生态伙伴、运营数据、分享)这是DT时代所有有志于大数据实践的必经之路,也是数加的使命。”

 

交通行业“互联网+信号灯”分析

 

张金银的分享之后,还有“大数据下的数据安全与个人隐私保护”、“互联网+信号灯”、“全渠道CRM的大数据新玩法”、“锁屏改变你的世界”等技术实践内容。以交通和个性化推荐为例,云栖社区进行了讲稿的整理。更多视频可以在云栖大会深圳峰会回顾专题中观看。

 

交通是大数据应用最为重要的场景之一。阿里云数据事业部专家王正刚在分享中提到:信号灯作为道路资源分配的存在,可以平衡人、车路权,也是提升运输效率的一种重要手段。经常能看到相关新闻报道,因为信号灯失效,造成的拥堵和事故,可以说是“牵一发动全身”。

 

5d9c34f08c22a566f057d548251521d24be124cf

 

但谈到交通信号灯控制,传统交通信息采集设备昂贵的造价和维护成本让人却步,所以一般难以覆盖城市的所有道路,导致交通管理部门无法动态进行全网络交通流量的监控和疏导。移动互联网的存在不仅降低了信息采集成本,延伸了数据采集和道路监控范围,而且可以基于道路上运动的车辆轨迹生成丰富的交通变量,比如说速度和车流量。举例来看,基于动态路口交通状态信息计算的路口平衡指数就是为了度量路口信号灯调节交通供需关系的能力,它是实时路口平衡性和自由流状态下完美平衡性之间的差值,所以平衡指数越高,路口对供需关系的协调能力就越弱。

 

基于2016Q1广州市移动互联网数据分析,我们发现工作日路口平衡指数平均在早间7:00-9:00和晚间17:00 -18:00容易出现平衡指数小高峰。

 

工作日的路口平衡指数水平一般大于周末,但在二者的早间(0:00–6:00)和晚间(20:00–23:00),路口平衡指数相比较白天(10:00–17:00)都显著下降。

 

深入到各个行政区,我们同样发现工作日差异值普遍大于周末,所以工作日信号灯调节交通供需的能力略微劣于周末,这可能和工作日道路通行压力普遍较大有关。

 

事实上,实现信号灯的评估,一方面可以评估单点路口的信号灯控制,另一方面也可以评估绿波带(线)的效果,比如可以通过实时路况数据反映绿波带的设置在不同区域和时间段的合理性。更深层次的,我们可以基于平衡指数优化信号灯配时,生成路口绿灯修正时间等。

 

个性化推荐实战经验

 

个性化推荐也是大数据实践的另一个重要场景。在好看锁屏高级总监翟斌的分享中,特别提到,在实现好看锁屏快速用户积累的过程中,比如7200万国内用户、360万海外用户、点击喜爱的用户达到130万人,查看详情的用户达到86万人等,个性化推荐需求与问题最为突出。

 

在如今信息爆炸的时代,个性化内容推荐已是主流。在他看来,好看锁屏的需求有三点:

  • 盘活内容:图库内容30余万,时效内容30%,非时效性内容70%,让用户看到最新内容与热点内容;
  • 用户多层次需求:用户范围广,不同年龄,不同地域,不同背景对内容喜好完全不同,人工推荐已无法满足这么需求;
  • 让用户更加爱看:在锁屏上浏览更多用户喜欢看的精彩内容,让锁屏成为用户获取内容的新渠道。

 

而从产品需求来看,也有四方面:

  • 数据自由:数据安全,本地化部署;
  • 快速开发:1个月完成上线,维护人力投入少;
  • 效果好:订阅量提升;阅读量提升;阅读时长提升;
  • 扩展强:基于内容推荐;基于位置推荐;推荐权重调整。

 

20a88c3792535e28d305b06f616a4797f4aed2d4

 

有了真实的产品需求,下一步就是技术选型:考虑到人才、技术和时间,最终好看锁屏通过阿里云SLB、ECS、OSS、SLS、脚本实现了对离线数据和实时数据的收集,ODPS实现了存储,采云间进行了数据处理,最终通过分析报表系统分析出用户、图片和订阅的关系。现有分析统计流程见上图。

 

但对于个性化推荐流程,还有很大优化空间。

 

翟斌分析了伦敦“大本钟”所代表的图片标签分析,以及人物画像,并从业务、场景和算法方面对需求进行了详细阐述。在数加个性化推荐引擎的助力下,对算法进行了优化和调整。最终改进后的流程如下。

 

143e19f0e5550d452a01335e412f2a2e17794932

 

效果比翟斌所预想还好。每日浏览从160张增加到220张增加了37.5%,主动订阅提升了33%,主动浏览内容从13次,9张/次增加到16次,12张/次,分别提上了23%和33%。

 

在他看来,个性化推荐引擎方面,实时、算法和模板是最重要的三点,而数加个性化推荐引擎来自集成淘宝最成熟的算法,实现了实时个性化推荐,还有电商和阅读等多模板选择,在持续调优下,对企业的帮助极大。

 

—结束—         



相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
11天前
|
机器学习/深度学习 人工智能 算法
「我在淘天做技术」迈步从头越-阿里妈妈广告智能决策技术的演进之路
随着智能化营销产品和机器学习的发展,阿里妈妈将深度学习和强化学习等AI技术越来越多地应用到广告智能决策领域。本文将以阿里妈妈广告智能决策技术的演进为例,分享我们工作和思考。
|
机器学习/深度学习 人工智能 运维
客户分享:智能风控 未来已来|学习笔记
快速学习客户分享:智能风控 未来已来。
205 0
客户分享:智能风控 未来已来|学习笔记
|
人工智能 自然语言处理 安全
舆情分析技术
通常来说,舆情分析的技术手段主要有以下五种:
|
搜索推荐 大数据
突破创新桎梏 互联网金融需深挖精准人群
突破创新桎梏 互联网金融需深挖精准人群
123 0
|
数据可视化 JavaScript 算法
大数据时代的特种兵:阿里数据产品团队
你可能用过数据魔方、淘宝指数、淘宝时光机这些好玩的产品,为其对大数据的运用点赞,或许你还对阿里巴巴在大数据这领域所做的工作感到好奇。在这里,Segmentfault 给大家来介绍一下这些炫酷产品背后的团队:阿里数据平台事业部数据产品团队。
373 0
大数据时代的特种兵:阿里数据产品团队
|
机器学习/深度学习 人工智能 运维
智能风控未来已来
本文主要会分享三个方面的内容,由小红书反作弊的策略和算法负责人 汪浩然讲讲他和阿里风控的故事、阿里云的风控产品赋能以及阿里的机器学习平台赋能,最后介绍一下智能风控以及智能风控依靠的云计算能力。
5029 0
智能风控未来已来
|
新零售 数据采集 监控
品牌舆情、决策分析,数据中台模式的茅台云商实践解析
摘要:阿里云茅台数据中台项目负责人董芳英(晓草) 在2018云栖大会上海峰会数据中台专场做了题为《品牌舆情、决策分析,数据中台模式的茅台云商实践解析》 的精彩讲述,首先从价值角度介绍了关于茅台与数据中台相互结合解决了什么样的问题,其次从业务背景角度阐述了为什么要构建数据中台,最后从方案实践的角度与我们分享了茅台云商业是如何一步步落地并实现目标的。
3430 0
|
新零售 机器学习/深度学习 算法
阿里巴巴iDST杨森:智能决策在电商平台的应用
在2018年1月6日的云栖社区数据智能技术论坛上,来自阿里巴巴的杨森做了智能决策的主题分享。目前智能决策在人力调度、货物分配、资源优化等场景上面扮演者重要的角色,杨森从获取数据,预测用户需求,做出决策这三个阶段,对智能决策的框架以及优化做了详细介绍。
5700 0