1. 云栖社区首页>
  2. 视频>
  3. 大规模机器学习在蚂蚁+阿里的应用
1

大规模机器学习在蚂蚁+阿里的应用

1637 人浏览
收藏 取消收藏

大规模机器学习在蚂蚁+阿里的应用

分布式 架构 最佳实践 机器学习 人工智能 开发技术 云栖直播

大规模机器学习在蚂蚁+阿里的应用 (25:00)

主讲人介绍

周俊

先后参与过XLib(阿里通用机器学习库)、飞天(阿里分布式操作系统)、ODPS(阿里数据处理平台)以及大规模机器学习平台等几大分布式系统+算法平台的开发,并将相关算法成功应用于搜索、推荐、广告等领域。现在负责蚂蚁大规模机器学习的研发,致力于人工智能服务好更多的金融业务。

视频介绍

随着移动互联网的快速普及和数据收集的便利性,越来越多的数据被存储到分布式系统,大量的数据等待被挖掘、分析和利用,从而提供给用户更个性化的服务。

大数据给机器学习带来了巨大的机遇和挑战,一方面,因为模型规模太大(百亿甚至千亿特征),单机内存无法装载,需要考虑各种分布式策略;另外在进行模型迭代时,需要考虑稳定性、可扩展性、计算/通信效率等多个核心问题,才有可能在浮沙上盖楼成功。因此面向大数据量的机器学习,通常需要设计分布式系统跟稳健的算法来处理上千亿特征和几十T甚至到几个P的数据,这里的系统+算法的结合,统称为大规模机器学习。

如何结合现有分布式系统的优点,克服它的“特点”(同步、慢机等),通过普通CPU获得高可靠、高可扩展、高效率的大规模机器学习平台?如何结合具体的蚂蚁+阿里业务,沉淀优秀的大规模机器学习算法?我们将分享大规模机器学习的技术与过程,介绍大规模机器学习面临的问题以及在蚂蚁+阿里的应用。

本专题主要涵盖:
1)大规模机器学习的设计理念以及优化。
2)大规模机器学习在蚂蚁+阿里的应用,尤其如何更好满足金融业务场景。
3)大规模机器学习的未来发展。