如何搭建大规模机器学习平台?以阿里和蚂蚁的多个实际场景为例

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

如何搭建大规模机器学习平台?以阿里和蚂蚁的多个实际场景为例

技术小能手 2017-08-15 09:40:04 浏览5582
展开阅读全文

近年来,随着“大”数据及“大”模型的出现,学术界和工业界对分布式机器学习算法引起了广泛关注。针对这一刚需,本论文设计了一个独一无二的分布式平台——鲲鹏。它无缝的结合了分布式系统及并行优化算法,解决了大规模机器学习算法带来的一系列问题。鲲鹏不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性,而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法,降低使用成本并提升效率。

image

本论文的实验在十亿级别的样本和特征数据上进行,结果表示,鲲鹏这一设计使得一系列算法的性能都得到了极大的提升,包括FTRL,Sparse-LR,以及MART。此外,鲲鹏在阿里巴巴双11狂欢购物节及蚂蚁金服的交易风险检测中体现出了其巨大的应用价值。

研究背景

现在是个大数据的时代,各个平台的数据量都与时俱进。举例而言,国外的Twitter每

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术