阿里妈妈基于TensorFlow做了哪些深度优化?TensorFlowRS架构解析

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

阿里妈妈基于TensorFlow做了哪些深度优化?TensorFlowRS架构解析

技术小能手 2018-04-26 14:26:12 浏览5073
展开阅读全文

一. 综述

深度学习比传统的逻辑回归有着更强的模型刻画能力,同时也带来了计算力百倍提升的需求。相比图像、语音、视频等领域,搜索、广告、推荐等场景有着独特的场景特点: 样本规模和特征空间通常非常巨大,千亿样本、百亿特征并不罕见,同时存在大量的稀疏特征作为Embedding输入。这就要求我们针对此场景下的计算特点对深度学习框架进行设计和优化。

本文所阐述的工作由阿里妈妈基础平台团队与PAI团队合作完成,我们基于TensorFlow在搜索、广告、推荐场景下进行了深度的优化与增强,内部项目名称为TensorFlowRS,主要的成果如下:

(1) 解决了原生TF水平扩展能力不足的问题。在我们的测试中,绝大多数搜索广告模型的训练性能提升在十倍以上,某些模型的极限性能最高可提升百倍。

(2) 支持完备的在线学习语义,模型变更实时写出;稀疏特征无需做连续






网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术