陈天奇团队新研究:自动优化深度学习工作负载

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

陈天奇团队新研究:自动优化深度学习工作负载

技术小能手 2018-05-23 15:08:45 浏览5995
展开阅读全文

深度学习在我们的日常生活中已经无处不在。深度学习模型现在可以识别图像,理解自然语言,玩游戏,以及自动化系统决策(例如设备放置和索引)。张量算符(tensor operators),如矩阵乘法和高维卷积,是深度学习模型的基本组成部分。


可扩展的学习系统依赖于手动优化的高性能张量操作库,如cuDNN。这些库针对较窄范围的硬件进行了优化。为了优化张量算符,程序员需要从逻辑上等价的许多实现中进行选择,但由于线程,内存重用, pipelining和其他硬件因素的不同,性能上的差别很大。


支持多种硬件后端需要巨大的工程努力。即使在当前支持的硬件上,深度学习框架和模型的开发也从根本上受到库中优化操作符设置的限制,阻止了诸如操作符熔合(operator fusion)之类的优化,从而产生不受支持的操作符。


针对这个问题,华盛顿大学计算机系博士生陈天奇、

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 新智元