基于Hadoop集群的大规模分布式深度学习

  1. 云栖社区>
  2. 大数据文摘>
  3. 博客>
  4. 正文

基于Hadoop集群的大规模分布式深度学习

小旋风柴进 2017-05-02 22:41:00 浏览2221
展开阅读全文

前言

在过去的十年里,Yahoo一直持续投资建设和扩展Apache Hadoop集群,到目前为止共有超过4万台服务器和600PB数据分布在19个集群上。正如在2015 Hadoop 峰会上介绍的,我们在自己的服务器上开发了可扩展的机器学习算法,用于分类、排序和计算词向量。目前,Hadoop集群已成为Yahoo大规模机器学习的首选平台。

0?wx_fmt=jpeg

深度学习(Deep Learning, DL)是雅虎很多产品的核心技术需求。在2015 RE.WORK深度学习峰会上,Yahoo Flickr团队(Simon OsinderoPierre Garrigues)阐述了深度学习如何被应用于场景检测、物体识别和计算美学。机器学习帮助Flickr自动完成给用户图片打标签,使得Flickr终端用户能够方便的管理和查找图片。

为使深度学习技术惠及更多的Yahoo产














网友评论

登录后评论
0/500
评论
小旋风柴进
+ 关注
所属团队号: 大数据文摘