大规模深度学习优化技术在PAI平台中的应用及实践

  1. 云栖社区>
  2. 阿里云机器学习>
  3. 博客>
  4. 正文

大规模深度学习优化技术在PAI平台中的应用及实践

云栖小秘书 2017-03-29 13:15:42 浏览5451
展开阅读全文

1. 前言


自2012年Deep Learning的代表模型AlexNet在ImageNet大赛中力压亚军,以超过10个百分点的绝对优势夺得头筹之后,依托于建模技术的进步、硬件计算能力的提升、优化技术的进步以及海量数据的累积,Deep Learning在语音、图像以及文本等多个领域不断推进,相较于传统作法取得了显著的效果提升。

 

工业界和学术界也先后推出了用于Deep Learning建模用途的开源工具和框架,包括Caffe、Theano、Torch、MXNet、TensorFlow、Chainer、CNTK等等。其中MXNet、TensorFlow以及CNTK均对于训练过程提供了多机分布式支持,在相当大程度上解放了DL建模同学的生产力。

 

但是,DL领域的建模技术突飞猛进,模型复杂度也不断增加。从模型的深度来看,以图像识别领域为例,1

网友评论

登录后评论
0/500
评论
云栖小秘书
+ 关注
所属云栖号: 阿里云机器学习