DeepMind提出快速调参新算法PBT,适用GAN训练(附论文)

  1. 云栖社区>
  2. 新智元>
  3. 博客>
  4. 正文

DeepMind提出快速调参新算法PBT,适用GAN训练(附论文)

技术小能手 2017-11-28 14:41:14 浏览2292
展开阅读全文

从围棋到Atari游戏到图像识别和语言翻译,神经网络在各个领域都取得了巨大的成功。但是经常容易被忽视的是,神经网络在某个特定应用中的成功通常取决于在研究初始时所做的一系列选择,包括选择要使用的网络类型以及用于训练的数据和方法。目前,这些选择(被称作超参数)是通过经验、随机搜索或计算密集型的搜索过程来实现的。

DeepMind在最近的一篇论文《基于群体的神经网络训练》(Population Based Training of Neural Networks中,提出了一种新的训练神经网络的方法,使得实验者能够快速地为任务选择最佳的超参数集合和模型。这种技术被称为基于群体的训练(Population Based Training,PBT),它同时训练和优化一系列的网络,从而快速找到最优的设置。最重要的是,这种方法不会增加计算开销,可以像



网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 新智元