谷歌将AutoML应用于Transformer架构,翻译结果飙升,已开源!

  1. 云栖社区>
  2. 数据派THU>
  3. 博客>
  4. 正文

谷歌将AutoML应用于Transformer架构,翻译结果飙升,已开源!

初商 2019-08-26 23:07:51 浏览295
展开阅读全文

来源:新智元

文章来源:微信公众号 数据派THU

本文约1600字,建议阅读8分钟。


Evolved Transformer不仅实现了最先进的翻译结果,与原始的Transformer相比,它还展示了语言建模的改进性能。

image.png

[ 导读 ]为了探索AutoML在序列域中的应用是否能够取得的成功,谷歌的研究团队在进行基于进化的神经架构搜索(NAS)之后,使用了翻译作为一般的序列任务的代理,并找到了Evolved Transformer这一新的Transformer架构。Evolved Transformer不仅实现了最先进的翻译结果,与原始的Transformer相比,它还展示了语言建模的改进性能。

自几年前推出以来,Google的Transformer架构已经应用于从制作奇幻小说到编写音乐和声的各种挑战。重要的是,Transformer的高性能已经

网友评论

登录后评论
0/500
评论
初商
+ 关注
所属云栖号: 数据派THU