超越 BERT 和 GPT,微软亚洲研究院开源新模型 MASS!

  1. 云栖社区>
  2. 阿里双创在线>
  3. 博客>
  4. 正文

超越 BERT 和 GPT,微软亚洲研究院开源新模型 MASS!

雷锋网 2019-06-26 17:45:14 浏览1162
展开阅读全文

雷锋网 AI 科技评论按:自 2018 年以来,预训练无疑是自然语言处理(NLP)领域中最热门的研究课题之一。通过利用 BERT、GPT 和 XLNet 等通用语言模型,该领域的研究者们在自然语言理解方面已经取得了许多重大的突破。然而,对于序列到序列的自然语言生成任务,这些主流的预训练方法并没有带来显著的改进,对此,微软亚洲研究院提出了一个全新的通用预训练方法——MASS,在该任务中可以得到比 BERT 和 GPT 更好的效果。

TB1dCNQelWD3KVjSZKPXXap7FXa.jpg

前言

BERT 和 XLNet 在自然语言理解任务(例如:情感分类、自然语言推理和 SQuAD 阅读理解)方面取得了巨大成功。然而, NLP 领域除了自然语言理解任务之外,还存在很多序列到序列的语言生成任务,例如机器翻译、文本摘要生成、对话生成、问答、文本风格转换等。对于这些任务,使用编码器-注意力-

网友评论

登录后评论
0/500
评论
雷锋网
+ 关注
所属云栖号: 阿里双创在线