用BERT构建最先进语言模型

  1. 云栖社区>
  2. 博客>
  3. 正文

用BERT构建最先进语言模型

王柯凝 2019-07-18 10:38:45 浏览499
展开阅读全文

image.png

2018年,在引入了迁移学习之后,自然语言处理(NLP,Natural Language Processing)领域发生了革命性的变化。BERT(Bidirectional Encoder Representations from Transformers)是谷歌人工智能团队在2018年推出的一个典型的迁移学习案例,它在各种NLP任务中展现出的最先进成果震撼了整个NLP领域。

由于BERT高度实用的方法和具有更高效的性能,它被用于各种NLP任务,在语言模型中取得了最先进的成果。本文将通过一些重要的背景细节对BERT的体系结构进行广泛的说明。我们还将通过实际操作,使用PyTorch库对讨论关于如何使用该模型获得最先进成果进行测试。

有一种非常有效的方法可以进行预训练神经网络,并创建一个预训练的语言模型,这被称为语言建模(LM)。

一些关于


网友评论

登录后评论
0/500
评论
王柯凝
+ 关注