从呱呱坠地到大放异彩,语言模型经历了哪些变化?

  1. 云栖社区>
  2. 博客>
  3. 正文

从呱呱坠地到大放异彩,语言模型经历了哪些变化?

初商 2019-08-16 00:06:52 浏览665
展开阅读全文

小叽导读:地基决定了建筑的高度,语言模型决定了 NLP 的能力。我们平时关注到的更多是建筑位于地表之上的宏伟部分,地基则鲜少有人问津。然而,打实基础,才能更上一层楼。今天,蚂蚁金服智能对话算法团队带领大家一起回顾 NLP 语言模型的演化历史,了解 BERT为什么能在今天大放异彩。

语言模型概览

语言模型本质上是在回答一个问题:出现的语句是否合理。

在历史的发展中,语言模型经历了专家语法规则模型(至80年代),统计语言模型(至00年),神经网络语言模型(到目前)。

专家语法规则模型在计算机初始阶段,随着计算机编程语言的发展,归纳出的针对自然语言的语法规则。但是自然语言本身的多样性、口语化,在时间、空间上的演化,及人本身强大的纠错能力,导致语法规则急剧膨胀,不可持续。

统计语言模型用简单的方式,加上大量的语料,产生了比较好的效果。统计语言模型通


网友评论

登录后评论
0/500
评论
初商
+ 关注