如何拥抱 embedding ?从词向量到句向量的技术详解

  1. 云栖社区>
  2. 博客>
  3. 正文

如何拥抱 embedding ?从词向量到句向量的技术详解

初商 2019-08-16 00:36:25 浏览566
展开阅读全文

小叽导读:13年 Word2vev 横空出世,开启了基于 word embedding pre-trained 的 NLP 技术浪潮,6年过去了,embedding 技术已经成为了 nn4nlp 的标配,从不同层面得到了提升和改进。今天,我们一起回顾 embedding 的理论基础,发现它的技术演进,考察主流 embedding 的技术细节,最后再学习一些实操案例。

从实战角度而言,现在一般把 fastText 作为 word embedding 的首选,如果需要进一步的上下文信息,可以使用 ELMo 等 contextual embeddings。从18年开始,类似 ULMFiT、Bert 这样基于 pre-trained language model 的新范式越来越流行。

Sentence embedding 方面,从15年的 S

网友评论

登录后评论
0/500
评论
初商
+ 关注