遍地开花的 Attention ,你真的懂吗?

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

遍地开花的 Attention ,你真的懂吗?

技术小能手 2019-08-09 09:49:02 浏览2701
展开阅读全文

image

阿里妹导读:曾被 paper 中各种各样的 Attentioin 搞得晕晕乎乎,尽管零零散散地整理过一些关于Attention 的笔记,重点和线索依然比较凌乱。今天,阿里巴巴工程师楠易,将 Attentioin 的知识系统性地梳理、回顾、总结,不求深刻,但求浅显,希望能帮助对 Attention 有疑惑的同学。

前言

Attention 自2015年被提出后,在 NLP 领域,图像领域遍地开花。Attention 赋予模型区分辨别能力,从纷繁的信息中找到应当 focus 的重点。2017年 self attention 的出现,使得 NLP 领域对词句 representation 能力有了很大的提升,整个 NLP 领域开启了全面拥抱 transformer 的年代。

本文会主要从2个方面来介绍 Attention。

初识 Attenti

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术