基于BERT,神马搜索在线预测性能如何提升?

  1. 云栖社区>
  2. 博客>
  3. 正文

基于BERT,神马搜索在线预测性能如何提升?

初商 2019-08-16 00:51:07 浏览557
展开阅读全文

小叽导读: 俗话说,天下没有免费的午餐,BERT 拥有出众效果的代价就是同样“出众”的资源消耗。今天,阿里巴巴技术专家丁亦川梳理了神马搜索 BERT 在线预测过程中,遇到的性能问题,探索过程以及当前初步的成果,分享给大家。


一、背景介绍

BERT 的全称是 Bidirectional Encoder Representation from Transformers,即双向 Transformer 的 Encoder,由 google 在 2018 年提出[1]。模型的主要创新点是,在海量语料上同时用 Masked LM 和 Next Sentence Prediction 两种任务做预训练,利用 transformer 中 self-attentnion 的特征抽取能力,全面获取词语和句子级别的 representation。

根据论文

网友评论

登录后评论
0/500
评论
初商
+ 关注