BasicEngine — 基于DII平台的推荐召回引擎

  1. 云栖社区>
  2. AI·OS推荐与搜索技术>
  3. 博客>
  4. 正文

BasicEngine — 基于DII平台的推荐召回引擎

zongyuanwu 2018-03-16 11:13:42 浏览4197
展开阅读全文

一、诞生

时光回到2016年,那时候阿里推荐系统的核心召回逻辑还称为"u2i",即离线计算好user到推荐item的关系,在线仅负责简单查询。在"u2i"模式中,受限于计算能力和产出时间的要求,无法将全网user与i2i全量表完整关联,通常都需要将i2i全量表前置过滤、截断、然后再与user行为表join产出u2i表,最后回流线上iGraph提供查询。这是一种重离线轻在线的架构,主要存在几大问题:一是浪费离线计算资源,每一个业务接入、每一次效果迭代,都需要针对所有user做一次全量计算;二是浪费iGraph在线存储资源,每一个业务的每一种策略,都会存在一张完整的u2i表,数据规模巨大;三是迭代周期慢,每一次截断和排序策略的调整,都要经过全量离线计算和数据回流、等待几个甚至十几个小时以上。2016双十一过后,推荐算法团队和搜索工程团队

网友评论

登录后评论
0/500
评论
zongyuanwu
+ 关注
所属云栖号: AI·OS推荐与搜索技术