SARO平台发展和架构简介

  1. 云栖社区>
  2. 博客>
  3. 正文

SARO平台发展和架构简介

eleforest 2018-08-24 09:54:10 浏览1275
展开阅读全文

背景

什么是搜索离线
搜索是因应互联网海量数据检索查找的需求而诞生的,阿里巴巴商品搜索亦是如此,随着淘宝/天猫商品数量的不断增加,如何为用户从海量的商品库中找到心仪的目标变成了越来越大的挑战。一个典型的商品搜索架构如下图所示,本文将要重点介绍的就是下图中的离线数据处理系统(Offline System)。
1533096984609-34fde893-ae6b-4498-958b-5b
 
何谓离线?在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务;与之相对应的,将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。商品搜索的业务特性(海量数据、复杂业务)决定了离线系统从诞生伊始就是一个大数据系统,它有以下一些特点:
  • 任务模型上区分全量和增量。
    • 全量是指将搜索业务数据全部重新处理生成,并传送给在线引擎,一般是每天一次。这么做有两个原因

网友评论

登录后评论
0/500
评论
eleforest
+ 关注