阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读

  1. 云栖社区>
  2. 阿里技术>
  3. 博客>
  4. 正文

阿里如何实现秒级百万TPS?搜索离线大数据平台架构解读

技术小能手 2018-09-18 11:00:22 浏览1779
展开阅读全文

背景

什么是搜索离线?

一个典型的商品搜索架构如下图所示,本文将要重点介绍的就是下图中的离线数据处理系统(Offline System)。

4a24c25f685b965640283f7b0dc8a257ec261ed2

何谓离线?在阿里搜索工程体系中我们把搜索引擎、在线算分、SearchPlanner等ms级响应用户请求的服务称之为“在线”服务;与之相对应的,将各种来源数据转换处理后送入搜索引擎等“在线”服务的系统统称为“离线”系统。商品搜索的业务特性(海量数据、复杂业务)决定了离线系统从诞生伊始就是一个大数据系统,它有以下一些特点:

1. 任务模型上区分全量和增量

1)全量是指将搜索业务数据全部重新处理生成,并传送给在线引擎,一般是每天一次。这么做有两个原因:有业务数据是daily更新;引擎需要全量数据来高效的进行索引整理和预处理,提高在线服务效率。

2)增量是指将上游数据源实时发生的数据变化更新到在线引擎中。

3)性能


网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 阿里技术