HA3、iGraph和DII服务框架统一之战

  1. 云栖社区>
  2. AI·OS推荐与搜索技术>
  3. 博客>
  4. 正文

HA3、iGraph和DII服务框架统一之战

alizhen 2018-03-29 10:22:52 浏览2905
展开阅读全文

我们在多年的HA3开发工作当中,形成了一套高效的数据存储和管理方案,将其推广到其它业务场景(包括iGraph、DII服务的场景)后也取得了不错的效果。这篇文章首先介绍在典型的搜索场景,我们的在线数据存储和管理框架是如何发挥作用的,然后描述将这个框架推广到更多的业务场景的过程以及取得的收益。

1 搜索场景的特点

一般的搜索场景满足以下几个特点:

  • 数据量大。doc数目达到几个Billion,总索引存储空间量超过几十TB是常见的事情。
    *    访问量大。一个大型的搜索业务日pv上数十亿是很正常的压力。

*    数据更新量大。以主搜双11为例,excellent集群每秒的正排更新qps可达几十万每秒,如此大的更新量给在线服务引擎带来了很大的压力。
*    数据更新的时效性很高,需要到秒级以内。例如主搜场景,对某个宝贝的大量的用户点击行为应该能够

网友评论

登录后评论
0/500
评论
alizhen
+ 关注
所属云栖号: AI·OS推荐与搜索技术