阿里巴巴搜索在离线统一调度

  1. 云栖社区>
  2. AI·OS推荐与搜索技术>
  3. 博客>
  4. 正文

阿里巴巴搜索在离线统一调度

叶良 2018-11-30 15:46:47 浏览1825
展开阅读全文

1. 发展历程

        Hippo是搜索事业部调度系统团队自研的支撑集团内外多个BU搜索与推荐体系和阿里云上Opensearch/ES等的调度系统,经过了5年的快速发展,提供了可靠、简单、低成本的资源及应用托管方案,通过自动化运维、机器合池、智能弹性调度、混部和在离线统一调度等手段解决成本和效率的问题。

1536911660120-4c67968f-91dc-4058-bddc-9e

2. YARN on Hippo on Sigma

        在2017年天猫双11,搜索在离线混合调度方案是YARN on Hippo on Sigma,在NC上通过Sigma(集团一层调度系统)拉起Hippo Slave容器交由Hippo Master管理,Topia向Hippo Master申请用于部署NM的资源(资源基本保证和弹性上限由Hippo决定)并拉起NM交由YARN RM统一管理,具有较强的通用性(衍生出多

网友评论

登录后评论
0/500
评论
叶良
+ 关注
所属云栖号: AI·OS推荐与搜索技术