毫秒级从百亿大表任意维度筛选数据,是怎么做到的...

  1. 云栖社区>
  2. 闲鱼技术>
  3. 博客>
  4. 正文

毫秒级从百亿大表任意维度筛选数据,是怎么做到的...

闲鱼技术 2018-11-27 14:11:09 浏览4041
展开阅读全文

作者:闲鱼技术-才思

1、业务背景

随着闲鱼业务的发展,用户规模达到数亿级,用户维度的数据指标,达到上百个之多。如何从亿级别的数据中,快速筛选出符合期望的用户人群,进行精细化人群运营,是技术需要解决的问题。业界的很多方案常常需要分钟级甚至小时级才能生成查询结果。本文提供了一种解决大数据场景下的高效数据筛选、统计和分析方法,从亿级别数据中,任意组合查询条件,筛选需要的数据,做到毫秒级返回。

2、技术选型分析

从技术角度分析,我们这个业务场景有如下特点:

  1. 需要支持任意维度的组合(and/or)嵌套查询,且要求低延迟;
  2. 数据规模大,至少亿级别,且需要支持不断扩展;
  3. 单条数据指标维度多,至少上百,且需要支持不断增加;
    综合分析,这是一个典型的OLAP场景。

2.1 OLTP与OLAP

下面简单对比下OLTP和OLAP:

OLTPOLAP
定义联机事务处理联机分析

网友评论

登录后评论
0/500
评论
闲鱼技术
+ 关注
所属云栖号: 闲鱼技术