实时离线融合在唯品会的进展:在实时技术、数据、业务中寻找平衡

  1. 云栖社区>
  2. 雷锋网>
  3. 博客>
  4. 正文

实时离线融合在唯品会的进展:在实时技术、数据、业务中寻找平衡

玄学酱 2017-08-02 16:39:00 浏览1533
展开阅读全文

实时大数据分析是指对规模巨大的数据进行分析,利用大数据技术高效的快速完成分析,达到近似实时的效果,更及时的反映数据的价值和意义。

所有人都能理解数据的时效性对于数据的价值至关重要。以唯品会为例,唯品会已经有一整套非常成熟的离线数据仓库系统。这套系统对于业务有非常大的指导意义,但目前碰到的问题是如何将各种计算、报表加速,从原来天级别、小时级别,加速到近实时来。

这是我们开始实时离线融合这个项目的缘由。该工作我们是从 2016 年下半年开始的,到目前为止它仍然只是一个半成品,因此这里面包含的很多内容并不是最终的结论,在多数情况下,它仅仅是以唯品会的特点为基础,而不一定能无缝地适用于其他公司产品。我们希望抛砖引玉,对大家有所俾益。

1. 时效性与大数据

第一个问题是:什么是实时(real-time)? 什么是离线(offline)?很多时候,我

网友评论

登录后评论
0/500
评论
玄学酱
+ 关注
所属云栖号: 雷锋网