《银行的一天》演示日志处理保序、不丢、不重

19
40
2
  1. 云栖社区>
  2. 阿里云存储服务>
  3. 博客>
  4. 正文

《银行的一天》演示日志处理保序、不丢、不重

简志 2016-08-24 20:07:24 浏览9733
展开阅读全文

日志处理是一个很大范畴,其中包括实时计算、数据仓库、离线计算等众多点。这篇文章主要讨论如何在实时计算场景中,如何能做到日志处理保序、不丢失、不重复,并且在上下游业务系统不可靠(存在故障),业务流量剧烈波动情况下,如何保持这三点。

为了能够方便理解,这里会使用《银行的一天》作为例子将概念解释清楚。在篇幅的末尾,我会介绍下日志服务LogHub功能,是如何与Spark Streaming、Storm Spout等配合,完成日志数据的处理过程。

问题定义

什么是日志数据?原LinkedIn员工Jay Kreps在《The Log: What every software engineer should know about real-time data's unifying abstraction》描述中提到:“append-only, tot

网友评论

登录后评论
0/500
评论
简志
+ 关注
所属云栖号: 阿里云存储服务