从零到壹构建行为日志聚合

  1. 云栖社区>
  2. 博客>
  3. 正文

从零到壹构建行为日志聚合

黑云长剑 2018-02-03 18:48:57 浏览1044
展开阅读全文

摘要

行为日志在这个大数据时代的作用日益重要,怎样更好的收集、存储、管理日志也是值得研究的一个问题,大型互联网公司一般都有成熟的日志聚合方案,但是每个公司尤其是中小型公司都要针对自己的应用场景来做技术选型,本文主要针对中小型公司如何以较小的成本快速构建一个行为日志聚合体系以及在建立日志聚合过程中要处理哪些问题。

关键字

日志收集,消息队列,数据仓库,生产者,消费者

原始阶段

最初公司使用日志收集的方式极其简单粗暴,数据量大的以文本文件形式存在本地磁盘,数据量小的存在各个数据库(比较重要的日志)。这种方式实现起来简单,但是存在诸多问题:查询极为不便,需要到到各服务器去查找日志;一般数据库的存储量级有限,如果要存大量数据需要水平分表,给运维和开发带来额外的负担;各个子系统的日志处理不统一,还要额外维护日志处理程序;日志分散会对后续的数据分析造成

网友评论

登录后评论
0/500
评论
黑云长剑
+ 关注