日志系统之HBase日志存储设计优化

  1. 云栖社区>
  2. 博客>
  3. 正文

日志系统之HBase日志存储设计优化

云hbase+spark 2017-09-20 16:59:56 浏览1920
展开阅读全文

本人博客文章如未特别注明皆为原创!如有转载请注明出处:http://blog.csdn.net/yanghua_kobe/article/details/46482319

继续谈论最近接手的日志系统,上篇关于日志收集相关的内容,这篇我们谈谈日志存储相关的话题。

简介

我们首先来总结一下日志这种数据的业务特点:它几乎没有更新的需求,一个组件或一个系统通常有一个固定的日志格式,但就多个组件或系统而言它会存在各种五花八门的自定义的tag,这些tag建立的目的通常是为了后期查询/排查线上问题的需要,因此日志的检索字段也灵活多变。

我们的日志存储选择是HBase,这主要是因为我们认为HBase的如下特点非常适合日志数据:

(1)HBase的qualifier相当灵活,可以动态创建,非常适合日志这种tag不固定的半结构化数据(这里的灵活性主要针对tag

网友评论

登录后评论
0/500
评论
云hbase+spark
+ 关注