HBase学习笔记——基于HBase的日志系统的性能优化

  1. 云栖社区>
  2. 博客>
  3. 正文

HBase学习笔记——基于HBase的日志系统的性能优化

hyjshanghai 2017-10-17 17:26:49 浏览753
展开阅读全文

我之前参与过一个日志系统的开发,存储用HBase。我简单罗列下用到的HBase优化,备忘。以后把它整理成更友好的介绍性文章。

系统简介

  • 有一张大的日志数据表,保存所有日志。row key是 hash + app id + log-severity + timestamp + host等,cell保存日志正文数据。

    • 可以看到row key的hash保证日志散列在各个region中,写入、查询的负载均衡。但是无法通过它进行范围查询,所以为不同查询模式,建立了多张索引表。
  • 为不同的日志级别(DEBUG, INFO, WARN, ERROR, FATAL)分别建立了一张索引表。在每张索引表中,row key是 app id + timestamp + host等。也就是说,用于通常选择一个应用,加上时间范围,也可以进一步选择一台应用服务器,来查

网友评论

登录后评论
0/500
评论
hyjshanghai
+ 关注