面向海量数据的极致成本优化-云HBase的一体化冷热分离

  1. 云栖社区>
  2. HBase+Spark社区>
  3. 博客>
  4. 正文

面向海量数据的极致成本优化-云HBase的一体化冷热分离

正研 2019-09-16 11:00:53 浏览1054
展开阅读全文

前言

随着业务的持续发展,业务数据库存储量会持续增长。通常数据量过亿时,就需要考虑做分库分表,或者选择扩展能力更好的NOSQL/NewSQL数据库,如HBase就可以单表支持PB级数据,足够满足大多数业务的存储需求。然而,对于大量存储瓶颈类业务,存储成本依然是系统设计中需要关注的重中之重,冷热分离的解决方案应用而生。

适合冷热分离的业务

账单/订单类系统的数据非常适合做冷热分离,这类系统的数据随着时间的推移往往会积攒了海量数据,而且由于数据的重要性,这些数据都要被永久保存。但是,用户往往只会查询最近消费的订单或者账单,超过半年的订单基本不会被访问。
image.png
监控系统的数据也呈非常明显的冷热分层特性。用户通常只会查看实时监控,历史数据只有在回溯故障的时候,才可能去查询。而如果把实时数据与历史数据混杂在一起,不仅会让存储的成本非常高,而且会拖慢实时查

网友评论

登录后评论
0/500
评论
正研
+ 关注
所属云栖号: HBase+Spark社区