【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题

  1. 云栖社区>
  2. 阿里云数据库ApsaraDB>
  3. 博客>
  4. 正文

【HBase从入门到精通系列】如何避免HBase写入过快引起的各种问题

郭泽晖 2018-04-02 08:04:57 浏览14861
展开阅读全文

首先我们简单回顾下整个写入流程

client api ==> RPC ==>  server IPC ==> RPC queue ==> RPC handler ==> write WAL ==> write memstore ==> flush to  filesystem

整个写入流程从客户端调用API开始,数据会通过protobuf编码成一个请求,通过scoket实现的IPC模块被送达server的RPC队列中。最后由负责处理RPC的handler取出请求完成写入操作。写入会先写WAL文件,然后再写一份到内存中,也就是memstore模块,当满足条件时,memstore才会被flush到底层文件系统,形成HFile。


当写入过快时会遇见什么问题?

写入过快时,memstore的水位会马上被推


网友评论

登录后评论
0/500
评论
郭泽晖
+ 关注
所属云栖号: 阿里云数据库ApsaraDB