E-MapReduce支持计算与存储分离,成本下降1倍

  1. 云栖社区>
  2. HBase+Spark社区>
  3. 博客>
  4. 正文

E-MapReduce支持计算与存储分离,成本下降1倍

hbase小能手 2018-11-05 15:18:01 浏览873
展开阅读全文

Hadoop一出生就是存储与计算在一起的,前几年面试题中都问,Hadoop怎么保证高性能呢?其中一个原因是存储不动,计算(code)动,不同于传统的集中式的存储模式。那我们为什么还要谈存储计算分离呢?众观历史,分久必合、合久必分,在计算机历史中也很类似,如今,也许到了计算与存储分离的阶段。后面我们以实际的case说明,分离的好处与劣势。

为什么呢?

先说一个笔者的,也应该是大家的经历:笔者家里的带宽是100mpbs,现在从来不保存电影,要看直接下载,基本几分钟就好了。这在几年前不可想象。
笔者也在《云上Hadoop之挑战》中分析了其中的挑战,其中有本地化的挑战:

screenshot
带宽的速度,特别是机房内带宽的速度,已经从1000mps、2000mps、10000mps,甚至100000mpbs。但是磁盘的速度基本没有太大的变化。
因为硬件的变化,带来了

网友评论

登录后评论
0/500
评论
hbase小能手
+ 关注
所属云栖号: HBase+Spark社区