Spark连续重大更新 热度急增

  1. 云栖社区>
  2. IT168>
  3. 博客>
  4. 正文

Spark连续重大更新 热度急增

青衫无名 2017-09-01 13:54:00 浏览848
展开阅读全文
文章讲的是Spark连续重大更新 热度急增由于移动互联网数据量庞大且类型多样的特性,分布式计算在这一领域极受欢迎。Hadoop无疑是大数据开源环境下的王者,而本文的主角Spark和Storm与其一起并列为最主流的三大分布式计算系统。今年1月初,大数据处理技术Spark刚刚更新了1.6版本,近日又爆出,Spark下一个重大版本——2.0预计在今年4、5月释出。

连续大版本更新 Spark有望赶超Hadoop?

  Spark相关背景

  Spark由加州大学伯克利分校AMP实验室(Algorithms, Machines, and People Lab)所开发,可用来构建大型的、低延迟的数据分析应用程序。Spark的创建原因是为了支持分布式数据集上的迭代作业,它是与Hadoop相似的开源集群计算环境。但与Hadoop不同,Spark在工作负载方面比Hadoop表现更加优越,Spark启用了内存分布数据集,所以,除了能够提供交互式查询外,它能够优化迭代工作负载。

  Spark在Scala语言中实现,它将Scala用作其应用程序框架。Spark和Scala能够紧密集成,其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。

  Spark此次更新内容

  近日,Spark创办人、Databricks技术长Matei Zaharia,在2016 Spark Summit上揭露了Spark 2.0的3大主要特色:

  • 能大幅提升Spark平台效能的Project Tungsten即将进入第二阶段(Spark 1.5是Tungsten项目的第一阶段);

  • Spark 2.0将提供涵盖完整阶段的程式码产生器;

  • Spark 2.0将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame。

  Spark从1.4到1.6版本时,便开始靠Tungsten来优化Spark的资料处理效能,除了加入二进位的储存方式,以及基础的程式码产生器,也增加了用来描述RDD结构的DataFrame格式,以及新的资料集API(Dataset API),让Tungsten可被运行在使用者专案中来提升效能表现。

  在1.6版本时,Spark新增了基于DataFrame的扩充元件Dataset API,相较于过去的RDD API,Dataset提供更好的记忆体管理效能,及较佳的长时间执行效能。而Spark2.0版本则将进一步提供涵盖完整阶段的程式码产生器,不仅能移除递迴式呼叫,减少效能损耗,还能进行跨运算子之间的整合,并藉由Parquet及内建快取(Built-in Cache)来优化I/O效能。

  预计Spark2.0的效能将翻9倍,从1.6版时每秒可处理的1,400万个栏位,暴增到1亿2,500万,其中的Parquet效能,也将从每秒1,100万提升到每秒9,000万笔。

  Spark热度大增,未来一片光明

  Google没有开源Google分布式计算模型的技术实现,所以其他互联网公司只能根据Google三篇技术论文中的相关原理,搭建自己的分布式计算系统。2005年,Yahoo工程师Doug Cutting和Mike Cafarella合作开发了分布式计算系统Hadoop,而后,Hadoop成为了Apache基金会的开源项目。Facebook、Amazon以及国内百度、阿里巴巴等众多互联网公司都以Hadoop为基础搭建了自己的分布式计算系统。

  Spark也是Apache基金会的开源项目,它由加州大学伯克利分校的实验室开发,是另外一种重要的分布式计算系统。实际上Spark是对Hadoop的补充,它通过第三方集群框架Mesos作为支持,可在Hadoop文件系统中并行运行。Hadoop使用硬盘来存储数据,而Spark使用内存来存储数据,因此Spark可以提供超过Hadoop 100倍的运算速度。近年来,Spark也隐隐有了赶超Hadoop(Map/Reduce)的迹象。

  Spark的优势不仅体现在性能提升上,Spark框架为批处理(Spark Core),交互式(Spark SQL),流式(Spark Streaming),机器学习(MLlib),图计算(GraphX)提供一个统一的数据处理平台,这相对于Hadoop(Map/Reduce)有很大优势。

  并且,由于Hadoop自身还存在着一些缺陷,例如表达力欠缺、无整体逻辑、时延高等等,所以,网络上Spark会替代Hadoop的呼声不断。而目前看,Spark在各个场合下的应用都优于Hadoop(Map/Reduce)。所以,在新一代的大数据处理平台中,Spark得到了最广泛的认可和支持。

  由Spark团队原班人马成立的Databricks公司曾表示,Spark技术在2015年有非常显著的成长,其贡献者在2015年已经超过1000人,是2014年的2倍,参与各地区定期聚会的会员数量也从1万多人暴增至6万多人。

  但Hadoop与MR是的初衷是为了使用廉价的、异构的机器来做分布式存储与计算,而Spark却对硬件的要求稍高,对内存/CPU是有较高要求的。若不考虑成本因素,Spark应会一片光明。

  不过,Databricks公司联合创始人、Spark首席架构师辛湜曾在2015年底时提到:“Spark在中国市场发展有三个趋势:第一是更多样化的应用,第二是更多样化的环境,第三是更多样化的用户,基本上可以说是Spark的多样性发展。而最后一个稍微前瞻一点,就是对新硬件的支持。”


作者:崔月

来源:IT168

原文链接:Spark连续重大更新 热度急增

网友评论

登录后评论
0/500
评论
青衫无名
+ 关注
所属云栖号: IT168