Spark 概念学习系列之Spark生态系统BDAS(五)

  1. 云栖社区>
  2. 博客>
  3. 正文

Spark 概念学习系列之Spark生态系统BDAS(五)

技术小哥哥 2017-11-14 16:01:00 浏览2658
展开阅读全文

  目前,Spark已经发展成为包含众多子项目的大数据计算平台。 伯克利将Spark的整个生态系统称为伯克利数据分析栈(BDAS)。 其核心框架是Spark,同时BDAS涵盖支持结构化数据SQL查询与分析的查询引擎Spark SQL和Shark,提供机器学习功能的系统MLbase底层的分布式机器学习库MLlib、 并行图计算框架GraphX、 流计算框架Spark Streaming、 采样近似计算查询引擎BlinkDB、 内存分布式文件系统Tachyon、 资源管理框架Mesos等子项目。 这些子项目在Spark上层提供了更高层、 更丰富的计算范式。
     

              伯克利数据分析栈(BDAS)项目结构图

 

 

 

 

下面对BDAS的各个子项目进行更详细的介绍
(1)Spark
    Spark是整个BDAS的核心组件,是一个大数据分布式编程框架,不仅实现了MapReduce的算子map函数和reduce函数及计算模型,还提供更为丰富的算子,如filter、 join、groupByKey等。 Spark将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、 RPC、 序列化和压缩,并为运行在其上的上层组件提供API。 其底层采用Scala这种函数式语言书写而成,并且所提供的API深度借鉴Scala函数式的编程思想,提供与Scala类似的编程接口。
   下图是Spark的处理流程(主要对象为RDD)。

              Spark的任务处理流程图

       Spark将数据在分布式环境下分区,然后将作业转化为有向无环图(DAG),并分阶段进行DAG的调度和任务的分布式并行处理。

 

 


(2)Shark
      Shark是构建在Spark和Hive基础之上的数据仓库。 目前,Shark已经完成学术使命,终止开发,但其架构和原理仍具有借鉴意义。 它提供了能够查询Hive中所存储数据的一套SQL接口,兼容现有的Hive QL语法。 这样,熟悉Hive QL或者SQL的用户可以基于Shark进行快速的Ad-Hoc、 Reporting等类型的SQL查询。 Shark底层复用Hive的解析器、 优化器以及元数据存储和序列化接口。 Shark会将Hive QL编译转化为一组Spark任务,进行分布式运算。

 

 

 


(3)Spark SQL
      Spark SQL提供在大数据上的SQL查询功能,类似于Shark在整个生态系统的角色,它们可以统称为SQL on Spark。 之前,Shark的查询编译和优化器依赖于Hive,使得Shark不得不维护一套Hive分支,而Spark SQL使用Catalyst做查询解析和优化器,并在底层使用Spark作为执行引擎实现SQL的Operator。 用户可以在Spark上直接书写SQL,相当于为Spark扩充了一套SQL算子,这无疑更加丰富了Spark的算子和功能,同时Spark SQL不断兼容不同的持久化存储(如HDFS、 Hive等),为其发展奠定广阔的空间。

 

 

 


(4)Spark Streaming
     Spark Streaming通过将流数据按指定时间片累积为RDD,然后将每个RDD进行批处理,进而实现大规模的流数据处理。 其吞吐量能够超越现有主流流处理框架Storm,并提供丰富的API用于流数据计算。

 

 


(5)GraphX
     GraphX基于BSP模型,在Spark之上封装类似Pregel的接口,进行大规模同步全局的图计算,尤其是当用户进行多轮迭代时,基于Spark内存计算的优势尤为明显。

 

 


(6)Tachyon
     Tachyon是一个分布式内存文件系统,可以理解为内存中的HDFS。 为了提供更高的性能,将数据存储剥离Java Heap。 用户可以基于Tachyon实现RDD或者文件的跨应用共享,并提供高容错机制,保证数据的可靠性。

 

 

 


(7)Mesos
     Mesos是一个资源管理框架(注:Spark自带的资源管理框架是Standalone。),提供类似于YARN的功能。 用户可以在其中插件式地运行Spark、 MapReduce、 Tez等计算框架的任务。 Mesos会对资源和任务进行隔离,并实现高效的资源任务调度。

   请移步,

Spark standalone模式的安装(spark-1.6.1-bin-hadoop2.6.tgz)(master、slave1和slave2)

 

 

 


(8)BlinkDB
     BlinkDB是一个用于在海量数据上进行交互式SQL的近似查询引擎。 它允许用户通过在查询准确性和查询响应时间之间做出权衡,完成近似查询。 其数据的精度被控制在允许的误差范围内。 为了达到这个目标,BlinkDB的核心思想是:通过一个自适应优化框架,随着时间的推移,从原始数据建立并维护一组多维样本;通过一个动态样本选择策略,选择一个适当大小的示例,然后基于查询的准确性和响应时间满足用户查询需求。

 

          

 

 

 

 

 

 

 

 

 

 

Spark 组成---大一统软件栈

        

 

Spark Core

  ● Spark Core 实现了Spark 的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。

  ● RDD(resilient distributed dataset,弹性分布式数据集)的API 定义。RDD是一个抽象的数据集,提供对数据并行和容错的处理。初次使用RDD时,其接口有点类似Scala的Array,提供map,filter,reduce等操作。但是,不支持随机访问。刚开始不太习惯,但是逐渐熟悉函数编程和RDD 的原理后,发现随机访问数据的场景并不常见。

 

 

 

Spark SQL

  ● Spark SQL 是Spark 用来操作结构化数据的程序包。

  ● Spark SQL 直接兼容Hive SQL。

  ● 多数据源(Hive表、Parquet、JSON等);Spark SQL 可以操作Hive表,可以读取Parquet文件(列式存储结构),可以读取JSON文件,还可以处理hdfs上面的文件。

  ● SQL与RDD编程结合使用。

  ● 从Shark演变到Spark SQL

 

 

 

 

Spark Streaming

  ● Spark 提供的对实时数据进行流式计算的组件。

  ● 微批处理(Storm、Flink)-------从批处理到流处理

 

 

 

Spark MLlib

  ● Spark 提供的包含常见机器学习(ML)功能的库。

  ● 分类、回归、聚类、协同过滤等

  ● 模型评估、数据导入等额外的支持功能

  ● Mahout(Runs on distributed Spark, H2O, and Flink)

 

 

GraphX

  ● GraphX是Spark 提供的图计算和图挖掘的库。

  ● 与Spark Streaming 和Spark SQL 类似,GraphX 也扩展了Spark 的RDD API,能用来创建一个顶点和边都包含任意属性的有向图

  ● GraphX还支持针对图的各种计算和常见的图算法。

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5706978.html,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术小哥哥
+ 关注