《循序渐进学Spark》一1.2 在Linux集群上部署Spark

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《循序渐进学Spark》一1.2 在Linux集群上部署Spark

华章计算机 2017-05-02 14:22:00 浏览1444
展开阅读全文

本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章,第 节,作者   小象学院 杨 磊 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 


1.2 在Linux集群上部署Spark

Spark安装部署比较简单,用户可以登录其官方网站(http://spark.apache.org/downloads.html)下载Spark最新版本或历史版本,也可以查阅Spark相关文档作为参考。本书开始写作时,Spark刚刚发布1.5.0版,因此本章所述的环境搭建均以Spark 1.5.0版为例。

Spark使用了Hadoop的HDFS作为持久化存储层,因此安装Spark时,应先安装与Spark版本相兼容的Hadoop。

本节以阿里云Linux主机为例,描述集群环境及Spark开发环境的搭建过程。

Spark计算框架以Scala语言开发,

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机