CentOS7下安装配置Spark-2.0.1集群

Spark是一个快速、通用的计算集群框架，它的内核使用Scala语言编写，它提供了Scala、Java和Python编程语言high-level API，使用这些API能够非常容易地开发并行处理的应用程序。

下面，我们通过搭建Spark集群计算环境，并进行简单地验证，来体验一下使用Spark计算的特点。无论从安装运行环境还是从编写处理程序（用Scala，Spark默认提供的Shell环境可以直接输入Scala代码进行数据处理），我们都会觉得比Hadoop MapReduce计算框架要简单得多，而且，Spark可以很好地与HDFS进行交互（从HDFS读取数据，以及写数据到HDFS中）。

安装配置

下载安装配置Scala

在~/.bashrc中增加环境变量SCALA_HOME，并使之生效：

下载安装配置Spark

我们首先在主节点m1上配置Spark程序，然后将配置好的程序文件复制分发到集群的各个从结点上。下载解压缩：

在~/.bashrc中增加环境变量SPARK_HOME，并使之生效：

在m1上配置Spark，修改spark-env.sh配置文件：

在该脚本文件中，同时将SCALA_HOME配置为Unix环境下实际指向路径，例如：

修改conf/slaves文件，将计算节点的主机名添加到该文件，一行一个，例如：

最后，将Spark的程序文件和配置文件拷贝分发到从节点机器上：

启动Spark集群

我们会使用HDFS集群上存储的数据作为计算的输入，所以首先要把Hadoop集群安装配置好，并成功启动，我这里使用的是Hadoop 1.2.1版本。启动Spark计算集群非常简单，执行如下命令即可：

可以看到，在m1上启动了一个名称为Master的进程，在s1上启动了一个名称为Worker的进程，如下所示，我这里也启动了Hadoop集群：

主节点m1上：

从节点s1上：

各个进程是否启动成功，也可以查看日志来诊断，例如：

主节点上：

从节点上：

Spark集群计算验证

我们使用我的网站的访问日志文件来演示，示例如下：

统计该文件里面IP地址出现频率，来验证Spark集群能够正常计算。另外，我们需要从HDFS中读取这个日志文件，然后统计IP地址频率，最后将结果再保存到HDFS中的指定目录。

首先，需要启动用来提交计算任务的Spark Shell：

在Spark Shell上只能使用Scala语言写代码来运行。

然后，执行统计IP地址频率，在Spark Shell中执行如下代码来实现：

上述的文件hdfs://m1:9000/user/shirdrn/wwwlog20140222.log是输入日志文件。处理过程的日志信息，示例如下所示：

可以看到，输出了经过map和reduce计算后的部分结果。

最后，我们想要将结果保存到HDFS中，只要输入如下代码：

result.saveAsTextFile("hdfs://m1:9000/user/shirdrn/wwwlog20140222.log.result")

查看HDFS上的结果数据：