在Amazon EC2上运行Spark

Spark的ec2目录下有一个spark-ec2脚本，可以帮助你在Amazon EC2上启动、管理、关闭Spark集群。该脚本能在EC2集群上自动设置好Spark和HDFS。本文将会详细描述如何利用spark-ec2脚本来启动和关闭集群，以及如何在集群提交作业。当然，首先你必须在Amazon Web Services site上注册一个EC2的账户。

spark-ec2可以管理多个命名集群。你可以用它来启动一个新集群（需要提供集群大小和集群名称），关闭一个已有的集群，或者登陆到一个集群。每一个集群的机器将会被划分到不同的EC2安全组（EC2 security groups）当中，而这些安全组的名字是由集群的名称派生而来。例如，对于一个命名为test的集群，其主节点（master）将被分到一个叫test-master的安全组，而其他从节点（slave）将被分配到test-slaves安全组。spark-ec2脚本会自动根据你提供的集群名称，来创建安全组。你可以在EC2的控制台（Amazon EC2 Console）中使用这些名字。

准备工作

• 首先，你需要创建Amazon EC2 key pair 。这需要登陆Amazon Web Services账号，在AWS控制台（AWS console）上点击侧边栏上的Key Pairs来创建，并下载。同时，你要确保给这私匙文件附上600权限（即：可读可写）以便使用ssh登陆。
• 使用spark-ec2的时候，一定要设置好这两个环境变量， AWS_ACCESS_KEY_ID 和AWS_SECRET_ACCESS_KEY，并使其指向你的Amazon EC2 access key ID 和 secret access key。这些都可以在AWS主页（AWS homepage）上，点击 Account > Security Credentials > Access Credentials获得。

启动集群

• 切换到你下载的spark的ec2目录下
• 运行命令./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> launch <cluster-name>，其中<keypair>是你的Amazon EC2 key pair的名字（你创建Amazon EC2 key pair的时候所指定的名字），<key-file>是Amazon EC2 key pair的私钥（private key）文件，<num-slaves>是slave节点个数（至少是1），<cluster-name>是你指定的集群名称。

例如：

bash export AWS_SECRET_ACCESS_KEY=AaBbCcDdEeFGgHhIiJjKkLlMmNnOoPpQqRrSsTtU \
export AWS_ACCESS_KEY_ID=ABCDEFG1234567890123

./spark-ec2 --key-pair=awskey \
--identity-file=awskey.pem \
--region=us-west-1 \
--zone=us-west-1a \
launch my-spark-cluster

• 集群启动完成后，检查一下集群调度器是否启动，同时，你可以在Web UI上查看是否所有的slave节点都正确的展示出来了，Web UI的链接在脚本执行完以后会打印在屏幕上（通常这个链接是 http://<master-hostname>:8080）

你可以运行./spark-ec2 –help 来查看更多的选项。以下是比较重要的一些选项：

• –instance-type=<instance-type> 可以指定EC2机器的实例类型。目前，该脚本只支持64-bit的实例类型。
• –region=<ec2-region>可以指定EC2集群部署于哪个地域，默认地域是 us-east-1。
• –zone=<ec2-zone>可以指定EC2集群实例部署在哪些地区（EC2的可用地区）。指定这个参数时注意，有时候因为在某些地区可能出现容量不够，因此你可能需要在其他地区启动EC2集群。
• –ebs-vol-size=<GB>可以在每个节点上附加一个EBS（弹性可持续存储）卷，并指定其总容量，这些存储时可持久化的，即使集群重启也不会丢失。
• –spot-price=<price> 将启动竞价型实例（Spot Instances）工作节点，这些节点可以按需分配，可竞价，并且可以设定竞价最高价格（以美元计）。
• –spark-version=<version> 可以在集群中预先加载指定版本的spark。<version>可以是一个版本号（如：0.7.3）或者是一个git hash值。默认会使用最新版本的spark。
• –spark-git-repo=<repository url> 可以指定一个自定义的git库，从而下载并部署该git库中特定的spark构建版本。默认使用Apache Github mirror 。如果同时指定了spark版本，那么–spark-version参数值不能使用版本号，而必须是一个git提交对应的git commit hash（如：317e114）。
• 如果启动过程中由于某些原因失败了（如：没有给private key文件设定正确的文件权限），你可以用–resume选项来重启并继续已有集群的部署过程。

在VPC（Amazon Virtual Private Cloud）上启动集群

• 运行 ./spark-ec2 -k <keypair> -i <key-file> -s <num-slaves> –vpc-id=<vpc-id> -subnet-id=<subnet-id> launch <cluster-name>，其中，<keypair>是你的EC2 key pair（之前已经创建的），<key-file>是key pair中的私钥文件，<num-slaves> 是从节点个数（如果你是第一次用，可以先设成1），<vpc-id> 是VPC的名称，<subnet-id> 是你的子网名称，最后<cluster-name>是你的集群名称。

例如：

bash export AWS_SECRET_ACCESS_KEY=AaBbCcDdEeFGgHhIiJjKkLlMmNnOoPpQqRrSsTtU \
export AWS_ACCESS_KEY_ID=ABCDEFG1234567890123 

./spark-ec2 --key-pair=awskey \
--identity-file=awskey.pem \
--region=us-west-1 \
--zone=us-west-1a \
--vpc-id=vpc-a28d24c7 \
--subnet-id=subnet-4eb27b39 \
--spark-version=1.1.0 \
launch my-spark-cluster