深入理解Spark:核心思想与源码分析. 1.2 Spark初体验

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

深入理解Spark:核心思想与源码分析. 1.2 Spark初体验

华章计算机 2017-05-02 13:20:00 浏览1320
展开阅读全文

1.2 Spark初体验

本节通过Spark的基本使用,让读者对Spark能有初步的认识,便于引导读者逐步深入学习。

1.2.1 运行spark-shell

要运行spark-shell,需要先对Spark进行配置。

1)进入Spark的conf文件夹:

cd ~/install/spark-1.2.0-bin-hadoop1/conf

2)复制一份spark-env.sh.template,命名为spark-env.sh,对它进行编辑,命令如下:

cp spark-env.sh.template spark-env.sh

vim spark-env.sh

3)添加如下配置:

export SPARK_MASTER_IP=127.0.0.1

export SPARK_LOCAL_IP=127.0.0.1

4)启动spark-shell:

cd ~/inst

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机