深入理解Spark:核心思想与源码分析. 1.3 阅读环境准备

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

深入理解Spark:核心思想与源码分析. 1.3 阅读环境准备

华章计算机 2017-05-02 13:21:00 浏览1221
展开阅读全文

1.3 阅读环境准备

准备Spark阅读环境,同样需要一台好机器。笔者调试源码的机器的内存是8 GB。源码阅读的前提是在IDE环境中打包、编译通过。常用的IDE有IntelliJ IDEA、Eclipse。笔者选择用Eclipse编译Spark,原因有二:一是由于使用多年对它比较熟悉,二是社区中使用Eclipse编译Spark的资料太少,在这里可以做个补充。在Windows系统编译Spark源码,除了安装JDK外,还需要安装以下工具。

(1)安装Scala

由于Spark 1.20版本的sbt里指定的Scala版本是2.10.4,具体见Spark源码目录下的文件\project\plugins.sbt,其中有一行:scalaVersion := "2.10.4"。所以选择下载scala-2.10.4.msi,下载地址:http://ww

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属团队号: 华章计算机