《Spark大数据分析实战》——2.3节Spark编译

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Spark大数据分析实战》——2.3节Spark编译

华章计算机 2017-05-02 11:30:00 浏览1108
展开阅读全文

本节书摘来自华章社区《Spark大数据分析实战》一书中的第2章,第2.3节Spark编译,作者高彦杰 倪亚宇,更多章节内容可以访问云栖社区“华章社区”公众号查看

2.3 Spark编译
用户可以通过Spark的默认构建工具SBT进行源码的编译和打包。当用户需要对源码进行二次开发时,则需要对源码进行增量编译,通过下面的方式读者可以实现编译和增量编译。
(1)克隆Spark源码
可通过克隆的方式克隆Spark源码,如图2-9所示。

git clone https:// github.com/apache/spark

730c8df0f58f32ff5ae42e06dd4bc70917f0e651

这样将会从github将Spark源码下载到本地,建立本地的仓库。
(2)编译Spark源码
在Spark项目的根目录内执行编译和打包命令(如图2-10所示)。
sbt/sbt assembly
执行过程中会解析依赖和下载需要的依赖jar包。

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属团队号: 华章计算机