使用阿里云的Maven仓库加速Spark编译过程

在国内编译Spark项目需要从Maven源下载很多依赖包，官方源在国内大环境下的下载速度大家都懂得，那个煎熬啊，简直是浪费生命。

如果你的下载速度很快，你现在就可以无视这篇文章了。

阿里云给国内开发者提供了一个非常的良心的服务：提供了一个国内Maven镜像，可以让我们拜托这种煎熬。

阿里云的Maven也是基于nexus构建。

地址： http://maven.aliyun.com/

仓库地址： http://maven.aliyun.com/nexus/content/groups/public/

Spark支持sbt及Maven两种编译方式，接下来分别介绍，如何修改构建配置，采用阿里云的maven仓库加速Spark编译过程。

网上有资料介绍如何使用国内镜像加速编译，比如这个：http://blog.csdn.net/mmical/article/details/41925823

然，对于Spark项目而言，并卵！因为Spark单独定义了项目的构建规则，并不会加载默认的仓库解析配置。

我们需要修改Spark源码下的 project/SparkBuild.scala 这个文件，参考我下面这个patch进行修改：

用 Resolver.url("aliyun", url("http://maven.aliyun.com/nexus/content/groups/public/"))替换掉 DefaultMavenRepository 即可。 

然后参照官方的方法用sbt编译Spark，你会发现，新下载的jar包会从阿里云获取，类似这样： 

这个下载过程，比官方的Maven源要快很多。

PS：使用sbt编译Spark子项目的方法，可以参考我的这篇文章:

Maven的就比较简单了，是非常通用的方法，我们仅需要修改 pom.xml 文件即可：

配置下面还有个Maven的插件，也参考这个修改掉即可。