Eclipse 配置运行Spark

简介: 本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错:Descripti...

本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错:

Description Resource Path Location Type
More than one scala library found in the build path (E:/scalaIDE/eclipse/plugins/org.scala-lang.scala-library_2.12.2.v20170412-161608-VFINAL-21d12e9.jar, D:/spark/spark-1.4.0-bin-hadoop2.6/lib/spark-assembly-1.4.0-hadoop2.6.0.jar).At least one has an incompatible version. Please update the project build path so it contains only one compatible scala library. ScalaProject Unknown Scala Classpath Problem

这个错误主要是由于 本地的scala与spark所带的scala冲突导致的。所以我们首先需要将本地的scala删除,右键 scala library container,然后选择build path,remove from build path 即可。此时,可能会发现工程有一个黄色的感叹号。再右键 run as,scala application,结果发现problems中报错:

Description Resource Path Location Type
The version of scala library found in the build path of ScalaProject (2.10.4) is prior to the one provided by scala IDE (2.12.2). Setting a Scala Installation Choice to match. ScalaProject Unknown Scala Version Problem
这里是说,spark 所带的scala 版本与 scala IDE 所提供的版本不一致(spark 的scala 版本更老一些),所以我们需要工程右键,选择properties,然后选择 scala compiler,勾选 use project settings,选择合适的 scala 版本,因为我的spark 带的scala版本比较老,所以这里我选择 latest 2.10 bundle(dynamic),选择apply,OK之后。一切就大功告成了。此时,可以写一个spark的的wordcount,发现就成功运行啦。

PS:这么一个小小的问题,折腾了我好几个小时,最主要原因就是我一直搜报错:找不到主类,这并没有解决我的问题。后来我去看problems,搜索英文的报错,一下子就找到解决的办法了。这说明以后程序出现问题还是尽量搜索英文吧,多去stackoverflow搜索提问,也许会使问题得到更快的解决。

热爱编程,热爱机器学习! github:http://www.github.com/Lyrichu github blog:http://Lyrichu.github.io 个人博客站点:http://www.movieb2b.com(不再维护)
目录
相关文章
|
3月前
|
开发工具 Android开发 git
【dbeaver】Eclipse 运行 dbeaver 源码
【dbeaver】Eclipse 运行 dbeaver 源码
114 0
|
3月前
|
Java Linux 开发工具
怎样下载安装Eclipse并配置开发环境?
Eclipse是一款非常流行的Java开发工具,它本身是开源的,适合多种多样的开发场景,深受Java开发者们的喜爱。今天我就跟大家介绍一下如何下载安装Eclipse,以及如何配置Eclipse的开发环境。
41 0
|
3月前
|
Java Maven Android开发
在Eclipse里配置Maven插件
Maven是一款比较常用的Java开发拓展包,它相当于一个全自动jar包管理器,会导入用户开发时需要使用的相应jar包。使用Maven开发Java程序,可以极大提升开发者的开发效率。下面我就跟大家介绍一下如何在Eclipse里安装和配置Maven插件。
46 0
|
4月前
|
分布式计算 监控 Spark
Spark 任务运行时日志分析
Spark 任务运行时日志分析
47 0
|
5月前
|
SQL Java 应用服务中间件
Eclipse导入项目的配置步骤说明
Eclipse导入项目的配置步骤说明
137 0
Eclipse导入项目的配置步骤说明
|
1月前
|
Java 关系型数据库 应用服务中间件
JAVA Web项目开发eclipse工具包配置(第一天)
JAVA Web项目开发eclipse工具包配置(第一天)
|
3月前
|
Java 应用服务中间件 Android开发
Tomat + Java配置 + eclipse下载
Tomat + Java配置 + eclipse下载
|
3月前
|
Java 关系型数据库 BI
基于Java Swing 开发的网吧管理系统【eclipse和idea两个版本运行源码】
基于Java Swing 开发的网吧管理系统【eclipse和idea两个版本运行源码】
|
4月前
|
存储 分布式计算 大数据
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
【大数据技术Hadoop+Spark】Spark RDD设计、运行原理、运行流程、容错机制讲解(图文解释)
67 0
|
4月前
|
算法 程序员 Apache
Windows下搭建SVN服务器并配置eclipse和idea
Windows下搭建SVN服务器并配置eclipse和idea
53 1

推荐镜像

更多