spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包自带案例全面详解(java、python、r和scala)之环境准备(图文详解)

简介:

关于下载,这两个spark-2.2.0-bin-hadoop2.6和spark-1.6.1-bin-hadoop2.6发行包不多赘述。

http://archive.apache.org/dist/spark/spark-1.6.1/spark-1.6.1-bin-hadoop2.6.tgz

http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz

 

 

  我是解压在D:\SoftWare方便为了导入其中的所需jar包

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6和spark-2.2.0-bin-hadoop2.6发行包的scala代码环境

 

 

 

 

 

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建spark-1.6.1-bin-hadoop2.6发行包的java代码环境

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  D:\SoftWare\spark-1.6.1-bin-hadoop2.6\lib下的所有

 

 

 

 

 

 

 

 

 

  

  zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib

 

 

 

  然后,再分别复制进去,不多说。

 

 

 

 

 

 

 

 

 

 

 

这里,我是在Scala IDEA for Eclipse里,手动来构建java代码环境

 D:\SoftWare\spark-2.2.0-bin-hadoop2.6\jars

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

zhouls.bigdata.Basic、zhouls.bigdata.sql、zhouls.bigdata.streaming、zhouls.bigdata.ml、zhouls.bigdata.mllib

 

 

 

 

   成功!


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7454674.html,如需转载请自行联系原作者

相关文章
|
1月前
|
Java 数据安全/隐私保护
JAVA包
JAVA包
12 0
|
6天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
7天前
|
Java Maven
【Java报错】显示错误“Error:java: 程序包org.springframework.boot不存在“
【Java报错】显示错误“Error:java: 程序包org.springframework.boot不存在“
30 3
|
25天前
|
Java 数据库连接 API
Java 学习路线:基础知识、数据类型、条件语句、函数、循环、异常处理、数据结构、面向对象编程、包、文件和 API
Java 是一种广泛使用的、面向对象的编程语言,始于1995年,以其跨平台性、安全性和可靠性著称,应用于从移动设备到数据中心的各种场景。基础概念包括变量(如局部、实例和静态变量)、数据类型(原始和非原始)、条件语句(if、else、switch等)、函数、循环、异常处理、数据结构(如数组、链表)和面向对象编程(类、接口、继承等)。深入学习还包括包、内存管理、集合框架、序列化、网络套接字、泛型、流、JVM、垃圾回收和线程。构建工具如Gradle、Maven和Ant简化了开发流程,Web框架如Spring和Spring Boot支持Web应用开发。ORM工具如JPA、Hibernate处理对象与数
90 3
|
28天前
|
Java
Java包及访问限定
Java包及访问限定
8 0
|
1月前
|
Java 数据安全/隐私保护
Java的包机制
Java的包机制
26 8
Java的包机制
|
2月前
|
存储 Oracle Java
Java 包和 API 深度解析:组织代码,避免命名冲突
Java 中的包 用于将相关的类分组在一起。可以将其视为文件目录中的一个文件夹。我们使用包来避免名称冲突,并编写更易于维护的代码。 包分为两类: 内置包(来自 Java API 的包) 用户定义的包(创建自己的包)
308 2
|
2月前
|
存储 Java API
Java基础篇----包机制与JavaDoc
Java基础篇----包机制与JavaDoc
25 3
|
2月前
|
分布式计算 Java Scala
spark 与 scala 的对应版本查看、在idea中maven版本不要选择17,弄了好久,换成11就可以啦
spark 与 scala 的对应版本查看、.在idea中maven版本不要选择17,弄了好久,换成11就可以啦
91 2
|
2月前
|
Java 索引
Java环形链表(图文详解)
Java环形链表(图文详解)
29 0