1. 云栖社区>
  2. PHP教程>
  3. 正文

Spark及Hadoop环境装配(1)-基本语言环境配置

作者:用户 来源:互联网 时间:2017-12-01 12:27:21

hadoopspark语言配置环境基本

Spark及Hadoop环境装配(1)-基本语言环境配置 - 摘要: 本文讲的是Spark及Hadoop环境装配(1)-基本语言环境配置,版本选择 环境依赖清单: Java在Spark与Hadoop生产中,一般使用Oracle JDK,版本选择是1.8 ScalaScala在Spark 2.0+时选用2.11,Spark 2.0以下时选用2.10

版本选择

环境依赖清单:

Java在Spark与Hadoop生产中,一般使用Oracle JDK,版本选择是1.8 ScalaScala在Spark 2.0+时选用2.11,Spark 2.0以下时选用2.10 JDK部署 下载Oracle JDK下载链接:http://www.oracle.com/technetwork/java/javase/downloads/index-jsp-138363.html#javasejdk 解压缩二进制包到/usr/local下的指定目录

使用软链接将指定目录依序/usr/local/jdk-1.8.xxx >> /usr/local/jdk-1.8 >> /usr/local/jdk

此处定义这种方法为本文中安装包软链接方案,这种方案有一些很灵异的好处,当你需要变更版本的时候,可以仅改变软链接就可以了。

设置环境变量在/etc/profile文件下添加以下内容: export JAVA_HOME=/usr/local/jdkexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/jre/lib:$JAVA_HOME/lib Scala部署 下载Scala语言包下载链接:http://www.scala-lang.org/download/ 解压缩二进制包到/usr/local下的指定目录 使用软链接将指定目录依序/usr/local/scala-2.x.xxx >> /usr/local/scala-2.x >> /usr/local/scala 在/etc/profile文件下添加以下内容: export SCALA_HOME=/usr/local/scalaexport PATH=$SCALA_HOME/bin:$PATH 生效与测试

使配置生效命令行执行:

source /etc/profile

测试java在命令行执行:

java

当不提示找不到命令则证明配置成功

测试scala测试方式与java相似

当执行scala时,出现scala-shell内容则证明成功

以上是云栖社区小编为您精心准备的的内容,在云栖社区的博客、问答、公众号、人物、课程等栏目也有的相关内容,欢迎继续使用右上角搜索按钮进行搜索hadoop , spark , 语言 , 配置 , 环境 , 基本 ,以便于您获取更多的相关知识。

弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率

40+云计算产品,6个月免费体验

现在注册,免费体验40+云产品,及域名优惠!

云服务器9.9元/月,大学必备