基于Spark的机器学习实践 (三) - 实战环境搭建

  1. 云栖社区>
  2. Java技术进阶>
  3. 博客>
  4. 正文

基于Spark的机器学习实践 (三) - 实战环境搭建

javaedge 2019-04-09 15:41:07 浏览604
展开阅读全文

0 相关源码

1 Spark环境安装

◆ Spark 由scala语言编写,提供多种语言接口,需要JVM

◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译

◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境

  • 解压
tar zxvf spark-2.4.1-bin-hadoop2.7.tgz

2 Spark配置

◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程

◆ 要为节点设 置好使用的内存,否则可能导致节点利用率低;

◆ 注意spark中IP与端口号的配置,以免UnknownHostException

[官网配置]()


单机环境配置

  • 本地IP

shell进行验证

bin/spark-shell

3 Spark shell

◆ Spark shell是一个bash脚本,在

网友评论

登录后评论
0/500
评论
javaedge
+ 关注
所属云栖号: Java技术进阶