Eclipse远程调试Spark

简介:

修改配置文件

修改${spark_home}/bin/spark-class文件:

"$RUNNER" -Xmx128m -cp "$LAUNCH_CLASSPATH" org.apache.spark.launcher.Main -Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8888 "$@"

这里写图片描述

参数说明:

  • -Xdebug 启用调试特性
  • -Xrunjdwp 启用JDWP实现,包含若干子选项:
  • transport=dt_socket JPDA front-end和back-end之间的传输方法。dt_socket表示使用套接字传输。
  • address=8888 JVM在8888端口上监听请求,这个设定为一个不冲突的端口即可。
  • server=y
    y表示启动的JVM是被调试者。如果为n,则表示启动的JVM是调试器。
  • suspend=y y表示启动的JVM会暂停等待,直到调试器连接上才继续执行。suspend=n,则JVM不会暂停等待。

启动Spark Application

eclipse将项目exportjar包,传到集群上使用spark-submit提交Application,可以看到在等待:

这里写图片描述

注意,传到集群上的代码要和本地一样!

在Eclipse设置远程调试的ip和port

  • Debug as
  • Debug Configurations
  • Remote Java Application
  • 配置ip和port
目录
相关文章
|
分布式计算 Scala Android开发
Eclipse 配置运行Spark
本文主要记录Spark 在 Eclipse中报 找不到主类的问题。在新建Spark工程,然后add external jars 选择 spark-assembly-1.4.0-hadoop2.6.0.jar 之后,项目工程会出现一个红色的小×,然后发现在 problems中报错: Descripti...
1507 0
|
分布式计算 测试技术 Apache
使用Eclipse开发及测试Spark的环境搭建及简单测试
一、下载专门开发的Scala的Eclipse   1、下载地址:http://scala-ide.org/download/sdk.html,或链接:http://pan.baidu.com/s/1hrexmx2 密码:x0za   2、打开后新建一个名为WordCount的工程(这个应该都知道...
1267 0
|
分布式计算 Scala Android开发
Scala-IDE Eclipse(Windows)中开发Spark应用程序,在Ubuntu Spark集群上运行
在进行实际的Spark应用程序开发时,常常会利用Window环境进行程序开发,开发测试好之后提交到Spark集群中利用bin/spark-submit脚本进行程序的发布运行,本教程教将一步一步地教大家如何进行该操作。本教程主要内容如下: Window开发环境说明 Spark集群运行环境说明 Scala IDE For Eclipse中Spark程序开发 利用spark-s
2962 0
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
157 0
|
6天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
|
2月前
|
分布式计算 大数据 Java
Spark 大数据实战:基于 RDD 的大数据处理分析
Spark 大数据实战:基于 RDD 的大数据处理分析
120 0

推荐镜像

更多