1. 云栖社区>
  2. 全部标签>
  3. #spark#
spark

#spark#

已有24人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

在EMR类中找不到Spark-submit异常java

我有一个jar包捆绑创建一个弹簧启动应用程序,其中我创建spark会话来做一些操作。 然后我发送这个jar AWS EMR,要么运行的spark-submit或者java -jar未工作的可执行文件。 这是我的jar结构 jar -tf …

java Apache Maven spark scala e-mapreduce EMR class

各位,spark有什么方式可以关联mysql表吗?当mysql里面有变化时,能够实时同步。

各位,spark有什么方式可以关联mysql表吗?当mysql里面有变化时,能够实时同步。

mysql 同步 spark

关于spark分区什么时候进行的问题?

spark分区是在maptask 到reduceTask的时候进行分区,还是说在sc.textFile就开始分区了呢 我测试了一下,sc.textFile默认分区后我把每个分区的内容打印出来发现不是hash算法分区,但是当我经过了shuf…

大数据 算法 hdfs reduce 测试 spark HASH 分区

Elasticsearch-spark依赖读取es数据的时候需要配置es的哪些参数,有没有代码参考参考,es版本是5.4.3 elasticsearch-spark也是5.4.3的

Elasticsearch-spark依赖读取es数据的时候需要配置es的哪些参数,有没有代码参考参考,es版本是5.4.3 elasticsearch-spark也是5.4.3的本问题及下方已被采纳的回答均来自云栖社区【Apache Sp…

云栖社区 Apache 配置 spark aliyun

请教一下,报GC错误,这个怎么设置参数啊

请教一下,报GC错误,这个怎么设置参数啊本问题及下方已被采纳的回答均来自云栖社区【Apache Spark中国技术交流群】。https://yq.aliyun.com/articles/690084 欢迎点击链接加入。

spark

请问一个问题,sqoop可以把数据从MySQL抽到Kafka吗?

请问一个问题,sqoop可以把数据从MySQL抽到Kafka吗? 本问题及下方已被采纳的回答均来自云栖社区【Apache Spark中国技术交流群】。https://yq.aliyun.com/articles/690084 欢迎点击链接…

mysql spark sqoop

全量取出hbase表数据有比scan更高效的方法吗

全量取出hbase表数据有比scan更高效的方法吗,取出的数据用于spark批处理

hbase spark scan

PAI-studio中线性回归算法组件的参数设置“最小似然误差设置”是如何计算出来的?

log-likehood是怎么算出来的?是直接通过spark mllib或者sklearn有直接的第三方包或API直接计算吗?

python 大数据 算法 spark API MLlib

大佬们咨询个问题,就是使用Spark On Hive时,动态的将数据插入到Hive中,但是在Hive的数据表下会有很多文件,这个可以怎么设置一下呢

大佬们咨询个问题,就是使用Spark On Hive时,动态的将数据插入到Hive中,但是在Hive的数据表下会有很多文件,这个可以怎么设置一下呢

spark Hive

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

大佬们,请教下structed streaming 时 checkpoint 频繁在HDFS写小文件,这个一般是怎么处理的?

hdfs spark

为什么这个completed的stage还有running状态的task呢

大佬们问个问题哈,为啥这个completed的stage还有running状态的task呢?而且一个dataframe的count怎么有多个stage

spark DataFrame

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

请教下,spark缓存rdd,前端应用是否可以直接查询这个rdd?

大数据 spark

spark SQL 的bucketBy设置bucket数量

spark SQL 的bucketBy怎么设bucket数量比较好啊?感觉bucket少了join起来并发度太低,bucket多了又是一大堆小文件,有推荐值不?

SQL spark

请问有人知道datax mongodbreader里面的query查询语句应该写成什么格式呢?

请问有人知道datax mongodbreader里面的query查询语句应该写成什么格式呢?

spark

我使用spark thrift jdbc 已经在spark配置文件设置了

我使用spark thrift jdbc 已经在spark配置文件设置了--conf spark.kryoserializer.buffer=64m--conf spark.kryoserializer.buffer.max=256m为什…

java Apache 配置 spark scala JDBC thread

编译spark2.4.0 遇到这个问题

编译spark2.4.0 遇到这个问题 [ERROR] Failed to execute goal net.alchim31.maven:scala-maven-plugin:3.2.2:compile (scala-compile-f…

Apache Maven spark

在集群上为什么启动另一个spark任务会kill掉前一个spark任务

在集群上为什么启动另一个spark任务会kill掉前一个spark任务

集群 spark

咨询个问题,hive on tez,insert overwrite table select * from A union all select * from B。插入分区表是会自动创建子目录 1、2、3如何解决?

咨询个问题,hive on tez,insert overwrite table select from A union all select from B。插入分区表是会自动创建子目录 1、2、3如何解决?

spark BY Hive 分区表

请教各位一个问题,使用spark读写Kudu数据,如果使用spark_kudu 1.9.0的包可以读取Kudu表的数据,创建KuduContext会报错:java.lang.IllegalStateException。如果使用1.7.0或者1.8.0的jar包,无法读数据,会报错:java.lang.ClassNotFoundException: kudu.DefaultSource。这是为啥啊

请教各位一个问题,使用spark读写Kudu数据,如果使用spark_kudu 1.9.0的包可以读取Kudu表的数据,创建KuduContext会报错:java.lang.IllegalStateException。如果使用1.7.0或者…

java spark

有哪位遇到过这个问题,没搞明白是哪里的数组越界了

有哪位遇到过这个问题,没搞明白是那里的数组越界了

spark 数组

上一页 1 ... 2 3 4 5 6 ... 28 下一页
28
GO