1. 云栖社区>
  2. 全部标签>
  3. #scala#
scala

#scala#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

线程“main”中的异常java.lang.NoClassDefFoundError:scala / Product $ class

线程“main”中的异常java.lang.NoClassDefFoundError:scala / Product $ classBuld.sbt name := "BigData" version := "0.1" scalaVers…

java Insight SQL 线程 Apache Sqlserver spark scala Akka xml class

scala spark rdd joing两个具有相同id的表

scala spark rdd joing两个具有相同id的表我有以下rdds: case class Rating(user_ID: Integer, movie_ID: Integer, rating: Integer, timest…

spark scala string class timestamp

如何注册永久性spark udf?

如何注册永久性spark udf?我想在其他会话或视图中使用我的udf,那么有没有办法注册用Python或scala编写的永久Spark UDF?

python spark scala UDF

如何在Scala中向数组添加元素,并找到变量类型?

如何在Scala中向数组添加元素,并找到变量类型?我有下面的Scala代码块作为我的数据处理管道的一部分。形成我目前所理解的,UDF接受一个file_contents类型String类型的参数。然后UDF进行一堆字符串处理,包括a spl…

数据处理 spark scala string UDF type list 数组

按用户ID减少输入文件

按用户ID减少输入文件 我正在使用包含userId,seqId,eventType和country的结构化输入文件。我需要通过userId在seqId排序后获取每个字段的最后一个非空值来减少它。对于给定的输入: userId seq…

函数 排序 spark scala Create update file

[@徐雷frank][¥20]Java如何与Scala互相操作?

Java如何与Scala互相操作?

java scala

【求助】scala运行时报错ArrayIndexOutOfBoundsException

主程序代码如下: import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //todo:利用scala语言开发spark的wo…

线程 Apache Maven Image spark scala string

当yarn崩溃时恢复Flink

我正在EMR上运行一个Yarn3节点集群(1个Master 2 Core节点)。我使用的是1.6.0。我启用了检查指向(rocksdb),写入S3。检查指向似乎在其他测试中正常工作。在主节点上Yarn崩溃的情况下,我无法从最后一个检查点恢…

java hadoop Apache runtime scala Akka file flink

将Apache Flink中的关系数据存储为状态并通过属性查询

我有一个包含表T1(id,name,age)和T2(id,subject)的数据库。Flink使用诸如debezium之类的东西从事件流接收来自数据库的所有更新。这些表被彼此相关的和所需的数据可以由被提取接合 T1与T2上的id。目前,数据…

SQL Apache 数据库 scala 索引 存储 数据存储 flink

有没有办法在不同的服务器上运行master提交spark作业

如何重命名scala数据框中的列标题我们需要安排spark工作,因为我们熟悉apache-airflow,我们希望继续创建不同的工作流程。我搜索了网络,但没有找到如何使用Apache Airflow在不同的服务器运行主机上运行spark。

服务器 Apache 主机 spark scala

如何比较scala中的2个java.sql.Date?

我有一些日期格式java.sql.Date,我想比较它们 import java.sql.Dateimport org.apache.spark.sql.types.{DateType, IntegerType}var a = Date.…

java SQL Apache spark scala

使用DataFrame类型在scala中定义函数

我会有一个简单的问题......我尝试使用一个将数据帧作为参数的函数并返回另一个数据帧 我做: val get_nb_previous_offre : ((DataFrame) => (DataFrame)) = (arg1: Da…

函数 spark scala DataFrame Create type

如何重命名scala数据框中的列标题

如何在scala数据帧上执行string.replace(“fromstr”,“tostr”)。据我所知,withColumnRenamed执行替换所有列而不仅仅是标题。

spark scala string

Scala [type1,type2]

以下是使用Either的一个工作示例: val a: Either[Int, String] = {if (true) Left(42) // return an Int else Right("Hello, world") // ret…

SQL Apache spark scala string file type read

Spark Scala - 检查嵌套案例类的字段

我有三个案例类如下: case class Result( result: Seq[Signal], hop: Int) case class Signal( rtt: Double, from: String) …

Json spark scala string 序列 class timestamp

将数据集<行>导出为CSV

我正在尝试根据一些Spark SQL结果生成CSV文件。 我试图填补所有空值,但徒劳无功。似乎与我正在配置它的方式有关。 这是我正在运行的代码。 SparkSession spark = SparkSession.builder().ap…

java hadoop SQL Apache shell spark scala Create source csv

在给出异常的RDD上执行combineByKey转换。Spark转换

我正在尝试使用以下代码生成客户统计信息。这是combineByKey转换。我得到了一个ArrayIndexOutOfBounds异常。想知道原因,但我没有得到任何暗示。 def createComb = (t:Array[String])…

java Apache spark scala thread

如何计算数据框每行中缺失值的数量-spark scala?

我想计算spark scala中数据帧每行中缺失值的数量。 码: val samplesqlDF = spark.sql("SELECT * FROM sampletable") samplesqlDF.show()输入数据帧: ----…

SQL RAM spark scala

想了解Spark ShuffleMapTask计算的输出文件,是如何把大于内存的输入数据(HDFS数据源)进行合并相同key,并进行排序的

[问题]).ShuffleMapTask输出数据文件前,key合并,和排序是如何做到的,如果数据远大于内存?).SPARK 1.6.0-cdh5.15.0[复现]).scala worldcount: val distFile:org.…

hdfs Apache 排序 spark scala string Spark排序

为什么这个Scala代码显然没有在Spark工作器上运行,而只在Spark驱动程序节点上运行?

我使用这里提到的代码在Scala中创建一个HashMap。为方便起见,下面复制粘贴: def genList(xx: String) = { Seq("one", "two", "three", "four") } val oriword…

java 集群 spark scala string exception thread hashmap

上一页 1 ... 2 3 4 5 6 ... 9 下一页
9
GO