1. 云栖社区>
  2. 全部标签>
  3. #scala#
scala

#scala#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

使用Flink在键控窗口中获取计数

我通过Scala接口使用Flink进行一些数据处理。我有一些元组中的用户数据: (user1, "titanic")(user1, "titanic")(user1, "batman")(user2, "star wars")(user2…

数据处理 scala flink

flink1.6流非窗口LEFT OUTER JOIN乱序

Streaming non window left outer join是flink1.6中的一个新功能。当我在两个动态表之间做它。联接结果不正常。我该如何正确使用此功能?两个动态表都是按顺序排列的data_update_time。NonW…

mysql 日志 数据库 scala flink

Spark Structured Streaming error读取字段'topic_metadata'时出错

我正在运行spark 2.4.0和Kafka 0.10.2 var streamingInputDF = spark.readStream .format("kafka") .option("kafka.bootstrap.server…

java SQL Apache 控制台 spark scala exception schema bootstrap

展平spark 数据框的列值并将其放入变量中

Spark version 1.60,scala version 2.10.5。 我有这样的spark-sql数据帧df, addess attributes 1314 44 Avenue Tours, Mechanics, S…

SQL Apache spark scala

Spark sql和hive导致“错误:无法找到或加载主类”

我使用Scala开发了一个使用hive进行通信的spark应用程序。它在Intellij的想法上工作得很好。但是当我构建一个具有所有依赖性的jar文件时,我收到错误 错误:无法找到或加载主类 经过进一步调试后,我发现当我包含spark S…

SQL Apache Maven spark scala Hive test Suite

kafka.common.KafkaException:错误的请求类型18

我正在运行这段代码。streamingInputDF是Kafka主题的readStream。我正在运行spark 2.4.0和Kafka 0.10.2 val activityQuery = streamingInputDF.writeS…

java request spark scala type read thread Socket network

Spark SVD不可重复

我正在使用computeSVDSpark类的方法IndexedRowMatrix(在Scala中)。我注意到它没有setSeed()方法。对于同一输入矩阵的多次运行,我得到的结果略有不同,可能是由于Spark使用的内部算法。虽然它也实现了…

算法 spark scala

Spark无法使用JDBC think 驱动程序连接到Ignite

我正在使用Java 8,Spark 2.1.1,Ignite 2.5和BoneCP 0.8.0 Maven pom.xml看起来像这样: <?xml version="1.0" encoding="UTF-8"?> …

java native SQL Apache spark scala exception JDBC think Driver SUN utf-8

Dataframes join在Spark Scala中返回空结果

我在Spark Scala中有四个数据框(Spark版本:2.3和Spark-sql:2.11和Scala版本:2.11.0),例如: ratingsDf ratings id 0 1 1 2 1 3 0 4 0…

SQL spark scala DataFrame

在spark rdd级别中使用groupby的条件运算符 - scala

我正在使用Spark 1.60和Scala 2.10.5 我有这样的数据帧, id needed 1 2 1 0 1 3 2 0 2 0 3 1 3 2 从这个df我创建了rdd这样的, val …

spark scala

使用bytearrays数组创建Spark DataSet时出错

我正在使用case类和spark.sql({query}).as[MyCaseClass]语法在scala中创建Spark数据集 一切都很好,直到我尝试创建一个定义为我的成员之一的数据集 Array[Array[Byte]] case c…

SQL Apache spark scala class 数组

scala中的文件锁定

如何使用scala锁定Hdfs路径中的.txt文件。其他进程在解锁文件之前无法访问锁定的文件。需要在hdfs中使用scala实现。

hdfs spark scala

将一行中的每个列传递到Spark SQL中的哈希函数

我有一个包含N列的表,我想将它们连接到一个字符串列,然后在该列上执行哈希。我在Scala中发现了类似的问题。 我想在Spark SQL中完全做到这一点,理想情况下,我已经尝试过,HASH(*) as myhashcolumn但由于有些列有…

python 函数 SQL spark scala HASH UDF

使用bytearrays数组创建Spark DataSet时出错

我正在使用case类和spark.sql({query}).as[MyCaseClass]语法在scala中创建Spark数据集 我尝试创建一个定义为我的数据集 Array[Array[Byte]] case class HbaseRow…

SQL Apache spark scala class 数组

Spark和AWS Kinesis

我试图在独立模式下使用Apache Spark 2.4.0连接到Kinesis。我用以下方法提供我的凭据: val cred = SparkAWSCredentials.builder.basicCredentials("{awsAcc…

java Apache spark scala read SUN

使用Spark collectionAccumulator时出现ConcurrentModificationException

我正在尝试在Azure HDInsight按需群集上运行基于Spark的应用程序,并且看到许多SparkExceptions(由ConcurrentModificationExceptions引起)被记录。启动本地Spark实例时,应用程…

RPC java Apache spark scala netty SUN

Spark SQL 2.3+是否支持UDT?

无法理解Spark是否支持任何语言的2.3+版本的UDT(Scala,Python,Java,R)? 我有类似这样的类 Class Test{ string name; int age; }我的UDF方法是: public Test UD…

python java SQL spark scala string class test UDF

如何使用spark scala计算目录中存在的多个文件的单词

如何使用Apache Spark with Scala执行目录中存在的多个文件的字数? 所有文件都有换行符分隔符。 O / p应该是: file1.txt,5file2.txt,6 ...我尝试使用以下方式: val rdd= spark…

Apache spark scala file Apple

Apache Spark Scala - Hive插入抛出“太大的数据帧错误”

我试图使用下面的代码插入Hive但由于某种原因它总是失败。我试过调整内存但没有帮助。 错误堆栈跟踪: [Stage 4:=====================================================>(9…

java SQL Apache spark scala Hive netty

根据spark scala中数据框中的列拆分获取长度

有一个包含文本的“备注”列的数据框。我想通过检查备注列长度来添加新列。例如,如果备注列的长度== 2,我需要拆分($“备注”,“”)(1)。否则我会把备注栏视为原样。 例如:remarks =“xxxx yyyy”,我希望count应该是…

线程 Apache spark scala 数据类型

上一页 1 ... 4 5 6 7 8 ... 9 下一页
9
GO