1. 云栖社区>
  2. 全部标签>
  3. #scala#
scala

#scala#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Flink 运行一段时间后报错

t-2cef9f5c52247f757f677c1592279fb65f096544-78ffcb691eed1982c6e6833f3b5b5872 from master/127.0.0.1:338782019-06-13 19:22…

java Apache runtime scala Akka flink

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job fa…

大数据 java hdfs hadoop Apache 配置 集群 runtime scala API Core thread IDEA flink

使用spark streaming连接loghub报错,是什么问题

"main" java.lang.ClassNotFoundException: Failed to find data source: loghub. Please find packages at http://spark.apach…

大数据 java native SQL Apache spark scala SUN

最近在使用FLink ML的存在一些疑问(本人还是个新手)

最近想使用FLink做一个离线推荐的功能,因为对java比较熟悉,所以项目想用java完成,官网上也有一个Fink ML的ALS的算法,但是好像在java中没办法使用,我也尝试了 java和scala混合编程的方式,但是也没有进展,有没有大…

算法 java scala 编程 demo flink flinkml ALS

Flink 的 Scala API 怎么指定 时间字段

代码如下 import com.alibaba.fastjson.JSON import com.alibaba.fastjson.serializer.SerializeFilter import org.apache.flink.ap…

大数据 java Apache scala API string alibaba fastjson Blink flink 实时计算

运行emrfs delete时出错 - 元数据“EmrFSMetadata”不存在

我们有stage / prod emr集群,我们可能需要emrfs delete s3_path通过jenkins作业在两个集群上运行命令。 但是,我可以在stage/prod emr one上成功运行emrfs delete,但在pro…

集群 scala e-mapreduce EMR metadata jenkins

来自Spark的S3写入间歇性地失败,错误代码为404 NoSuchKey

我每隔5分钟写入s3的spark作业(EMR),每天都会写几次,但有以下异常。知道是什么原因引起的吗? 码: ds.write .mode("overwrite") .format("parquet") .save("s3:/…

java hadoop SQL Apache request spark scala e-mapreduce EMR thread Mapreduce

可以将spark配置为将空数据集推断为空模式吗

我们有很多parquet数据集,按年/月/日/小时划分。 只有一个_SUCCESS文件,其中一些时间是空的。 我们实现迭代所有分区并执行工作的作业。打开空数据集时遇到问题。org.apache.spark.sql.AnalysisExce…

SQL Apache 配置 spark scala 解决方案 e-mapreduce schema type

EMR上的Spark工作突然耗时30小时(从5小时起)

我有一个Spark作业,它运行在1个主服务器和8个核心的Amazon EMR集群上。简而言之,Spark作业从S3读取一些.csv文件,将它们转换为RDD,在RDD上执行一些相对复杂的连接,最后在S3上生成其他.csv文件。这项工作在EM…

java Apache 集群 spark scala e-mapreduce EMR list csv

在EMR类中找不到Spark-submit异常java

我有一个jar包捆绑创建一个弹簧启动应用程序,其中我创建spark会话来做一些操作。 然后我发送这个jar AWS EMR,要么运行的spark-submit或者java -jar未工作的可执行文件。 这是我的jar结构 jar -tf …

java Apache Maven spark scala e-mapreduce EMR class

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of programSubmitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. …

云栖社区 java Apache runtime scala Akka Security flink

我使用spark thrift jdbc 已经在spark配置文件设置了

我使用spark thrift jdbc 已经在spark配置文件设置了--conf spark.kryoserializer.buffer=64m--conf spark.kryoserializer.buffer.max=256m为什…

java Apache 配置 spark scala JDBC thread

【FLINK】在同一个流上执行多次sql,导致第二个sql中的where条件不可用

List fields = Lists.newArrayList("rawMessage"); Schema schema = new Schema(); for (int i = 0; i < fields.siz…

云栖社区 SQL Apache scala exception class schema flink

各位flink是用java还是scala开发的?

转自钉钉群21789141:各位flink是用java还是scala开发的?

大数据 java 钉钉 scala 流计算 flink 实时计算

flink 类型转换,scala 继承map接口后,报java.lang.ClassCastException

类型: case class RIchMap(data:Map[String,Any] = Map()) extends Map[String, Any] with GenMap[String, Any] with Serializabl…

云栖社区 大数据 java Apache runtime scala API string list thread flink

flink1.7.1 dataStream table API 的 distinc问题

tenv.registerDataStream("data", dataStream, 'a, 'b, 'c, 'time.rowtime) import org.apache.flink.table.api.scala._ …

Apache Image scala API class flink

2018spark技术问答集锦,希望能给喜欢spark的同学一些帮助

小编发现问答专区中有很多人在问关于spark的问题,小编把这些问题汇总一下,希望能给喜欢spark的大家一些启示和帮助 本帖不定期更新,喜欢的可以收藏哦 如何在Apache Beam中实现类似Spark的zipWithIndex?http…

云栖社区 大数据 函数 Apache 模块 集群 排序 问答 spark scala aliyun DataFrame ask 数组

Flink 从Checkpoint恢复失败

import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink…

java Apache runtime scala Security REST zookeeper checkpoint flink 实时计算

解析Apache Spark Scala中的数据org.apache.spark.SparkException:尝试使用textinputformat.record.delimiter时出现任务无序列化错误

输入文件: DATE 2018-11-16T06:3937Linux hortonworks 3.10.0-514.26.2.el7.x86_64 #1 SMP Fri Jun 30 05:26:04 UTC 2017 x86_64 x8…

linux hadoop Apache spark scala xml class type read pattern Mapreduce input

无法使用Spark在Datastax上初始化图形

我正在尝试使用Spark初始化我的Datastax图,如下所示: val graphBuilder = spark.dseGraph("GRAPH_NAME")但我有以下例外: Exception in thread "main" jav…

java spark scala exception thread

9
GO