1. 云栖社区>
  2. 全部标签>
  3. #flink#
flink

#flink#

已有49人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Flink 运行一段时间后报错

t-2cef9f5c52247f757f677c1592279fb65f096544-78ffcb691eed1982c6e6833f3b5b5872 from master/127.0.0.1:338782019-06-13 19:22…

java Apache runtime scala Akka flink

blink-3.2.0何时开源?

在maven仓库上看到blink已经有3.2.0版本了,但只能用依赖本地使用,请问何时发布该版本?

大数据 Maven flink

Flink 自定义聚合函数 AggregateFunction 不触发

本地sock测试AggregateFunction 生效 但是上了flink集群后(连接的kafka源 ,数据能正常收到) 发现AggregateFunction 的getresult方法不触发,而createAccumulator和a…

云栖社区 大数据 函数 集群 测试 ADD flink

Flink on Yarn启动的TaskManager只有一个

Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???我的启动命令是这样的:flink -m yar…

实时系统 jvm hdfs hadoop 配置 pipeline Akka flink

Flink 源码 中OneInputstreamoperator和SingleOutputStreamOperator什么关系?

源码中看到两套概念,不能直观的区分,some one提点下? 在实际执行过程中,可以看到OneInputstreamoperator/TwoInputstreamoperator两个类。 同时,在API中也可以看到SingleOutput…

源码 API flink

StreamingFileSink写parquet文件的问题

在使用 StreamingFileSink 写parquet文件时,由于需要使用forGenericRecord方法,那么toAppendStream 需要的参数类怎么构建或者定义? 下面的代码是直接使用的GenericRecord接口的…

Apache string class flink

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of programSubmitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. …

云栖社区 java Apache runtime scala Akka Security flink

【FLINK】在同一个流上执行多次sql,导致第二个sql中的where条件不可用

List fields = Lists.newArrayList("rawMessage"); Schema schema = new Schema(); for (int i = 0; i < fields.siz…

云栖社区 SQL Apache scala exception class schema flink

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?

想问下 Flink 1.6.2 with Hadoop® 2.8 这个版本里的 Hadoop 用户名是绑定了的么?export HADOOP_USER_NAME=hdfs 即使这样绑定了 执行是还是报错

hdfs hadoop flink

flink 程序中出现异常,如何优雅处理

flink stream 程序处理过程中,当连接外部存储时出现异常,或者外部存储宕机,这时候 flink stream 如何优雅处理 ?

stream 存储 flink

Flink批处理的容错是如何实现的?批处理有没有检查点,批处理执行迭代时如何实现容错

对于Flink的Checkpoint相关的源码分别在Streaming api和runtime api有涉及,看了一些文章,对于迭代的容错机制。我想请问一下,Flink现有的Checkpoint机制对于迭代适用吗?批处理的迭代是如何实现容错…

源码 runtime API 迭代 批处理 flink 容错

将table 查询结果写到csvtablesink,文件大小始终为0

在UI上看到的输出结果:麻烦看下是不是代码写的有误,非常感谢!

云栖社区 Image flink

flink项目的log4j.properties未起作用

请教大佬们,flink项目的日志怎么看,我项目里面使用了是log4j,然后配置文件里面有个log4j.properties,在里面配置了日志级别为log4j.rootLogger=WARN, console log4j.appender.…

日志 LOG Apache 配置 log4j flink

[Flink] 关于 BoundedOutOfOrdernessTimestampExtractor 和 allowedLateness

关于延迟元素,在方法BoundedOutOfOrdernessTimestampExtractor中指定Time.seconds(60)参数 和 在方法allowedLateness中指定Time.seconds(60)参数,两种有什么区…

flink

[Filnk] 关于合并的keyed stream的sink问题

有两条keyed stream, 一条是根据userid聚合求点击数click,另一条是根据同样的userid聚合求曝光数show,都是key("userid").sum(1),假设窗口期设置一样。现在想让最后sink时按照三个字段user…

stream flink

如果要给给Row里加一个字符串数组String[]类型的元素怎么弄?

哪位知道,如果要给给Row里加一个字符串数组String[]类型的元素怎么弄,以前RowTypeInfo我都是用BasicTypeInfo.LONG_TYPE_INFO这样构造的,可是现在BasicTypeInfo里找不到数组类型,怎么弄这…

string 数据类型 数组 flink

想请教一个问题,,我禁用了flink的checkpoint,并指定了enable.auto.commit和auto.commit.interval.ms,并setStartFromSpecificOffsets,发现offset的自动提交不生效啊?

想请教一个问题,,我禁用了flink的checkpoint,并指定了enable.auto.commit和auto.commit.interval.ms,并setStartFromSpecificOffsets,发现offset的自动提交不…

Commit flink

大家好,有使用flink cep的用户吗,我们现在在用,如果有一些运行时异常,cep就会直接导致job停止,不知道有什么方法可以cep处理运行时异常

大家好,有使用flink cep的用户吗,我们现在在用,如果有一些运行时异常,cep就会直接导致job停止,不知道有什么方法可以cep处理运行时异常?

flink

各位大佬,flink state mapstate 保存数据100g 采用rocksdb增量更新 job 任务运行一段时间就死了。磁盘采用非ssd 。对于large state value 任务 有什么好的建议。

各位大佬,flink state mapstate 保存数据100g 采用rocksdb增量更新 job 任务运行一段时间就死了。磁盘采用非ssd 。对于large state value 任务 有什么好的建议。

large 磁盘 flink

2
GO