1. 云栖社区>
  2. 全部标签>
  3. #flink#
flink

#flink#

已有49人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

flink sql 支持checkpoints吗?

使用flink sql进行实时计算(部署模式是on yarn)。想用到checkpoint,在flink-conf.yaml配置了: state.backend: filesystemstate.checkpoints.dir: hdfs…

hdfs SQL 配置 flink

在flink集群模式下,能不能指定某个节点的solt来执行一个task?

因为我需要将flink处理结果输出到本地文件,在集群模式下,能否指定某一个固定节点来执行输出文件的task呢?writeAsFormattedText(localPath).setParallelism(1);

集群 flink

Flink 运行一段时间后报错

t-2cef9f5c52247f757f677c1592279fb65f096544-78ffcb691eed1982c6e6833f3b5b5872 from master/127.0.0.1:338782019-06-13 19:22…

java Apache runtime scala Akka flink

flink用IDEA本地运行可以读取HDFS数据,然后把项目打包提交到flink集群,无法读取HDFS数据,出现以下错误,这是为何?

The program finished with the following exception: org.apache.flink.client.program.ProgramInvocationException: Job fa…

大数据 java hdfs hadoop Apache 配置 集群 runtime scala API Core thread IDEA flink

cancel掉flink的任务会导致taskManager节点挂掉。

flink部署的是stand alone,在flink web UI上提交的任务(job 并行度2),进行cancel后会导致taskManager节点挂掉一个。在服务器上命令行用flink cancel jobID也是一样,会导致节点挂掉…

服务器 web flink

blink-3.2.0何时开源?

在maven仓库上看到blink已经有3.2.0版本了,但只能用依赖本地使用,请问何时发布该版本?

大数据 Maven flink

最近在使用FLink ML的存在一些疑问(本人还是个新手)

最近想使用FLink做一个离线推荐的功能,因为对java比较熟悉,所以项目想用java完成,官网上也有一个Fink ML的ALS的算法,但是好像在java中没办法使用,我也尝试了 java和scala混合编程的方式,但是也没有进展,有没有大…

算法 java scala 编程 demo flink flinkml ALS

Flink 自定义聚合函数 AggregateFunction 不触发

本地sock测试AggregateFunction 生效 但是上了flink集群后(连接的kafka源 ,数据能正常收到) 发现AggregateFunction 的getresult方法不触发,而createAccumulator和a…

云栖社区 大数据 函数 集群 测试 ADD flink

flink在执行job时checkpoint报错

Flink版本是1.8standardalone cluster模式3台机器执行的时候一直出hdfs权限错误,查看了hdfs目录权限好像是没问题 AsynchronousException{java.lang.Exception: Cou…

java hdfs hadoop Apache runtime Server Create source handler Security flink

JOB数量多,slot数该如何分配

由于业务特点,FLINK JOB数比较多,但是task manager的slot内存是隔离的,限制了slot的个数上限,导致由于slot不足,job提交失败,有什么解决方案

解决方案 flink

是否可以将flink部署在运行在JDK1.7的YARN上?

目前YARN集群全部采用JDK1.7的环境。正在尝试使用FLINK来处理流处理业务场景部署的时候发现FLINK ON YARN模式执行一个session任务总是报错,YARN的AM日志显示Unsupported major. minor v…

分布式 java 日志 集群 脚本 session yarn flink

Flink 的 Scala API 怎么指定 时间字段

代码如下 import com.alibaba.fastjson.JSON import com.alibaba.fastjson.serializer.SerializeFilter import org.apache.flink.ap…

大数据 java Apache scala API string alibaba fastjson Blink flink 实时计算

Flink on Yarn启动的TaskManager只有一个

Flink On Yarn 模式,单个任务提交的时候,任务提交成功了,但是我的TaskManager只启动了一个,其他的TaskManager都没启动起来,当然资源也没法用,这是为什么啊???我的启动命令是这样的:flink -m yar…

实时系统 jvm hdfs hadoop 配置 pipeline Akka flink

Flink 源码 中OneInputstreamoperator和SingleOutputStreamOperator什么关系?

源码中看到两套概念,不能直观的区分,some one提点下? 在实际执行过程中,可以看到OneInputstreamoperator/TwoInputstreamoperator两个类。 同时,在API中也可以看到SingleOutput…

源码 API flink

StreamingFileSink写parquet文件的问题

在使用 StreamingFileSink 写parquet文件时,由于需要使用forGenericRecord方法,那么toAppendStream 需要的参数类怎么构建或者定义? 下面的代码是直接使用的GenericRecord接口的…

Apache string class flink

求教经验:Flink程序怎么排查OOM问题

现在写的一个flink程序偶尔会出现OOM,但是不知道这问题该如何查起,报错日志可能并不是引起OOM的根本原因。又或者由于多个算子运行在同一个taskmanager上,可能是被另一个算子占用了太多内存。等等。想请教下遇到OOM的问题时,大家…

云栖社区 分布式 java 日志 OOM 流式计算 flink

Flink keyby问题

Flink程序接入kafka源进行处理。对流使用keyby分流,当流量大时,会发生反压,即使流量并没有很大。但单独把keyby去掉后,就能够顶住很大的流量。keyby的值使用UUID进行测试的,有正常进行分流。keyby是否会对吞吐造成影响…

分布式 大数据 测试 uuid flink keyby

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of programSubmitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. …

云栖社区 java Apache runtime scala Akka Security flink

flink 窗口函数

您好,我想实现在一个固定窗口内统计总算,比如2小时候内的数据总量;但用固定窗口要2小时候才能触发,我想实时触发。有比较好的方法嘛?是不是要自定义触发器

云栖社区 函数 flink

【FLINK】在同一个流上执行多次sql,导致第二个sql中的where条件不可用

List fields = Lists.newArrayList("rawMessage"); Schema schema = new Schema(); for (int i = 0; i < fields.siz…

云栖社区 SQL Apache scala exception class schema flink

30
GO