石权infinite + 关注

石权infinite 参与了问答:

flink如何计算设备离网

场景描述设备工作期间每隔固定周期(比如30s)就往kafka发送采集到的数据,当设备超过15分钟没有上报数据,则认为设备离网了。如何每隔10分钟计算出设备在该10分钟时间段内的离网时长? 按我的理解(...

“问题很久远了,因为做过类似的设备监控的事情,简单说下我的做法:不靠flink本身来做,而是通过redis的timeout来做的。”

石权infinite 参与了问答:

Flink keyby问题

Flink程序接入kafka源进行处理。对流使用keyby分流,当流量大时,会发生反压,即使流量并没有很大。但单独把keyby去掉后,就能够顶住很大的流量。keyby的值使用UUID进行测试的,有正常...

“keyby后,数据会根据key值发往下游的operator。建议你看下graph中哪个task产生了反压,是不是和IO相关。”

石权infinite 参与了问答:

请问各位大大,如果是独立的Flink集群,Standalone Cluster好还是On Yarn比较好? 个人觉得通过zk做主备job manager好像没什么大的缺陷.不知道有哪位运维过Flink集群的大大能出来指点一下

转自钉钉群21789141:请问各位大大,如果是独立的Flink集群,Standalone Cluster好还是On Yarn比较好?个人觉得通过zk做主备job manager好像没什么大的缺陷.不...

“个人理解是管理和监控上的事情,这两点对生产环境尤为重要。standalone缺少系统层面的管理、缺少资源隔离、缺少进程级异常恢复。另外如果想做高可用,还要依赖hdfs,所以不如yarn和hdfs一起上...查看全部>

石权infinite 参与了问答:

经常遇到 major GC 花了半分钟才完成,但一两秒以后又启动了,如此往复。这种情况下 Flink 很不稳定,随时可能挂掉,checkpoint 也完不成了,Flink 还在默默地往身上扛数据

转自钉钉群21789141:经常遇到 major GC 花了半分钟才完成,但一两秒以后又启动了,如此往复。这种情况下 Flink 很不稳定,随时可能挂掉,checkpoint 也完不成了,Flink ...

“这个问题能再拿出聊一下么? heap statebackend也不是完全驻留在内存,会扇出到磁盘的吧? 阿里自己的statebackend大概怎么实现的?”

石权infinite 参与了问答:

请问大家遇到过这个错误吗:Checkpoint expired before completing

转自钉钉群21789141:请问大家遇到过这个错误吗:Checkpoint expired before completing

“老哥,给点上下文,cp写哪啊,需要写这么长时间。”

石权infinite 参与了问答:

这种报错有人知道怎么回事么

转自钉钉群21789141:

“关键栈信息是不能发送到kafka。。。。”

石权infinite 参与了问答:

请问下各位大佬,在flink官网上讲解join的一章里,有这样一张图,在这张图中不太理解的是,为什么0,1 和1,0 也会作为join的结果输出呢?

转自钉钉群21789141:请问下各位大佬,在flink官网上讲解join的一章里,有这样一张图,在这张图中不太理解的是,为什么0,1 和1,0 也会作为join的结果输出呢?val orangeSt...

“join实现方式是nested-loop join , 得出的是笛卡儿积。具体到0,1 和1,0。对应的就是第一个窗口内的,。官方文档可以参考这个: https://flink.apache.org/...查看全部>
暂未提供

感兴趣or擅长的领域:

更多>
更多>
姚斌martin
姚斌martin
文章:0丨 粉丝:0丨 话题:0