1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Flink on yarn 模式下,yarn给 flink 指定的 web 页面的 ip 和 端口是随机指定的,可以固定下来吗。

转自钉钉群21789141:Flink on yarn 模式下,yarn给 flink 指定的 web 页面的 ip 和 端口是随机指定的,可以固定下来吗。

大数据 web 钉钉 IP 流计算 flink 实时计算

大家提交flink任务到yarn的时候 是在哪个节点提交的? namenode还是 datanode?

转自钉钉群21789141:大家提交flink任务到yarn的时候 是在哪个节点提交的? namenode还是 datanode?

大数据 钉钉 流计算 flink 实时计算

flink可以监听kafka, mq等。可以监听文件,或者zookeeper嘛?如果有新的消息,flink要可以读取到。

转自钉钉群21789141:flink可以监听kafka, mq等。可以监听文件,或者zookeeper嘛?如果有新的消息,flink要可以读取到。

钉钉 zookeeper 流计算 flink 实时计算

flink写hive表有什么好的建议?

转自钉钉群21789141:flink 写 hive 表 有什么好的建议?

大数据 钉钉 Hive 流计算 flink 实时计算

flink standalone yarn的区别是什么

转自钉钉群21789141:flink standalone yarn的区别是什么

大数据 钉钉 流计算 flink 实时计算

大神们,问一下怎么在yarn上提交程序到flink集群上,yarn客户端和flnk的masters不在同一台机器上,yarn提交的时候怎么知道是提交到指定的flink集群上,需要在哪配置一下吗?

转自钉钉群21789141:大神们,问一下怎么在yarn上提交程序到flink集群上,yarn客户端和flnk的masters不在同一台机器上,yarn提交的时候怎么知道是提交到指定的flink集群上,需要在哪配置一下吗?

大数据 配置 集群 钉钉 流计算 flink 实时计算

问一下大佬,如果远程提交程序到flink集群运行的话的话,怎么提交,本地是否得安装flink的客户端,客户端需要怎么配置~代码中获取环境环境的时候需要把flink集群的ip及端口加上吗?

转自钉钉群21789141:问一下大佬,如果远程提交程序到flink集群运行的话的话,怎么提交,本地是否得安装flink的客户端,客户端需要怎么配置~代码中获取环境环境的时候需要把flink集群的ip及端口加上吗?

大数据 配置 集群 钉钉 流计算 flink 实时计算

我现在在部署flink上生产。 yarn跟standalone的主要优劣势能分享下吗

转自钉钉群21789141:我现在在部署flink上生产。 yarn跟standalone的主要优劣势能分享下吗

大数据 流计算 flink 实时计算

有没有相关的benchmark的数据分享一下

有没有相关的benchmark的数据分享一下

大数据 流计算 flink 实时计算

blink使用streaming的runtime实现batch,效率会降低吗?

转自钉钉群21789141:blink使用streaming的runtime实现batch,效率会降低吗?

大数据 runtime 钉钉 流计算 flink 实时计算

请问一下 现在有一个场景 在mysql中对数据进行处理发现时间太长 就拿着mysql中的原始数据到FLink来完成加工逻辑 但是发现时间更长了 Flink job时间: 直接查询时间: 是我使用FLink的方式不对 还是Flink不适合这种场景

转自钉钉群21789141:请问一下 现在有一个场景 在mysql中对数据进行处理发现时间太长 就拿着mysql中的原始数据到FLink来完成加工逻辑 但是发现时间更长了 Flink job时间: 直接查询时间: 是我使…

大数据 mysql 钉钉 流计算 Blink flink 实时计算

Flink 运行的时候出现 : Could not materialize checkpoint

运行一个Flink程序,Flink是部署的Standalone Cluster,Statebackend 是 RocksDB + HDFS。 运行了大约8小时出现了这个错误,由于Flink自己有重启的机制,所以好歹是没GG,但是我仍然希望…

大数据 hdfs cluster 流计算 big data flink

说说你遇到比较难处理的实时计算业务场景?

你用实时计算解决哪些业务难题? 实时计算 这个概念与离线计算是相伴而生的。离线计算:通过 ETL 程序清洗上报的数据,然后把数据存入 HDFS,通过 Hadoop 的批处理 Job 把数据导入 Hive、做 ORC 压缩处理、进行数据分区…

大数据 监控 数据处理 电商 离线计算 物联网 流计算

我想问下,keyby的时候不同key可以配权重吗?分到task上的流量不均衡怎么解决呀?

我想问下,keyby的时候不同key可以配权重吗?分到task上的流量不均衡怎么解决呀?

大数据 流计算 flink 实时计算

flink用什么工具开发?

flink用什么工具开发?用eclipse好像有很多问题?

大数据 eclipse 流计算 flink 实时计算

请问怎么做去重?

问题转自钉钉群: 21789141请问怎么做去重?不理解的是 distinct生效时 flink程序拿到了之前cache的状态值, 做了distinct, 状态值和新来的值都打印出来了, 而且都又计算了一次, 导致本来该算一次的数据算了…

大数据 Cache Image 钉钉 流计算 flink 实时计算

随着我数据量变大 checkpoint时间在变长 这个问题可以这么解决啊

随着我数据量变大 checkpoint时间在变长 这个问题可以这么解决啊

大数据 Image 流计算 flink 实时计算

请问flink no window join 是怎么样的呀 有相关文档吗

请问flink no window join 是怎么样的呀 有相关文档吗

大数据 流计算 flink 实时计算

8
GO