1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

用flink run -s命令指定checkpoint点手动恢复测试发现报错

转自钉钉群21789141:请教一个问题, 我在官网上看到, 是可以用flink run -s命令指定checkpoint点手动恢复的啊,但是测试发现报错

大数据 测试 Image 流计算 flink 实时计算

集群模式下Flink如何确保同样的ID落在同一个节点上?

Flink on Yarn 集群里有几台机器组成的Yarn。能从消息中方便的提取一个用户ID。现在在处理流的过程中,希望同一个ID落到同一个机器上来提高效率。同时,希望partition by ID,然后编写针对同一个用户的流的处理算法,现…

大数据 算法 集群 BY 流计算 flink

今天咱们严肃活泼的聊聊下一代大数据计算引擎

权威解读:阿里云实时计算究竟对Apache Flink做了哪些‘改造’? 阿里云实时计算是一套基于Apache Flink™️构建的一站式全托管实时大数据处理平台。11月14日下午3点,实时计算团队的资深专家,和我们权威解读阿里眼中下一代…

大数据 Apache 电商 袋鼠云 淘宝 报表 流计算 选品

请问flink 能像spark那样直接对hive表进行查询和计算吗?

转自钉钉群21789141:请问flink 能像spark那样直接对hive表进行查询和计算吗?

大数据 spark Hive 流计算 flink 实时计算

flink sql 从savepoint启动恢复程序状态

flink sql 从savepoint启动恢复程序状态,反序列化后,程序的数据有问题,flink sql写的程序如何从savepoint 启动

SQL 流计算 flink

实时计算Flink sink端写出到同名的DataHub和RDS,如何处理?

同一个流计算作业如何将处理结果insert给datahub和RDS,结果表表名一样的......还是说一定要结果表在RDS和datahub上表名不一致来区别...

RDS 流计算 flink 实时计算

Flink Sliding Window Join 不输出数据?

假设我的Stream1,Stream2 都是从kafka接收过来的,数据也是模拟的。在join之前,数据都能打印出来,我想根据最后一个字段也就是地点,然后将两个Stream 的数据合并,输出一个流格式如下:Stream1:2018-10-2…

云栖社区 大数据 stream 流计算 flink

这种报错有人知道怎么回事么

转自钉钉群21789141:

大数据 Image 钉钉 流计算 flink 实时计算

请教个问题 为什么flink1.5 可以通过readCsvFile读取hdfs数据 却用result.writeAsCsv写hdfs不成功呢 谢谢!

转自钉钉群21789141:请教个问题 为什么flink1.5 可以通过readCsvFile读取hdfs数据 却用result.writeAsCsv写hdfs不成功呢 谢谢!

大数据 hdfs 钉钉 流计算 flink 实时计算

请问下各位大佬,在Flink里面频繁出现Checkpoint expired before completing的错误,状态本身并不大,看了一下Checkpoint确认的进度56/64 (88%),还有几个不知道什么原因迟迟收不到Acknowledge。请问下出现这种现象是什么原因?

转自钉钉群21789141:请问下各位大佬,在Flink里面频繁出现Checkpoint expired before completing的错误,状态本身并不大,看了一下Checkpoint确认的进度56/64 (88%),还有几个不知道…

大数据 钉钉 流计算 flink 实时计算

请问下各位大佬,在flink官网上讲解join的一章里,有这样一张图,在这张图中不太理解的是,为什么0,1 和1,0 也会作为join的结果输出呢?

转自钉钉群21789141:请问下各位大佬,在flink官网上讲解join的一章里,有这样一张图,在这张图中不太理解的是,为什么0,1 和1,0 也会作为join的结果输出呢?val orangeStream: DataStream[In…

大数据 Image 钉钉 流计算 flink 实时计算

请问大家遇到过这个错误吗:Checkpoint expired before completing

转自钉钉群21789141:请问大家遇到过这个错误吗:Checkpoint expired before completing

大数据 Image 钉钉 流计算 flink 实时计算

大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每个新到的文件就新new一个BucketingSink,

转自钉钉群21789141:大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,…

云栖社区 大数据 hdfs 性能 日志 钉钉 流计算 flink 实时计算

请问Flink程序中使用redis,有朋友用过吗?现在我们使用的是原始的Jedis,感觉性能不是特别好,请问有没有更好的解决方案?

转自钉钉群21789141:请问Flink程序中使用redis,有朋友用过吗?现在我们使用的是原始的Jedis,感觉性能不是特别好,请问有没有更好的解决方案?

大数据 redis 性能 Image 钉钉 解决方案 jedis 流计算 flink 实时计算

如果我使用run直接提交任务到yarn的方式,HA的效果还有用吗?

转自钉钉群21789141:如果我使用run直接提交任务到yarn的方式,HA的效果还有用吗?

大数据 钉钉 流计算 flink 实时计算

求助:sink to mysql应该怎么写? 继承了RichSinkFunction ,数据库连接信息放在open,还是invoke

转自钉钉群21789141:求助:sink to mysql应该怎么写? 继承了RichSinkFunction ,数据库连接信息放在open,还是invoke

大数据 mysql 数据库 钉钉 open 流计算 flink 实时计算

flink配置文件有更改存储方式的地方么

转自钉钉群21789141:flink配置文件有更改存储方式的地方么

大数据 配置 钉钉 存储 流计算 flink 实时计算

github现有的源码,能以hadoop3. 0编译吗?还是需要把hadoop3.0集成进去?

转自钉钉群21789141:github现有的源码,能以hadoop3. 0编译吗?还是需要把hadoop3.0集成进去?

大数据 源码 钉钉 github 流计算 flink 实时计算

上一页 1 ... 2 3 4 5 6 ... 8 下一页
8
GO