开发者社区> 问答> 正文

如果有多个下游运算符,flink是否发送重复记录

如果我运行如下的示例flink应用程序:

DataStream ds;
ds.map(new MapFunction1()).print();
ds.map(new MapFunction2()).print();
flfl会在内部从ds到下游运算符(MapFunction1和MapFunction2)的每条记录发送两次吗?

我知道flink中的数据交换发生在taskmanager级别而不是操作员级别。

展开
收起
社区小助手 2018-12-11 16:34:59 2318 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    StreamExecutionEnvironment environment =

            StreamExecutionEnvironment.getExecutionEnvironment();
    
    DataStream<Long> someIntegers = environment.generateSequence(0, 0);
    someIntegers.map(aLong -> aLong + 1).print();
    someIntegers.map(aLong -> aLong + 2).print();
    
    environment.execute();

    输出:

    1> 1
    1> 2

    2019-07-17 23:19:53
    赞同 展开评论 打赏
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Flink CDC Meetup PPT - 覃立辉 立即下载
Flink CDC Meetup PPT - 孙家宝 立即下载
Flink CDC Meetup PPT - 徐榜江 立即下载