开发者社区> 问答> 正文

想问一下 flink 有写orc hdfs 的BucketingSink吗? 或者还需StreamingFileSink 来写吗?貌似1.6没有orc writer哦

转自钉钉群21789141:想问一下 flink 有写orc hdfs 的BucketingSink吗?
或者还需StreamingFileSink 来写吗?貌似1.6没有orc writer哦

展开
收起
赵慧@ApacheFlink中文社区 2018-10-18 13:43:53 5873 0
2 条回答
写回答
取消 提交回答
  • 自己实现ORC Writer,在Haddop 上2.7做truncate,否则就只能记录invalid-length

    2019-07-17 23:09:14
    赞同 展开评论 打赏
  • zhangminglei:https://issues.apache.org/jira/browse/FLINK-10114

    问:这个我试过了,一条 记录一个文件,不知道是不是我用的不对

    答:没有就自己实现呀
    不是所有的东西都有的

    问:这个实现的难点在于实现 end to end 的 exactly once
    因为在 recovery 的时候需要做 retract

    答:Sink很难exactly once

    2019-07-17 23:09:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Flink峰会 - 徐榜江 立即下载
Flink CDC Meetup PPT - 龚中强 立即下载
海量数据分布式存储——Apache HDFS之最新进展 立即下载