集群模式下Flink如何确保同样的ID落在同一个节点上？
Flink on Yarn 集群里有几台机器组成的Yarn。
能从消息中方便的提取一个用户ID。现在在处理流的过程中，希望同一个ID落到同一个机器上来提高效率。
同时，希望partition by ID，然后编写针对同一个用户的流的处理算法，现在不知道如何下手。
还请大神指导一下……十分感谢
展开
收起
2
条回答
写回答
写回答
-
社区没人回答我就自己回答了吧……
.partitionCustom( new Partitioner[Long] { override def partition(key: Long, numPartitions: Int): Int = { math.abs(MurmurHash3.arrayHash(Bytes.toBytes(key))) % numPartitions } }, _.getVehicleId )2019-07-17 23:13:50赞同 展开评论 打赏 -
问答分类：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
