使用消息队列的方式从一个数据平台获取数据是如何保证数据的不重复?也就是说每次取数据都要按照时间字段做限制?还是说不需要关心这个,他给什么就收什么?是多线程的吗,实时保持通信?
看什么数据来源,它本身是否支持对消息的唯一编码。如果没有唯一的编码,那么只能以时间戳来作为唯一的依据。消息队列一般都是支持多线程并发的,但是你的程序仍然需要做相应的处理。虽然你没有提供多少细节,但是一些常识性的东西可以回答你,根据著名的cap原则,在分布式系统上,着高可用 、容错、一致性这三者不能兼得。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。