开发者社区 > 云原生 > 消息队列 > 正文

使用消息队列的方式从一个数据平台获取数据

使用消息队列的方式从一个数据平台获取数据是如何保证数据的不重复?也就是说每次取数据都要按照时间字段做限制?还是说不需要关心这个,他给什么就收什么?是多线程的吗,实时保持通信?

展开
收起
蛮大人123 2016-05-30 16:22:06 4407 0
2 条回答
写回答
取消 提交回答
  • 大部分消息队列都是无法保证不重复的,建议通过业务的主键做去重

    2019-07-17 19:20:43
    赞同 展开评论 打赏
  • 我说我不帅他们就打我,还说我虚伪

    看什么数据来源,它本身是否支持对消息的唯一编码。如果没有唯一的编码,那么只能以时间戳来作为唯一的依据。消息队列一般都是支持多线程并发的,但是你的程序仍然需要做相应的处理。虽然你没有提供多少细节,但是一些常识性的东西可以回答你,根据著名的cap原则,在分布式系统上,着高可用 、容错、一致性这三者不能兼得。

    2019-07-17 19:20:43
    赞同 展开评论 打赏

多个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持,覆盖多行业。

相关电子书

更多
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载
大数据&AI实战派 第2期 立即下载