1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如何搞定Kafka重复消费?

如何保证 Kafka 消息不重复消费?我们在做开发的时候为了程序的健壮性,在使用 Kafka 的时候一般都会设置重试的次数,但是因为网络的一些原因,设置了重试就有可能导致有些消息重复发送了(当然导致消息重复也有可能是其他原因),那么怎么解决消息重复这个问题呢?关于这个问题,我这儿提供了如下三种解决方案,供大家参考。

大数据 消息队列 函数 数据库 解决方案 分布式系统 kafka

Apache RocketMQ 的 Service Mesh 开源之旅

自 19 年底开始,支持 Apache RocketMQ 的 Network Filter 历时 4 个月的 Code Review([Pull Request](https://github.com/envoyproxy/envoy/pull/9503)),于本月正式合入 CNCF Envoy 官方社区([RocketMQ Proxy Filter 官方文档](https://www.

消息系统 Apache sdk code 微服务 request 负载均衡 Consumer service kafka RocketMQ 云原生 servicemesh

Kafka零数据丢失的配置方案

Kafka零数据丢失的配置方案如果要想保证Kafka数据不丢, 要从Kafka的三个地方入手:生产者、服务端和消费者。生产者01 / API使用在生产中Kafka生产者的开发我们都会用异步调用的方式,异步调用方式有如下两个API:1)producer.send(msg) 不带回调方法2)producer.send(msg,callback) 带回调方法记得要使用带有回调方法的API,我们可以根据回调函数得知消息是否发送成功,如果发送失败了我们要进行异常处理,比如存储到其他介质来保证消息不丢。

消息系统 大数据 配置 replication kafka Kafka配置方案

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享 分享人:阿里云MVP曾宪宇,2014开始 就职于启明信息,负责车联网平台的架构和建设,坐标吉林长春。 分享内容:结合主流MQ,介绍一款基于Java的开源消息队列客户端框架。

分布式 消息系统 大数据 开发框架与中间件 java 消息队列 Cloud 性能 线程 spring 微服务 ActiveMQ kafka RocketMQ

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

消息系统端到端Exactly-Once支持

消息系统对于消息的写入和消费提供多种模式,如 at-most-once,at-least-once 和 exactly-once,本文探讨如何在一个消息提供中高效支持exactly-once的写入和消费

消息系统 日志服务 SLS Consumer kafka plusar

Kafka最佳实践

前言 Kafka 是一种分布式的,基于发布/订阅体系的消息队列系统。 能够以 时间复杂度为 O(1) 的方式提供消息持久化能力,即使对 TB 级以上数据也能保证 常数时间复杂度 的访问性能。 即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。

分布式系统与计算 消息队列 性能 线程 配置 集群 同步 磁盘 存储 数据存储

在 Flink 算子中使用多线程如何保证不丢数据?

本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。

大数据 线程 数据处理 同步 API string exception 多线程 void 流计算 kafka checkpoint flink 算子 并行度

五年双十一:SLS数据管道发展之路

日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。能够服务这个体量和用户规模,对产品的功能、体验、系统的稳定性和可靠性的要求是很高的。

云栖社区 飞天 日志 日志服务 SLS Image cdn Logtail kafka 日志分析 数据管道

实战Hyperledger Fabric 1.4 Kafka排序服务多机集群

Hyperledger Fabric区块链网络搭建已繁琐著称。本教程将介绍如何部署一个分布在4个主机上包含多个排序节点和对等节点的hyperledger fabric区块链集群网络,同时提供源码和配置文件下载。

docker 配置 集群 排序 主机 kafka 部署 fabric hyperledger

Spotify如何使用Cassandra实现个性化推荐

本文翻译自https://labs.spotify.com/2015/01/09/personalization-at-spotify-using-cassandra/在Spotify我们有超过6000万的活跃用户,他们可以访问超过3000万首歌曲的庞大曲库。

互联网产品及应用 大数据 架构 storm 服务器 hdfs 个性化推荐 集群 解决方案 Cassandra 数据中心 存储 kafka 用户画像

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

云栖社区 大数据 服务器 性能 线程 同步 string exception void PUT kafka

Apache Kafka常用命令

1.查看topic详细信息 ./kafka-topics.sh -zookeeper ip:port -describe -topic topicname kafka/bin/kafka-topics.

Json IP Consumer Create zookeeper kafka 命令

Apache Drill 常用Plugins配置

1.kafka { "type":"kafka", "kafkaConsumerProps":{ "bootstrap.servers":"hostname1:9092,hostname2:9092,hostname3:9092", "group.

云栖社区 mysql hbase hdfs Apache 配置 drill JDBC Driver Hive type kafka OpenTSDB kudu

8
GO