1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka消费

当前主题:kafka消费

在家办公这些天整理的Kafka知识点大全

云栖号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! ![image](https://yqfile.alicdn.com/8491a107b063e40d

阅读全文

每年 150 亿美元花哪了?Netflix 的大规模 Kafka 实践

编译:王强 本文转载自公众号: InfoQ Netflix 在 2019 年花费了大约 150 亿美元来制作世界一流的原创内容。在如此高的投入之下,我们必须获得许多关键的业务见解,从而为所有 Netflix 内容的策划、预算和效益分析工作提供帮助。这些见解可

阅读全文

DataLakeAnalysis: 使用DataX同步Kafka数据到OSS进行分析

平常业务开发中我们经常有流式数据保存在Kafka里面,这部分数据很多场景也是需要分析的,今天给大家介绍下如果使用DataX把数据从Kafka同步到OSS,保存成对分析友好的Parquet格式,然后利用DLA进行分析的全流程。 为了后续叙述的方便,我们假设Ka

阅读全文

Kafka 的生产者优秀架构设计

云栖号:https://yqh.aliyun.com 第一手的上云资讯,不同行业精选的上云企业案例库,基于众多成功案例萃取而成的最佳实践,助力您上云决策! Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。

阅读全文

从开发到生产上线,如何确定集群规划大小?

翻译|毛家琦校对|秦江杰 在 Flink 社区中,最常被问到的问题之一是:在从开发到生产上线的过程中如何确定集群的大小。这个问题的标准答案显然是“视情况而定”,但这并非一个有用的答案。本文概述了一系列的相关问题,通过回答这些问题,或许你能得出一些数字作为指导

阅读全文

案例详解|大数据上云助力新零售企业数智化转型,挖掘数据的价值

传统大卖场营收持续下滑,必须通过业务创新走出困境   曾经风光无限的零售大型超市业态--大卖场,当初代表先进零售模式进入中国市场,激起零售行业蓬勃发展的大浪潮,但是近年来,随着人们消费方式的巨大转变以及来自电子商务的冲击,传统大卖场的发展发生逆转。传统的零售

阅读全文

最全的微服务知识科普

作者 | 董鹏  阿里巴巴技术专家 微服务 好处:实现跨团队的解耦,实现更高的并发(目前单机只能实现 c10k)不用再拷贝代码,基础服务可以公用,更好的支持服务治理,能够更好的兼容云计算平台。 RPC rpc:像调用本地方法一样调用远程函数; 客户端:一般利

阅读全文

官方文档中文版!Spring Cloud Stream 快速入门

本文内容翻译自官方文档,spring-cloud-stream docs,对 Spring Cloud Stream的应用入门介绍。 一、Spring Cloud Stream 简介 官方定义 Spring Cloud Stream 是一个构建消息驱动微服务

阅读全文

kafka消费相关问答

查看更多 提问题

flume1.8整合 kafka2.10时,kafka消费者不能实时的接受flume发过来的数据?

![123](https://yqfile.alicdn.com/31133a388c45d1f37dbd30bac254cb2adfca8da1.png) 以上是flume的配置文件 我执行了以下操作: 1. flume提交命令: flume-

阅读全文

flink 从kafka消费,savepoint后,重启拓扑,kafka topic对应的offset值不是存到zookeeper了?

flink 从kafka消费,savepoint后,重启拓扑,kafka topic对应的offset值不是存到zookeeper了?

阅读全文

spark消费kafka 从kafka拉取数据部分Task特变慢

项目中使用了sparkStreaming去消费kafka中的数据。 发现了个问题,kafka一共30个分区,会起30个Task去拉取数据。在某些消费批次中会有个别Task从Kafka分区中拉取数据特别慢比别的Task慢了近10倍。直接拖慢了整个处理时

阅读全文

EMR可以直接消费ECS上的kafka消息嘛

如题,EMR可以消费ECS上的kafka消费,或者说kafka可以直接sink消息到EMR嘛

阅读全文

kafka指定消费,查不出数据

```java Properties props = new Properties(); props.put("bootstrap.servers", bootstrapServers); props.put("group

阅读全文

flink消费kafka报错 Couldn't retrieve the JobExecutionResult from the JobManager

Starting execution of program Submitting job with JobID: aca099531abda417700799ace53e0fbd. Waiting for job completion. -------

阅读全文

请问大家我想用flink消费卡夫卡数据,可是kafka怎么创建消费组呢?

转自钉钉群21789141:请问大家我想用flink消费卡夫卡数据,可是kafka怎么创建消费组呢?

阅读全文

[@小川游鱼][¥20]kafka的消费者stream iterator block,读不出消息?

rt,能够向kafka produce数据,kafka里也看得到,但是consumer却读不出数据,offset是0,程序在stream的iterator被阻塞了。demo代码如下: import java.util.HashMap; import j

阅读全文