1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. kafka集群

当前主题:kafka集群

Docker如何搭建Zookeeper、Kafka集群?

环境准备 一台服务器、预装CentOS7系统 国内最大的云服务器就是阿里云,所以推荐使用阿里云的服务器。**阿里云有个最新活动专题页:https://www.aliyun.com/activity**,里面有阿里云服务器的最新活动,都是一些活动服务器,可以关

阅读全文

Java工程师学习指南(完结篇)

Java工程师学习指南 完结篇 先声明一点,文章里面不会详细到每一步怎么操作,只会提供大致的思路和方向,给大家以启发,如果真的要一步一步指导操作的话,那至少需要一本书的厚度啦。 因为笔者还只是一名在校生,所以写的内容主要还是针对Java初学者或者接触Java

阅读全文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者:王刚、刘首维 在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面

阅读全文

Flink 实时写入数据到 ElasticSearch 性能调优

作者:张刘毅 背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一

阅读全文

云栖干货回顾 | 行业顶级NoSQL成员坐阵,NoSQL数据库专场重点解析!

NoSQL数据库作为数据库市场最重要的组成之一,它的一举一动都影响着成千上万的企业。本专场邀请了行业顶级的NoSQL核心成员与大家共同展望NoSQL数据库的未来,**阿里巴巴、MongoDB、Redisson、斗鱼等**公司的技术大咖与大家共同分享了阿里云N

阅读全文

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

从零开始入门 K8s | 可观测性:监控与日志

作者 | 莫源  阿里巴巴技术专家 一、背景 监控和日志是大型分布式系统的重要**基础设施**,监控可以帮助开发者查看系统的运行状态,而日志可以协助问题的排查和诊断。 在 Kubernetes 中,监控和日志属于生态的一部分,它并不是核心组件,因此大部分的能

阅读全文

那些年,我们见过的 Java 服务端“问题”

导读 明代著名的心学集大成者王阳明先生在《传习录》中有云: 道无精粗,人之所见有精粗。如这一间房,人初进来,只见一个大规模如此。处久,便柱壁之类,一一看得明白。再久,如柱上有些文藻,细细都看出来。然只是一间房。 是的,知识理论哪有什么精粗之分,只是人的认识程

阅读全文

kafka集群 相关问答

查看更多 提问题

zookeeper+hdoop+hbase+storm+kafka集群所需要的服务器性价比最高的配置,求推荐

目前需要申请阿里云服务器,搭建zookeeper+hdoop+hbase+storm+kafka集群,租用一下短期服务器测试性能,求推荐的服务器最佳配置策略

阅读全文

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs? https://yq.aliyun.com/ask/493211 当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么? https://yq.aliyun.co

阅读全文

Flink 自定义聚合函数 AggregateFunction 不触发

本地sock测试AggregateFunction 生效 但是上了flink集群后(连接的kafka源 ,数据能正常收到) 发现AggregateFunction 的getresult方法不触发,而createAccumulator和add均能触发,

阅读全文

监控持久性卷的性能

我在Kubernetes中运行kafka集群,这严重依赖于正确的磁盘性能(IOPS,吞吐量等)。我正在使用Google的计算引擎磁盘+ Google kubernetes引擎。因此我知道我创建的磁盘具有以下约束限制: IOPS(读/写):375/750吞

阅读全文

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行后不是TopicMetadataRequest类找不到就是StringDecoder找不到,kafka是0.8.2.1,spark'是1.6.0-cdh5.8.0的,大家遇到过这种问题吗

spark streaming 和 kafka ,打成jar包后((相关第三方依赖也在里面)),放到集群上总是报StringDecoder 找不到class,但我确定是存在的,就算换成另一种--jars提交了相关kafka的依赖包,spark-submit执行

阅读全文

Kafka jaas在Flink集群上验证失败

"我遇到了一个非常奇怪的问题 Could not find a ""KafkaClient"" entry in the JAAS configuration. System property ""java.security.auth.login.con

阅读全文

如何激活和配置ElasticSearch Kafka Connect接收器?

我正在尝试使用helm在Kubernetes集群中设置Kafka。 我已经使用Confluent头盔图来完成安装Kafka。 然后我试着看看如何配置弹性Kafka连接接收器。有一点特别让我感到震惊:confluent load elasticsea

阅读全文

2018spark技术问答集锦,希望能给喜欢spark的同学一些帮助

小编发现问答专区中有很多人在问关于spark的问题,小编把这些问题汇总一下,希望能给喜欢spark的大家一些启示和帮助 本帖不定期更新,喜欢的可以收藏哦 **如何在Apache Beam中实现类似Spark的zipWithIndex?** htt

阅读全文