1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. K>
  5. Kafka使用场景

当前主题:Kafka使用场景

Kafka使用场景相关的博客

查看更多 写博客

Spring Cloud Alibaba 从孵化到 "挂牌" 之旅

背景 2014 年,Spring Boot 1.0 发布。Spring Boot 的发布绝对是 Pivotal 历史上具有里程碑意义的事件,它让我们能够非常简便地开发 Spring 应用,屏蔽了各种配置文件和底层实现,提供 AutoConfiguration

阅读全文

从 Storm 到 Flink,汽车之家基于 Flink 的实时 SQL 平台设计思路与实践

作者:王刚、刘首维 在 2019 年之前,之家的大部分实时业务都是运行在 Storm 之上的。Storm 作为早期主流的实时计算引擎,凭借简单的 Spout 和 Bolt 编程模型以及集群本身的稳定性,俘获了大批用户。下图是实时计算团队 Storm 平台页面

阅读全文

Java工程师学习指南(完结篇)

Java工程师学习指南 完结篇 先声明一点,文章里面不会详细到每一步怎么操作,只会提供大致的思路和方向,给大家以启发,如果真的要一步一步指导操作的话,那至少需要一本书的厚度啦。 因为笔者还只是一名在校生,所以写的内容主要还是针对Java初学者或者接触Java

阅读全文

云数据仓库MaxCompute最佳实践之数据上云 | 2019大数据技术公开课第五季

2019年9月17日,TPC官宣Alibaba Cloud MaxCompute 认证结果。同月26日,杭州云栖大会阿里巴巴宣布了这一成绩,飞天大数据平台计算引擎MaxCompute成全球首个TPCx-BB认证的公共云产品,是除Hive、Spark,TPCx

阅读全文

基于commons-pool2实现KafkaProducer池来提升kafka发送消息性能

业务场景 Spark用fileStream实时从NFS获取一批文件,将文件中JSON结构里面的大小图二进制数据上传云存储获取url然后再将url以string回写到json中发送kafka,最早使用多线程并行发送内个线程创建一个KafkaProducer速度

阅读全文

Flink 实时写入数据到 ElasticSearch 性能调优

作者:张刘毅 背景说明 线上业务反应使用 Flink 消费上游 kafka topic 里的轨迹数据出现 backpressure,数据积压严重。单次 bulk 的写入量为:3000/50mb/30s,并行度为 48。针对该问题,为了避免影响线上业务申请了一

阅读全文

云栖干货回顾 | 行业顶级NoSQL成员坐阵,NoSQL数据库专场重点解析!

NoSQL数据库作为数据库市场最重要的组成之一,它的一举一动都影响着成千上万的企业。本专场邀请了行业顶级的NoSQL核心成员与大家共同展望NoSQL数据库的未来,**阿里巴巴、MongoDB、Redisson、斗鱼等**公司的技术大咖与大家共同分享了阿里云N

阅读全文

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

Kafka使用场景相关问答

查看更多 提问题

使用原生kafka+sparkstreaming生产的数据如何实现每六秒写入到maxcompute当中

业务场景:使用kafka+sparkstreaming接入数据并处理数据,处理好的数据如何实现每六秒写入多条数据到maxcompute当中

阅读全文

Flink kafka - Flink作业不向不同分区发送消息

我有以下配置: 一个带有2个分区的kafka主题 一个zookeeper实例 一个kafka实例 两个具有相同组ID的消费者 Flink工作片段: speStream.addSink(new FlinkKafkaProducer011(ka

阅读全文

[@项籍][¥20]kafka 和rabbitmq 在大中型企业应用各自的优缺点,各自擅长的使用场景

kafka 和rabbitmq 在大中型企业应用各自的优缺点,各自擅长的使用场景

阅读全文

如何区分消息队列kafka和消息队列MQ的使用场景

什么样的场景更适合消息队列MQ,什么场景更适合消息队列kafka

阅读全文

flink如何计算设备离网

场景描述 设备工作期间每隔固定周期(比如30s)就往kafka发送采集到的数据,当设备超过15分钟没有上报数据,则认为设备离网了。如何每隔10分钟计算出设备在该10分钟时间段内的离网时长? 按我的理解(可能有错,请多指正),stream不设置windo

阅读全文

写hbase 接口的时候是否需要单例模式,hbase 连接是否需要关闭?【应用场景:sparkstreaming 从kafka 拿数据存入hbase】

1、使用单例的时候,程序里边始终只有一个connection实例,但是,我spark程序本身就是一个多线程,一个线程在使用连接的时候其 他的线程是不是在等待? 2、spark程序处理的时候 假设我有是个计算节点,如果每个节点使用一个连接,或者每个

阅读全文

大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每个新到的文件就新new一个BucketingSink,

转自钉钉群21789141:大家好,业务场景是这样的,从kafka拉来的数据需要对原始日志进行备份,使用 BucketingSink bk=new BucketingSink("hdfs-path");写入HDFS,不同的文件写入不同的目录,有性能问题吗,每

阅读全文