1. 云栖社区>
  2. 全部标签>
  3. #kafka#
kafka

#kafka#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

4天如何完爆Kafka源码核心流程!

Kafka 至今仍是当今大数据技术中当之无愧的王者,由于高吞吐量、可持久化、分布式、支持流数据处理等特性而被广泛应用。 这几年,大数据技术发展迅猛,其中 Kakfa 凭借高可靠、高吞吐、高可用、可伸缩几大特性,成为数据管道技术的首选。

分布式 大数据 架构 高可用 源码 面试题 高性能 kafka 流数据

大数据中台之Kafka,到底好在哪里?

今天给大家分享一个大数据里面很火的技术——Kafka,Kafka 是一个分布式的消息系统,其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码,个人感觉 Kafka 的源码质量是比较高的一个,如果有同学感兴趣的话,可以拿来阅读一下。

大数据 架构 性能 线程 索引 index 磁盘 Socket 存储 kafka 大数据中台

Kafka的生产者优秀架构设计

Kafka 是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉 Kafka 的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。

消息系统 大数据 安全 架构 性能 线程 源码 数据结构 存储 kafka

Apache RocketMQ 的 Service Mesh 开源之旅

自 19 年底开始,支持 Apache RocketMQ 的 Network Filter 历时 4 个月的 Code Review([Pull Request](https://github.com/envoyproxy/envoy/pull/9503)),于本月正式合入 CNCF Envoy 官方社区([RocketMQ Proxy Filter 官方文档](https://www.

消息系统 Apache sdk code 微服务 request 负载均衡 Consumer service kafka RocketMQ 云原生 servicemesh

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享

一款消息队列的客户端框架——启明信息车联网MQ演进实践分享 分享人:阿里云MVP曾宪宇,2014开始 就职于启明信息,负责车联网平台的架构和建设,坐标吉林长春。 分享内容:结合主流MQ,介绍一款基于Java的开源消息队列客户端框架。

分布式 消息系统 大数据 开发框架与中间件 java 消息队列 Cloud 性能 线程 spring 微服务 ActiveMQ kafka RocketMQ

使用Kafka Connect 同步Kafka数据到日志服务

使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。

大数据 日志 日志服务 Apache 配置 测试 同步 控制台 aliyun string PUT 插件 kafka 日志分析 Kafkaconnect

消息系统端到端Exactly-Once支持

消息系统对于消息的写入和消费提供多种模式,如 at-most-once,at-least-once 和 exactly-once,本文探讨如何在一个消息提供中高效支持exactly-once的写入和消费

消息系统 日志服务 SLS Consumer kafka plusar

Kafka最佳实践

前言 Kafka 是一种分布式的,基于发布/订阅体系的消息队列系统。 能够以 时间复杂度为 O(1) 的方式提供消息持久化能力,即使对 TB 级以上数据也能保证 常数时间复杂度 的访问性能。 即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。

分布式系统与计算 消息队列 性能 线程 配置 集群 同步 磁盘 存储 数据存储

在 Flink 算子中使用多线程如何保证不丢数据?

本人通过分析痛点、同步批量请求优化为异步请求、多线程 Client 模式、Flink 算子内多线程实现以及总结四部分帮助大家理解 Flink 中使用多线程的优化及在 Flink 算子中使用多线程如何保证不丢数据。

大数据 线程 数据处理 同步 API string exception 多线程 void 流计算 kafka checkpoint flink 算子 并行度

五年双十一:SLS数据管道发展之路

日志服务SLS是一款飞天团队自研产品,服务云上云下3W+客户,并在阿里经济体中作为日志数据的基础设施,在过去几年中经历多次双十一、双十二、新春红包锤炼。能够服务这个体量和用户规模,对产品的功能、体验、系统的稳定性和可靠性的要求是很高的。

云栖社区 飞天 日志 日志服务 SLS Image cdn Logtail kafka 日志分析 数据管道

实战Hyperledger Fabric 1.4 Kafka排序服务多机集群

Hyperledger Fabric区块链网络搭建已繁琐著称。本教程将介绍如何部署一个分布在4个主机上包含多个排序节点和对等节点的hyperledger fabric区块链集群网络,同时提供源码和配置文件下载。

docker 配置 集群 排序 主机 kafka 部署 fabric hyperledger

Spotify如何使用Cassandra实现个性化推荐

本文翻译自https://labs.spotify.com/2015/01/09/personalization-at-spotify-using-cassandra/在Spotify我们有超过6000万的活跃用户,他们可以访问超过3000万首歌曲的庞大曲库。

互联网产品及应用 大数据 架构 storm 服务器 hdfs 个性化推荐 集群 解决方案 Cassandra 数据中心 存储 kafka 用户画像

9
GO