朱小厮 + 关注
主要从事消息中间件的相关研发工作,著有《RabbitMQ实战指南》。

Kafka解惑之Old Producer(4)——Case Analysis

发布时间:2018-02-02 12:52:00 浏览:833 评论 :0

上接: 1. Kafka解惑之Old Producer(1)—— Beginning 2. Kafka解惑之Old Producer(2)——Sync Analysis 3. Kafka解惑之Old Producer(3)——Async Analysis 在前面三篇文章中详细了解了Old Producer的内容,本文主要通过一个实际应用案例来加深各位对Old Producer的理解。

scala metadata

Kafka解惑之Old Producer(3)——Async Analysis

发布时间:2018-02-01 16:47:00 浏览:887 评论 :0

上接: 1. Kafka解惑之Old Producer(1)—— Beginning 2. Kafka解惑之Old Producer(2)——Sync Analysis 讲述完了Sync模式下的结构脉络,下面就来聊一聊Async的,Async会将客户端所要发送的消息暂存在LinkedBlockingQueue中,然后通过特制的ProducerSendThread来根据条件发送。

events

Kafka解惑之Old Producer(2)——Sync Analysis

发布时间:2018-01-30 10:19:00 浏览:884 评论 :0

上接Kafka解惑之Old Producer(1)—— Beginning 欢迎支持《RabbitMQ实战指南》以及关注微信公众号:朱小厮的博客。 一下子扩展的有点多,我们还是先回到DefaultEventHandler上来,当调用producer.send方法发送消息的时候,紧接着就是调用DefaultEventHandler的handle方法。

配置 metadata list Socket

Kafka解惑之Old Producer(1)—— Beginning

发布时间:2018-01-29 12:22:00 浏览:804 评论 :0

欢迎支持《RabbitMQ实战指南》以及关注微信公众号:朱小厮的博客。 众所周知,目前Kafka的最新版本已经到达1.0.0,很多公司运行的kafka也大多升级到了0.10.

函数 配置 request 同步 string class

RabbitMQ消息可靠性分析

发布时间:2018-01-24 10:15:00 浏览:1471 评论 :0

欢迎支持笔者新书:《RabbitMQ实战指南》以及关注微信公众号:朱小厮的博客。 Introduction 有很多人问过我这么一类问题:RabbitMQ如何确保消息可靠?很多时候,笔者的回答都是:说来话长的事情何来长话短说。

镜像 exchange 磁盘

Linux IO磁盘篇整理小记

发布时间:2017-12-31 15:26:18 浏览:5156 评论 :0

本篇起源于对Kafka的一个问题排查,大致的原因是达到磁盘性能瓶颈。在追踪问题的时候用到iostat -x这命令,详细示例如下。。。。

linux 算法 Cache 排序 CPU page 磁盘

Kafka解析之失效副本

发布时间:2017-12-20 00:26:27 浏览:1030 评论 :0

Kafka从0.8.x版本开始引入副本机制,这样可以极大的提高集群的可靠性和稳定性。不过这也使得Kafka变得更加复杂起来,失效副本就是所要面临的一个难题。

消息系统 集群 同步 Blog

Kafka监控架构设计

发布时间:2017-12-06 21:08:29 浏览:1913 评论 :0

目前的Kafka监控产品有很多,比如Kafka Manager、 Kafka Monitor、KafkaOffsetMonitor、Kafka Web Console、Burrow等,都有各自的优缺点,就个人而言用的最多的还是Kafka Manager,不过这些并不是十分的完美。

消息系统 架构 监控 模块 集群 消息中间件 数据采集 存储 数据存储

Kafka分区分配计算(分区器Partitions)

发布时间:2017-12-03 19:05:50 浏览:2067 评论 :0

KafkaProducer在调用send方法发送消息至broker的过程中,首先是经过拦截器Inteceptors处理,然后是经过序列化Serializer处理,之后就到了Partitions阶段,即分区分配计算阶段。

消息系统 cluster HASH string class

Kafka消息序列化和反序列化

发布时间:2017-11-28 19:25:52 浏览:1401 评论 :0

Kafka消息序列化和反序列化

消息系统 Apache 配置 string Consumer void PUT utf-8

Kafka消息序列化和反序列化(下)

发布时间:2017-11-28 18:39:00 浏览:513 评论 :0

接上一篇:Kafka消息序列化和反序列化(上)。 有序列化就会有反序列化,反序列化的操作是在Kafka Consumer中完成的,使用起来只需要配置一下key.deserializer和value.deseriaizer。

string exception Consumer void PUT schema utf-8

Kafka消息序列化和反序列化(上)

发布时间:2017-11-28 18:37:00 浏览:616 评论 :0

Kafka Producer在发送消息时必须配置的参数为:bootstrap.servers、key.serializer、value.serializer。序列化操作是在拦截器(Interceptor)执行之后并且在分配分区(partitions)之前执行的。

Apache string class void PUT metadata utf-8

Kafka Producer拦截器

发布时间:2017-11-15 19:40:10 浏览:798 评论 :0

Kafka中的拦截器(Interceptor)是0.10.x.x版本引入的一个功能,一共有两种:Kafka Producer端的拦截器和Kafka Consumer端的拦截器。本篇主要讲述的是Kafka Producer端的拦截器,它主要用来对消息进行拦截或者修改,也可以用于Producer的Callback回调之前进行相应的预处理。

消息系统 Apache string static exception void PUT

Kafka源码环境搭建

发布时间:2017-11-14 18:50:35 浏览:1316 评论 :0

要想更好的学习Kafka,了解其核心原理,阅读源码是必不可少的步骤。本文主要讲述的是如何搭建Kafka的源码环境,主要针对的Windows操作系统下IntelliJ IDEA编译器,其余操作系统或者IDE可以类推。

消息系统 Apache 根目录 http 源码 gradle 配置 scala Server zookeeper

RabbitMQ管理(5)——集群管理

发布时间:2017-10-26 08:22:00 浏览:602 评论 :0

rabbitmqctl join_cluster {cluster_node} [–ram] 将节点加入指定集群中。在这个命令执行前需要停止RabbitMQ应用并重置节点。更多详细内容请参考RabbitMQ安装。

镜像 cluster 集群 node 同步 cluster_name

RabbitMQ管理(4)——应用管理

发布时间:2017-10-13 01:57:00 浏览:773 评论 :0

本文主要阐述应用与集群相关的一些操作管理命令,包括关闭、重置、开启服务,还有建立集群的一些信息。有关集群搭建更多的信息可以参考RabbitMQ的安装及集群搭建方法。 rabbitmqctl stop [pid_file] 用于停止运行RabbitMQ的Erlang虚拟机和RabbitMQ服务应用。

日志 LOG 数据库 erlang 配置 集群 node 应用管理

RabbitMQ管理(3)——Web端管理

发布时间:2017-10-11 00:03:00 浏览:863 评论 :0

前面讲述的都是使用rabbitmqctl工具来管理RabbitMQ,有些时候你是否会觉得这种方式是不是不太友好?而且为能够运行rabbitmqctl工具,当前的用户需要拥有访问Erlang cookie的权限,由于服务器可能是以guest或者rabbit用户身份来运行的,因此你需要获得这些文件的访问权限,这样就引申出来一些权限管理的问题。

web 虚拟主机 node 插件

RabbitMQ管理(2)——用户管理

发布时间:2017-10-09 12:23:00 浏览:614 评论 :0

在RabbitMQ中,用户是访问控制(Access Control)的基本单元,且单个用户可以跨越多个vhost进行授权。针对一至多个vhost,用户可以被赋予不同级别的访问权限,并使用标准的用户名和密码来认证用户。

node

RabbitMQ管理(1)——多租户与权限

发布时间:2017-09-26 23:42:00 浏览:678 评论 :0

每一个RabbitMQ服务器都能创建虚拟的消息服务器,我们称之为虚拟主机(virtual host),简称为vhost。每一个vhost本质上是一个独立的小型RabbitMQ服务器,拥有自己独立的队列、交换器以及绑定关系等待,并且它拥有自己独立的权限。

服务器 erlang 配置 虚拟主机 node 正则表达式

RabbitMQ之惰性队列(Lazy Queue)

发布时间:2017-09-15 01:50:00 浏览:872 评论 :0

RabbitMQ从3.6.0版本开始引入了惰性队列(Lazy Queue)的概念。惰性队列会尽可能的将消息存入磁盘中,而在消费者消费到相应的消息时才会被加载到内存中,它的一个重要的设计目标是能够支持更长的队列,即支持更多的消息存储。

性能 磁盘 存储

12