一.集群配置
二.角色分布
三.集群版本
四.性能测试
Ⅰ).数据时效性测试
a).测试案例
模拟生产由5000个agent、5000个URL和2类请求方式做为聚合字段的1亿条明细数据，来测试Druid集群在配置不同TaksCount数时，Druid聚合任务的执行时长
- 明细数据：1亿条
- 聚合组合：5000个agent 5000个URL 2类Method Type = 5千万
- 创建Topic的partition等于配置TaksCount的个数
- 执行任务，统计kafka磁盘占用和druid任务执行时长
b).测试数据
c).测试结果
- 在相同数据量的情况下，增加TaksCount可以提高druid聚合任务的处理速度
- 同时增加TaksCount会带来系统内存的线性增加
Ⅱ).Druid生成segment合理性测试
a).测试案例
模拟生产由5000个agent、5000个URL和2类请求方式做为聚合字段的1亿条明细数据，来测试Druid集群在配置不同TaksCount数和不同MaxRowsPerSegment时，Druid聚合任务生成segment大小的合理配置
- 明细数据：1亿条
- 聚合组合：5000个agent 5000个URL 2类Method Type = 5千万
- 创建Topic的partition等于配置TaksCount的个数
- 配置不同TaksCount数和不同MaxRowsPerSegment组合
b).测试数据
c).性能数据
System Summary
Memory
Network I/O
Disk Read
Disk Write
d).测试结果
- 为提高查询响应，建议segment在300M~700M之间
- 在源数据基础上需统计的dimensions字段一定的情况下，segment大小受MaxRowsPerSegment和TaksCount的共同影响
- 可根据实际测试数据的信息量来选择合理的MaxRowsPerSegment和TaksCount配置
Ⅲ).冷热数据隔离测试
a).测试案例
模拟生产由5000个agent、5000个URL和2类请求方式做为聚合字段的1亿条明细数据，来测试Druid集群在配置不同TaksCount数和不同MaxRowsPerSegment时，Druid聚合任务生成segment的冷热数据隔离测试
- 明细数据：1亿条
- 聚合组合：5000个agent 5000个URL 2类Method Type = 5千万
- 创建Topic的partition等于配置TaksCount的个数
- 根据配置将数据存储分为冷热数据集群，然后依据数据查询场景，将数据加载至对应集群
b).测试数据
集群配置规则
数据加载规则
d).测试结果
- 集群规模大于7个节点，使用冷热数据隔离可提高查询效率
- druid.server.priority=100d的节点，查询热数据时，查询不会路由至冷数据节点
e).备注热数据节点配置
druid.server.tier=hot
druid.server.priority=100
