Redis 多机房百万并发使用与经验

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: Codis-Plus 是一个分布式 Redis 解决方案, Codis-Plus是基于Codis 2.x 分支进行修改的.Codis-Plus (后面直接称为Codis) 本身无单点. 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

本篇的Codis 经过修改先定名为:Codis-Plus

Codis-Plus
简介:
        Codis-Plus 是一个分布式 Redis 解决方案, Codis-Plus是基于Codis 2.x 分支进行修改的.Codis-Plus (后面直接称为Codis) 本身无单点. 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

Codis 由4部分组成:

1. Codis Proxy (codis-proxy) 
2. Codis Dashboard (codis-config) 
3. Codis Redis (codis-server, 基于redis-2.8.21修改, 增加一些命令) 
4.ZooKeeper

注:官方的Codis 还有HA,在我们的版本中将HA合并到Dashboard 里了。

功能概述:

1. codis-proxy 是客户端连接的 Redis 代理服务, codis-proxy 本身实现了 Redis 协议, 表现得和一个原生的 Redis 没什么区别 (就像 Twemproxy), 对于一个业务来说, 可以部署多个 codis-proxy, codis-proxy 本身是无状态的. 
2. codis-config 是 Codis 的管理工具, 支持包括, 添加/删除 Redis 节点, 添加/删除 Proxy 节点, 发起数据迁移等操作. codis-config 本身还自带了一个 http server, 会启动一个 dashboard, 用户可以直接在浏览器上观察 Codis 集群的运行状态. dashboard 可以同时开启多个.  dashboard具有ha的功能, 如果开启ha, 则自动做主从切换.
3. codis-server 是 Codis 项目维护的一个 Redis 分支, 基于 2.8.21 开发, 加入了 slot 的支持和原子的数据迁移指令. Codis 上层的 codis-proxy 和 codis-config 只能和这个版本的 Redis 交互才能正常运行. 
4. Codis 依赖 ZooKeeper 来存放数据路由表和 codis-proxy 节点的元信息, codis-config 发起的命令都会通过 ZooKeeper 同步到各个存活的 codis-proxy. 
5. Codis 支持按照 Namespace 区分不同的产品, 拥有不同的 product name 的产品, 各项配置都不会冲突. 
6. Zookeeper Codis将集群信息和状态保存到Zookeeper. codis-config和codis-ha都基于zookeeper实现 主从选举, 以实现无单点, 高可用!

原因Codis架构图:
image

经我们更改后的Codis架构图:
image

未完待续,整理一下思路,把曾经做过的Redis多机房方案写出来!

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
2月前
|
缓存 NoSQL Java
Java项目:支持并发的秒杀项目(基于Redis)
Java项目:支持并发的秒杀项目(基于Redis)
31 0
|
4月前
|
存储 缓存 NoSQL
《吊打面试官》系列-Redis双写一致性、并发竞争、线程模型
《吊打面试官》系列-Redis双写一致性、并发竞争、线程模型
41 0
|
4月前
|
存储 NoSQL 关系型数据库
redis与mysql的数据一致性问题(并发更新)
redis与mysql的数据一致性问题(并发更新)
29 0
|
4月前
|
NoSQL Java Redis
Redis如何处理并发访问和竞态条件?
Redis如何处理并发访问和竞态条件?
33 0
|
5月前
|
消息中间件 算法 NoSQL
45k以上突击面试必备,redis+mysql+并发+spring+算法+导图等
今天小编给大家带来的一篇关于Java面试相关的电子文档资源,介绍了关于Java、面试题方面的内容,本书是由Java官网出版,格式为DOC,资源大小62.5 MB,目前豆瓣、亚马逊、当当、京东等电子书综合评分为:8.7。
|
6月前
|
存储 NoSQL 中间件
GitHub数据库榜单第一:Redis核心原理实践PDF,点赞已过百万+
Redis是互联网技术领域使用最为广泛的存储中间件,它是「Remote DictionaryService」的首字母缩写,也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用Redis, 比如Twitter、YouPom、暴雪娱乐、Github、StackOverflow、 腾讯、阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。也可以说,对Redis的了解和应用实践已成为当下中高级后端开发者绕不开的必备技能。
|
12月前
|
缓存 NoSQL 关系型数据库
【JavaP6大纲】Redis篇:Redis 的并发竞争问题是什么?如何解决这个问题?
【JavaP6大纲】Redis篇:Redis 的并发竞争问题是什么?如何解决这个问题?
|
缓存 NoSQL 数据库
缓存—Redis穿透、并发、雪崩
系统收到用户频繁查询请求时,先从缓存中查找数据,如果缓存中有数据,直接从缓存中读取数据,返回给请求方;如果缓存中没有数据,则从数据库中读取数据,然后再更新到缓存中,这样下次再次获取时从缓存中获取。
84 0
|
缓存 NoSQL 关系型数据库
Redis 单线程 为何却需要事务处理并发问题
Redis 单线程 为何却需要事务处理并发问题
426 0
|
SQL 监控 NoSQL
Redis 的并发竞争问题
Redis 的并发竞争问题
149 0