搭建和测试 Redis 主备和集群

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

本文章只是自我学习用,不适宜转载。

 

1. Redis主备集群

1.1 搭建步骤

机器:海航云虚机(2核4GB内存),使用 Centos 7.2 64bit 操作系统,IP 分别是 192.168.100.5(主) 和 192.168.100.6(备)。

Redis 版本:3.2.3

1.1.1 在主备节点上,做如下安装

复制代码
sudo yum update
sudo yum install epel-release
sudo yum update
sudo yum install redis
sudo systemctl start redis
sudo systemctl enable redis #配置redis在启动机器时自动启动
复制代码

验证是否安装正确:

1.1.2 配置主备节点

主节点上,修改 /etc/redis.conf,设置 bind 127.0.0.1 192.168.100.5,然后运行 sudo systemctl restart redis 来重启redis。

主节点上,修改 /etc/redis.conf,设置 slaveof 192.168.100.5 6379,然后运行 sudo systemctl restart redis 来重启redis。

确认是否设置成功:

  • 在 master 上设置一个key/value:

  • 在 salve 上试着查看:

  • 不成功。检查 slave 上的 master 日志:

  • 检查网络连接,都没有问题。检查 master 节点,看看 redis 是否在网卡 192.168.100.5 的 6379 上监听,发现没有。再检查 redis.conf,发现有两行 bind,好吧。修改后,在 slave 上能取到 'a' 的value。
  • 查看两者之间的复制状态。在 master 上:

  • 在 slave 上,能看到自身的 role 和 master 的信息,以及 replication 的信息等

1.1.3 测试benchmark

在 master 上,运行:

不清楚这些绝对值意味着什么,但是和 https://redis.io/topics/benchmarks 上的下面结果差不多:

1.1.4 将备升主

在备升主之前,在备上无法写:

将备升主:

此时它就可写了:

1.1.5 设置过期时间

https://redis.io/commands/expire

1.1.6 持久化

https://redis.io/topics/persistence

(1)关于持久化的几个问题:

  • RDB 模式:Redis 在指定的时间间隔上对数据集做快照。RDB 对日常备份和灾备都非常方便,而且对性能没有太大的影响。通常定时,比如每5分钟来做快照,但是使用它还是会丢数据。
  • AOF:Redis 服务器端将它收到的所有写操作以追加写方式写入到日志文件中,以便在服务器重启时重新执行。AOF有较强的灵活性,比如每秒刷新,每次写就刷新等;但是,AOF 文件通常比 RDB 文件大。根据不同的写入模式,AOF 通常会比 RDB 慢。
  • 默认开启 RDB,关闭 AOF。用户可以将两者都关闭,或者将两者都开启。官方不建议单独使用 AOF。如果对数据丢失有一定的容忍度,比如五分钟,则可以使用 RDB;否则,建议两者同时使用。

(2)测试 RDB:

文件的默认路径是 /var/lib/redis/dump.rbd.

默认配置:

save 900 1 #15分钟内如有一个1个key变化
save 300 10 #5分钟内,如果有10个key变化
save 60 10000 #1分钟内如果有10000个key变化

写入10个key后,备份写入:

在日志中能看到完整检测和写入过程:

 

(3)测试 AOF

AOF 默认被关闭,通过修改配置文件中的 appendonly yes 来将其打开。相关配置包括:

  • appendfsync everysec  #每隔一秒sync
  • appendfilename "appendonly.aof"  #AOF文件名

写入两个key/value,然后看到 aof 文件被修改了,其内容是文本格式:

2. Redis Cluster 

Redis 从 3.0.5 版本开始推出了 Redis cluster 版本。

2.1 安装

主要参考文档:https://redis.io/topics/cluster-tutorial

(1)创建配置文件 redis.conf

port 7000
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000
appendonly yes

(2)创建留个目录,每个目录运行一个 redis 进程,代表一个 redis 节点。共6个节点,3主3备。

mkdir cluster-test
cd cluster-test
mkdir 7000 7001 7002 7003 7004 7005

(3)将 redis.conf 拷贝到 7000 ~ 7005 目录中,修改其中的 port 值为各目录name,并且将 redis-server 文件拷贝到每个目录中。

(4)进入每个目录,启动进程

../redis-server ./redis.conf &

结果如下:

复制代码
[cloud-user@redis-slave ~]$ ps -ef | grep redis
cloud-u+ 23828     1  0 17:05 ?        00:00:04 ./redis-server *:7000 [cluster]
cloud-u+ 23831     1  0 17:05 ?        00:00:04 ./redis-server *:7001 [cluster]
cloud-u+ 23834     1  0 17:05 ?        00:00:04 ./redis-server *:7002 [cluster]
cloud-u+ 23837     1  0 17:06 ?        00:00:04 ./redis-server *:7003 [cluster]
cloud-u+ 23840     1  0 17:06 ?        00:00:04 ./redis-server *:7004 [cluster]
cloud-u+ 23843     1  0 17:06 ?        00:00:05 ./redis-server *:7005 [cluster]
复制代码

(5)下载 redis 源码,比如 http://download.redis.io/releases/redis-3.2.3.tar.gz,解压,从 src 目录找到 redis-trib.rb 文件,拷贝到工作目录。注意redis-trib.rb版本必须和你使用的redis的版本相同,否则会出现兼容性问题。其github 源代码 在这里

(6)安装 ruby 和 rubygems

sudo yum install ruby
sudo yum install rubygems
sudo gem install redi

(7)运行下面的命令,创建 cluster:

sudo ruby redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005

(8)检查cluster 状态,OK

可以看到,6个节点,分为3个master,3个slave。每个master分了5461个slots,共计 16384 slots。

(9)基本操作

2.2 集群操作

2.2.1 将 7000 (master) 杀掉

此时,7003 由 slave 变为 master,它没有 slave。原来在 7000 上的数据改到了 7003 上:

启动 7000,它变为了 7003 的 slave:

2.2.2 增加主节点

(1)按照同样方法,启动 7006 redis 进程

(2)运行 sudo ruby redis-trib.rb add-node 127.0.0.1:7006 127.0.0.1:7000 命令,将它加入集群

(3)此时,它作为孤立的 master node,上面却没有分配 slots

(4)执行 reshard 操作

sudo ruby redis-trib-3.2.3.rb reshard 127.0.0.1:7000

结果:

会看到从其他的 master 上有移动一些 slots 到 7006 上。

2.2.3 增加从节点

(1)增加 7007

(2)运行 

sudo ruby redis-trib.rb add-node --slave --master-id 98c93f338eaada7ced83e0e02360721c6f2187e2 127.0.0.1:7007 127.0.0.1:7000

结果:

能看到 7006 和 7007 之间的主备关系:

 

2.2.4 移除主节点

运行:

udo ruby redis-trib.rb del-node 127.0.0.1:7000 98c93f338eaada7ced83e0e02360721c6f2187e2

结果:

看来要先做resharding:

结果:

  • 7007 成了 7001 的 slave
  • 7006 被直接删除了

2.2.5 移除从节点

直接删除,不需要提前做 resharding:

 

    本文转自SammyLiu博客园博客,原文链接:http://www.cnblogs.com/sammyliu/p/6929066.html,如需转载请自行联系原作者

相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
26天前
|
存储 NoSQL 算法
09- Redis分片集群中数据是怎么存储和读取的 ?
Redis分片集群使用哈希槽分区算法,包含16384个槽(0-16383)。数据存储时,通过CRC16算法对key计算并模16383,确定槽位,进而分配至对应节点。读取时,根据槽位找到相应节点直接操作。
59 12
|
26天前
|
NoSQL Linux Redis
06- 你们使用Redis是单点还是集群 ? 哪种集群 ?
**Redis配置:** 使用哨兵集群,结构为1主2从,加上3个哨兵节点,总计分布在3台Linux服务器上,提供高可用性。
347 0
|
1月前
|
负载均衡 监控 NoSQL
Redis的集群方案有哪些?
Redis集群包括主从复制(基础,手动故障恢复)、哨兵模式(自动高可用)和Redis Cluster(官方分布式解决方案,自动分片和容错)。此外,还有如Codis、Redisson和Twemproxy等第三方工具用于代理和负载均衡。选择方案需考虑应用场景、数据规模和并发需求。
283 2
|
3天前
|
NoSQL Redis
透视Redis集群:心跳检测如何维护高可用性
Redis心跳检测保障集群可靠性,通过PING命令检测主从连接状态,预防数据丢失。当连接异常时,自动触发主从切换。此外,心跳检测辅助实现`min-slaves-to-write`和`min-slaves-max-lag`策略,避免不安全写操作。还有重传机制,确保命令无丢失,维持数据一致性。合理配置心跳检测,能有效防止数据问题,提升Redis集群的高可用性。关注“软件求生”获取更多Redis知识!
37 10
透视Redis集群:心跳检测如何维护高可用性
|
5天前
|
监控 NoSQL 算法
Redis集群模式:高可用性与性能的完美结合!
小米探讨Redis集群模式,通过一致性哈希分散负载,主从节点确保高可用性。节点间健康检测、主备切换、数据复制与同步、分区策略和Majority选举机制保证服务可靠性。适合高可用性及性能需求场景,哨兵模式则适用于简单需求。一起学习技术的乐趣!关注小米微信公众号“软件求生”获取更多内容。
34 11
Redis集群模式:高可用性与性能的完美结合!
|
6天前
|
监控 NoSQL Redis
|
10天前
|
缓存 监控 NoSQL
关于Redis集群一些总结
关于Redis集群一些总结
24 0
|
11天前
|
NoSQL Redis Docker
使用Docker搭建Redis主从集群
使用Docker搭建Redis主从集群
27 1
|
11天前
|
存储 NoSQL 算法
Redis 搭建分片集群
Redis 搭建分片集群
24 2
|
11天前
|
监控 NoSQL 算法
Redis 搭建哨兵集群
Redis 搭建哨兵集群
19 1