Linux下.NET Core项目Nginx+Keepalived高可用(主从模式)

  1. 云栖社区>
  2. 博客>
  3. 正文

Linux下.NET Core项目Nginx+Keepalived高可用(主从模式)

推荐码发放 2020-04-27 18:10:05 浏览499
展开阅读全文

Nginx知多少系列之(十四)Linux下.NET Core项目Nginx+Keepalived高可用(主从模式)

目录
1.前言
2.安装
3.配置文件详解
4.工作原理
5.Linux下托管.NET Core项目
6.Linux下.NET Core项目负载均衡
7.负载均衡策略
8.加权轮询(round robin)策略剖析
9.IP哈希(ip hash)策略剖析
10.最少连接(least_conn)策略剖析
11.随机(random)策略剖析
12.URL哈希(url hash)策略剖析
13.响应时间(fair)第三方模块详解
14.Linux下.NET Core项目Nginx+Keepalived高可用(主从模式)
15.Linux下.NET Core项目Nginx+Keepalived高可用(双主模式)
16.Linux下.NET Core项目LVS+Keepalived+Nginx高可用集群
17.构建静态服务器
18.日志分析
19.优化策略
20.总结

在这里我们简单介绍下Keepalived,它是一个基于VRRP协议来实现的服务高可用方案,可以利用其来避免IP单点故障,类似的工具还有heartbeat、corosync、pacemaker。但是它一般不会单独出现,而是与其它负载均衡技术(如lvs、haproxy、nginx)一起工作来达到集群的高可用。在这里我们就不先详细的介绍keepalived的相关内容,这一部分内容后面的文章会有提到。这里主要讲解如何去利用keepalived部署高可用的双机主从模式。

所谓的双机主从模式,就是前端使用两台服务器,一台主服务器和一台热备服务器,正常情况下,主服务器绑定一个公网虚拟IP,提供负载均衡服务,热备服务器处于空闲状态;当主服务器发生故障时,热备服务器接管主服务器的公网虚拟IP,提供负载均衡服务;但是热备服务器在主机器不出现故障的时候,永远处于浪费状态。

如果在尝试的过程中,遇到不明上下文的,例如像VM如何安装,Nginx如何安装部署等可以看《Nginx知多少系列之(一)前言》、《.NET Core项目部署到Linux(Centos7)(一)前言》两个专题系列。

注意:遇到不明白的地方、哪里有不对的以及有好的建议的,记得评论留言喔,我会尽快回复!

1.环境以及相关文章

服务器 IP 说明
LB-Master 192.168.157.150 Nginx负载均衡主服务器(Keepalived主服务器)
LB-Slave 192.168.157.200 Nginx负载均衡备服务器(Keepalived从服务器)
Web Server-01 192.168.157.130 后端服务器站点-1(Nginx+.NET Core)
Web Server-02 192.168.157.131 后端服务器站点-2(Nginx+.NET Core)
Web Server-03 192.168.157.132 后端服务器站点-3(Nginx+.NET Core)

《Nginx知多少系列之(五)Linux下托管.NET Core项目》
《Nginx知多少系列之(二)安装》
《.NET Core项目部署到Linux(Centos7)(四)VMware Workstation虚拟机Centos 7安装》
《.NET Core项目部署到Linux(Centos7)(三)创建.NET Core API项目》
《.NET Core项目部署到Linux(Centos7)(六)发布.NET Core 项目到Linux》
《.NET Core项目部署到Linux(Centos7)(七)启动和停止.NET Core项目》

2.Web Server和主从服务器Nginx的部署

在文章《Nginx知多少系列之(七)负载均衡策略》里我们已经介绍了如何部署三台服务器以及用一台Nginx服务器作为负载均衡。每一台服务器的IP根据你自身的环境所变化,不需要保持一致。我们还需要额外在部署一台Nginx服务器作为从服务器,和之前部署的Nginx一模一样。

接下来我们要对主从服务器的负载均衡做简单的轮询配置

进入Nginx配置文件目录

cd /etc/nginx/conf.d

编辑配置文件

sudo vim upstream.conf

按i进入编辑模式,输入下面的内容

upstream netCoreDemo {

server 192.168.157.130;
server 192.168.157.131;
server 192.168.157.132;

}

server {

listen   80;
location / {
  proxy_pass  http://netCoreDemo;
}

}

编辑好后,按Esc,再输入:wq保存退出

重启nginx

sudo nginx -s reload

记得是主从服务器的负载均衡策略配置要保持一致。接下来我们单独看看主从服务器(主:192.168.157.150   从:192.168.157.200)的访问效果。

3.Keepalived安装

我们这先介绍如何使用yum安装,这里需要在主从Nginx服务器都安装keepalived,即192.168.157.150和192.168.157.200。

安装keepalived

sudo yum install -y keepalived

如下图,我们已经成功安装keepalived了,这个时候还不能启动,因为需要做一些配置

记得是两台服务器都要装Keepalived哦!

4.Keepalived配置文件

我们来先配置Master节点的信息(192.168.157.150)

进入keepalived目录

cd /etc/keepalived

备份配置文件

sudo cp keepalived.conf keepalived.conf.bak

删除配置文件,里面的配置太长了,这里我们做简单配置,所以还是删了在创建新的比较方便哈

sudo rm -rf keepalived.conf

创建新配置文件

sudo touch keepalived.conf

编辑配置文件

sudo vim keepalived.conf

按i进入编辑模式,复制下面的配置信息

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_01
}
vrrp_instance VI_1 {

state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
    auth_type PASS
    auth_pass 1111
}
virtual_ipaddress {
    192.168.157.100
}

}

按Esc,然后:wq保存退出

接下来配置BACKUP节点的信息(192.168.157.200)

进入keepalived目录

cd /etc/keepalived

备份配置文件

sudo cp keepalived.conf keepalived.conf.bak

删除配置文件,里面的配置太长了,这里我们做简单配置,所以还是删了在创建新的比较方便哈

sudo rm -rf keepalived.conf

创建新配置文件

sudo touch keepalived.conf

编辑配置文件

sudo vim keepalived.conf

按i进入编辑模式,复制下面的配置信息

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_02
}
vrrp_instance VI_1 {

state BACKUP
interface ens33
virtual_router_id 51
priority 99
advert_int 1
authentication {
    auth_type PASS
    auth_pass 1111
}
virtual_ipaddress {
    192.168.157.100
}

}

按Esc,然后:wq保存退出

下面是配置文件的部分解析

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_01 #keepalived标识信息,自定义
}
vrrp_instance VI_1 {

state MASTER  #指定实例初始状态,实际的MASTER和BACKUP是选举决定的
interface ens33  #指定实例绑定的网卡
virtual_router_id 51 设置VRID标记,多个集群不能重复(0..255),同一组的或主从的必须保持一致
priority 100  #设置优先级,优先级高的会被竞选为Master,MASTER和BACKUP的优先级要不一样
advert_int 1  #检查的时间间隔,默认1s
authentication {  #设置认证
    auth_type PASS  #认证方式,支持PASS和AH,官方建议使用PASS
    auth_pass 1111  #认证的密码
}
virtual_ipaddress {  #设置VIP,可以设置多个,用于切换时的地址绑定。
    192.168.157.100
}

}

查看网卡信息

查看网卡信息

ifconfig

5.启动Keepalived

我们已经把主从节点的配置信息都弄好啦。马上就可以启动keepalived测试效果咯,是不是有点期待??接下来才是填坑的开始……

我们先来启动主服务器的keepalived

启动主服务器的Keepalived

sudo service keepalived start

查看keepalived状态

service keepalived status

我们也可以在/var/log/messages看到启动信息,如果发生错误也可以在里面看到

查看日志文件

sudo less /var/log/messages

less查看一个文件时,可以使用类似vi的command命令,在command模式下按G跳到文件末尾,再使用f或B来翻页

less filename
:G 跳到底部,就可以用 向上 向下 箭头 或 向滚动鼠标来查看log了

是不是很开心,看上图我们已经启动成功了,我们先来看看VIP(虚拟IP)是不是已经分配了

查看IP信息

ip add

我们可以看到上图,在150主服务器里,已经分配了之前我们配置的virtual_ipaddress:192.168.157.100

主服务器的keepalived已经启动成功了,我们接下来按照同样的方式去启动从服务器的keepalived。可以参考上面的操作,我们直接看图吧。

看到上图和主服务器显示的一模一样,同时也分配了VIP,我们先不管其他问题,先来验证下,使用VIP:192.168.157.100是不是能访问站点

恭喜你,已经用VIP访问成功了,但是这里有个问题了,下面我们会接着讲。

6.Keepalived脑裂问题

正常的部署keepalived里只有主服务器才会分配到VIP,当主服务器宕机之后,VIP才会漂移到从服务器,这个时候从服务器就负责之前主服务器的工作。那现在主从服务器都有VIP,那就是常说的脑裂问题。下面我们来解释下什么是脑裂?

脑裂(split-brain):指在一个高可用(HA)系统中,当联系着的两个节点断开联系时,本来为一个整体的系统,分裂为两个独立节点,这时两个节点开始争抢共享资源,结果会导致系统混乱,数据损坏。

就像我们上面的那样,主服务器和从服务器都有VIP,然后互相争抢资源了,那这个时候我们怎么解决呢?这有两种解决方案:

①、直接干脆的,关闭防火墙

在这里避免别的问题出现,我们先重启机器,然后在执行关闭防火墙,开启keepalived的操作

重启Linux

sudo reboot

查看防火墙状态

service firewalld status

暂时性关闭防火墙,下次开机又会打开

sudo service firewalld stop

永久性关闭防火墙

sudo systemctl disable firewalld

开启服务器的keepalived

sudo service keepalived start

主从服务器都完成操作后,记得是两台服务器都要做相应的操作。我们在看看VIP的分配情况

如上图,在192.168.157.150主服务器,已经成功分配到了VIP。然后在192.168.157.200从服务器未分配到VIP,这样就解决了主从服务器都有VIP,产生脑裂的问题啦(当然其他原因导致的脑裂问题还是会存在的,产生脑裂的情况可是有很多的)。但是除非这台电脑是内网访问的,不然都是增加对应的策略,而不是简单粗暴的关闭防火墙就完事了,关闭防火墙容易导致安全性问题。

②、设置防火墙规则

在这里我们对主从服务器都开启组播地址,然后在开启主从服务器的keepalived,在看看VIP是不是只有主服务器才有。

开启组播地址

sudo firewall-cmd --direct --permanent --add-rule ipv4 filter INPUT 0 --in-interface ens33 --destination 224.0.0.18 --protocol vrrp -j ACCEPT

刷新防火墙配置

sudo firewall-cmd --reload

查看防火墙状态

service firewalld status

开启keepalived

sudo service keepalived start

查看keepalived的状态

service keepalived status

查看ip信息

ip add

上图显示的IP结果和直接关闭防火墙的信息是一致的,说明是有效的解决了脑裂的问题。我们来看看访问的效果

7.Keepalived主从切换

在上面我们已经解决主从服务器都出现VIP的问题了,虽然现在是访问正常的,但是还没达到我们想要实现的目的,这样纯碎只是说在原来的基础上用了一个VIP是对外访问而已,和高可用没有关系。那接下来我们就实践如何保证高可用主从切换,当主服务器出现问题,例如宕机,服务停止等问题后,从服务器能接管过来确保站点的访问正常。

①、直接服务器宕机

首先我们直接关机主服务器,然后看看VIP:192.168.157.100是不是漂移到了从服务器上,访问站点是不是也正常。

主服务器直接关机

在从服务器尝试PING 主服务器IP 192.168.157.150

ping 192.168.157.150

查看IP信息

ip add

哦豁,从上图可以看到主服务器已经彻底关机了,PING也PING不通了。同时我们看从服务器的IP信息,VIP:192.168.157.100已经漂移到从服务器上啦。说明什么呢?说明主服务器出现问题后,从服务器能马上接管,保证站点的正常访问啦。

同时我们也可以看看keepalived的日志信息

查看日志文件

sudo less /var/log/messages

less查看一个文件时,可以使用类似vi的command命令,在command模式下按G跳到文件末尾,再使用f或B来翻页

less filename
:G 跳到底部,就可以用 向上 向下 箭头 或 向滚动鼠标来查看log了

可以看到上图在15:15分我们把主服务器关机之后,从服务器就Transition to MASTER STATE,即转变为MASTER的状态,接管MASTER的工作。那站点是不是也访问成功了呢?直接上图

访问正常,现在已经做到了主服务器出问题,从服务器能接管的啦。那当我们把主服务器开机后会怎么样呢??我们来看看IP 信息,日志以及访问的效果。

当我们把主服务器开机后,发现VIP又漂移回主服务器拉,在日志里也有显示Received advert with higher priority 100,ours 99。在组播里我们收到更高的优先级100,我们才90,那从服务器要改为BACKUP STATE以及移除对应的VIP。

②、停止keepalived的服务

这里我们采用停止服务的方式去测试主从切换,停止主服务器的keepalived,为了方便测试,我们把主服务器的Nginx也停止了。然后看看VIP是否漂移以及访问是否正常。

停止keepalived服务

sudo service keepalived stop

查看keepalived状态

service keepalived status

停止Nginx

sudo nginx -s stop

查看ip信息

ip add

当我们把主服务器的keepalived和nginx都停止后,发现个问题就是keepalived服务停止了,VIP竟然没有释放,那从服务器是什么情况??我们看看从服务器的IP信息

从服务器的IP信息里并没有发现VIP漂移过来,说明主从切换失败了,那站点访问情况如何??

VIP并没有漂移,还是在原来的主服务器上,但我们已经把Nginx服务停止了,所以出现了访问不了的情况。正常来说这个时候应该是从服务器接管。但并没有,这是为什么呢??

在上面我们已经把keepalived的服务已经停止了,但是我们来看看keepalived的进程还在不在?

查看keepalived的进程

ps aux |grep keepalived

哦豁??看到没有,服务停止了,进程竟然还在,说明service keepalived stop并没有清理干净,所以才导致VIP没有漂移,主从切换失败的。这个时候我们要想到是systemd服务脚本的问题

进入keepalived.service目录

cd /usr/lib/systemd/system

编辑keepalived.service

sudo vim keepalived.service

按i进去编辑模式

注释掉

KillMode=process

按Esc,然后:wq保存退出

重新加载配置

sudo systemctl daemon-reload

开启主服务器的keepalived

sudo service keepalived start

停止主服务器的keepalived服务

sudo service keepalived stop

查看keepalived 状态

service keepalived status

查看IP信息

当我们修改了system服务脚本,重启了之后,发现主从切换正常了,VIP也漂移到了192.168.157.200从服务器,站点访问也是正常的。至于把主服务器的keepalived重新开启之后,效果和之前直接关机开机后的是一样的,这里就不重复验证了。你们可以直接开启服务去验证下。

那现在已经实现了Nginx高可用主从模式,当主服务器宕机后,从服务器接管。主服务器正常后,从服务器重新移交给回主服务器。这里的检测是keepalived出现问题的情况下,会主从切换。那如果keepalived是正常的,服务器也是正常的,就是Nginx挂了??那结果会怎么样?我们又如何去解决??

8.Keepalived日志的配置

keepalived的日志默认是写到/var/log/messages里面的,在上面我们也看到过相关的日志,但是很多系统消息之类的都会往/var/log/messages,这样就显得太多太杂,有时候分不清,那这个之后就想把日志分离出来,在这里我们把keepalived的日志单独放到了/var/log/keepalived.log

编辑keepalived配置文件

sudo vim /etc/sysconfig/keepalived

按i 进入编辑模式

把KEEPALIVED_OPTIONS="-D" 修改为KEEPALIVED_OPTIONS="-D -d -S 0"

KEEPALIVED_OPTIONS="-D -d -S 0"

按Esc 然后:wq保存退出

修改rsyslog文件

sudo vim /etc/rsyslog.conf

按i 进入编辑模式

在文件的最后添加下列的内容,local0这里记得前面不要有#,不然会注释,不起作用的

keepalived -S 0

local0.* /var/log/keepalived.log

按Esc 然后:wq保存退出

重新启动日志

service rsyslog restart

在上面我们可以看到把rsyslog里的自定义信息local0都输出到/var/log/keepalived.log里面去,在这之后,我们修改了keepalived的配置为KEEPALIVED_OPTIONS="-D -d -S 0",是要把keepalived的日志指定为local0,这样在keepalived把日志输出类型为local0,而local0的日志又被定义转储存在/var/log/keepalived.log里。

我们可以验证下keepalived的日志是不是到了/var/log/keepalived.log里

重启keepalived

sudo service keepalived restart

查看日志

sudo tail -f /var/log/keepalived.log

在上图已经看到keepalived的日志已经到了/var/log/keepalived.log,到这里我们就已经把keepalived的日志分离出来啦。

9.Nginx心跳检测

现在就有那么一种情况就是,服务器并没有宕机,keepalived也好好的,就是nginx服务挂了,那会出现访问不到页面,我们首先把主服务的Nginx停掉,验证下效果

停止主服务器的Nginx

sudo nginx -s stop

看上图,虽然keepalived是运行的,但是站点一样无法访问,而且也不会漂移VIP,这样就做不到高可用集群,那这个时候我们就要keepalived去检测nginx的心跳,如果Nginx挂了就尝试去重新启动,如果启动不了就直接把keepalived服务停止了,让VIP漂移到BACKUP从服务器上。

我们在keepalived安装目录建立Nginx检测shell脚本

进入keepalived目录

cd /etc/keepalived

创建脚本文件

sudo vim nginx_health_check.sh

按i进入编辑模式,增加下来内容

!/bin/bash

日志输出,默认到/var/log/messages,这里需要更改为/var/log/keepalived.log

vim /etc/rsyslog.conf

添加下面内容

local0.* /var/log/keepalived.log

表示local0设备的日志信息记录于/var/log/keepalived.log里

重启rsyslog服务

service rsyslog restart

function log(){

logger -i -t "nginx_check" -p local0.info "$1"

}

counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then

/usr/sbin/nginx
log "Find nginx stopped and then starting."
sleep 3
counter=$(ps -C nginx --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
    log "Nginx start failed."
    log "keepalived stopping."
    service keepalived stop
    log "keepalived stop success."
else
    log "Nginx start success."
fi

fi

按Esc退出编辑,然后:wq退出保存

在上面我们已经创建了心跳检测的脚本,大概的流程是这样的:

①、检测nginx服务是否存在

②、如果存在就直接等待下一次检测

③、如果不存在那么我们就尝试启动nginx服务,同时启动也需要时间,所以在这里我们等待3秒,3秒后我们再次检测nginx服务是否已经启动成功

④、如果成功,则等待下一次检测

⑤、如果不成功,则把keepalived的服务停止了,这样就可以VIP漂移,通知从服务器跑起来

这里的话也有可能keepalived停止失败的,这个一般都是防火墙等的问题,下面我们会讲到,同时在检测的过程中,我们也会把日志,记录到/var/log/keepalived.log,因为我们记录日志的时候使用的是自定义0-7里面的local0,在前面已经定义了local0的日志都会记录到keepalived.log里面。记录日志的话,这样检测到有问题,我们也可以看到相关的内容。

接下来我们可以执行下,检测下脚本是不是有问题?

查看nginx进程

ps aux |grep nginx

停止nginx

sudo nginx -s stop

查看nginx进程

ps aux |grep nginx

单独执行脚本

sudo bash /etc/keepalived/nginx_health_check.sh

查看nginx进程

ps aux |grep nginx

我们可以看到上图,当我们把nginx停止后,单独运行心跳脚本,脚本会自动把nginx启动回来,说明这个脚本是没有问题的!

心跳检测脚本写好之后,我们就要修改keepalived.conf配置文件,把刚刚创建的脚本配置到keepalived里面,让keepalived去运行这个心跳检测脚本

编辑keepalived.con文件

sudo vim /etc/keepalived/keepalived.conf

按i进入编辑模式,增加红色区的内容

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_01
}
vrrp_script chk_nginx {

script "/etc/keepalived/nginx_health_check.sh"
interval 5
weight -20

}
vrrp_instance VI_1 {

state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
    auth_type PASS
    auth_pass 1111
}
track_script {
   chk_nginx
}
virtual_ipaddress {
    192.168.157.100
}

}

编辑好后,按Esc,然后:wq退出保存

这里vrrp_script chk_nginx一定要放在vrrp_instance VI_1前面,不然后面启动会没有反应的哦,chk_nginx这个是自定义名字哈,喜欢叫啥就叫啥,script就是我们刚刚创建的心跳脚本的路径,interval就是心跳间隔的时间,5的话就是5秒,还记得前面在脚本里因为要等待nginx启动,所以sleep了3秒,这里interval一定要比sleep的时间大,不然会报错的哦!weight就是权重,如果成立的话,就会降低对应服务器的keepalived权重,有可能就会从主服务器变为从服务器的。

OK啦,这两个都准备好,我们就准备开始运行啦,不过在运行之前,我们还要做两个准备,不然会出现两种情况哦,一是启动了脚本压根没有执行,而是脚本执行了,但是里面的命令执行失败,例如启动nginx,停止keepalived服务等。

①、心跳检测脚本权限问题

把nginx心跳检测脚本更改权限

sudo chmod 755 /etc/keepalived/nginx_health_check.sh

这里的话把心跳检测脚本更改为可执行的权限,同时你可以在/etc/keepalived文件夹下面,用ls命令,可以看到显示的是绿色,绿色代表为可执行文件,可执行的程序。如果不更改,会发现这个脚本压根不会执行。

②、SELinux安全模块的问题

SELinux这个我目前也还没搞懂到底是做什么的哈,关于这方面的问题,有种最简单粗暴的方法,如下

临时关闭selinux,这个终端关闭了就失效咯

sudo setenforce 0

查看selinux

getenforce

查看selinux状态

sestatus

永久关闭,编辑/etc/sysconfig/selinux

sudo vim /etc/sysconfig/selinux

按i进入编辑模式,修改下面的内

SELINUX=disabled

按Esc,然后:wq保存退出编辑

直接把SELinux关闭了,一了百了,省事,很多时候有不少问题就是它导致的,说真的,我就是到了这一步,研究了好久,为什么人家的都没有问题,我的脚本虽然执行了,但是里面的命令就一直执行失败,刚开始以为是脚本执行权限的问题,一直找原因都没有找到,可能它就是看我找到太久了,突然灵光一闪,觉得是它的问题,尝试关闭它,竟然成功了,足足折腾了我好久。看看不关的情况是怎么样,如下图

这里就是没有更改selinux,心跳脚本虽然执行了,但是里面的命令一直执行不了,导致一直检测到有问题。

还有一种方式就是把keepalived和nginx增加至selinux白名单

在这里我们可以先看看怎么判断增加什么策略可以通过selinux,也可以直接看结果,运行后面的命令

安装setroubleshoot

sudo yum -y install setroubleshoot

xshell开启新终端,监控messages日志

sudo tail -f /var/log/messages

停止nginx服务

sudo nginx -s stop

重启keepalived

service keepalived restart

当SELinux发生错误时,会将有用的信息记录下来到/var/log/messages,如下图

或者我们可以执行下面的命令

查看错误信息

sudo cat /var/log/messages |grep setroubleshoot

因为在脚本里面,我们要执行nginx和keepliaved相关的命令,所以在/var/log/messages里找到SELinux  keepalived和nginx相关的错误信息,然后我们执行For complete SELinux messages run:后面的命令。例如

执行sealert命令,这里只是个例子哈,具体看上面你们执行出来的结果

sudo sealert -l 03ad7984-32b7-4d51-82bf-e86bc462d38f

看上面执行完命令之后,在红色框框里会建议你执行什么操作能允许访问权限执行,经过分析后,就有下面的结果啦,执行完脚本就可以启动nginx命令和停止keepalived命令。

安装依赖软件

sudo yum -y install policycoreutils-python

返回主目录

cd

增加nginx至selinux白名单,mynginx是自定义名字哈,记住一定要在开启nginx的时候执行,不然运行了没有效果

sudo cat /var/log/audit/audit.log | grep nginx | grep denied | audit2allow -M my-nginx

这个是执行了上面命令后,提示你要执行的命令

sudo semodule -i my-nginx.pp

增加keepalived至selinux白名单,记住一定要在开启keeaplived的时候执行,不然运行了没有效果

sudo cat /var/log/audit/audit.log | grep keepalived | grep denied | audit2allow -M my-keepalived

这个是执行了上面命令后,提示你要执行的命令

sudo semodule -i mykeepalived.pp

删除刚刚创建的keepalived相关文件

sudo rm -rf my-keepalived*

删除刚刚创建的nginx相关文件

sudo rm -rf my-nginx*

好啦好啦,准备工作都做好了,注意:主从服务器都要做一样的操作哦,包含日志的分离等等!!

接下来,来验证下心跳脚本,首先验证nginx停了之后,心跳脚本会不会自动启动nginx

用xshell开启两个终端,第一个用来监控主服务器日志文件的变化

sudo tail -f /var/log/keepalived.log

第二个在主服务器做如下的操作

重启keepalived

sudo service keepalived restart

停止nginx

sudo nginx -s stop

查看nginx 进程

ps aux |grep nginx

隔几秒后再次查看nginx 进程

ps aux |grep nginx

查看IP信息

ip add

可以看到上图,当我们停止nginx后,就等待keepalived的心跳检测,等待重启的过程中nginx进程查不到,当keepalived心跳检测开始后,我们可以看到日志里显示之前在脚本里打印的日志Find nginx stopped and then starting,然后开始启动nginx服务,启动成功后可以查到nginx的相关进程。同时我们会打印日志提示Nginx start success。

接着我们也要验证下,当nginx实在重启不了的时候,心跳脚本会不会停止keepalived,停止之后从服务器会不会接管过来?

用xshell开启两个终端,第一个用来监控主服务器日志文件的变化

sudo tail -f /var/log/keepalived.log

第二个在主服务器做如下的操作

编辑nginx心跳检测脚本

sudo vim /etc/keepalived/nginx_health_check.sh

按i 编辑

注释启动nginx的命令

/usr/sbin/nginx

按Esc,然后:wq退出保存

重启keepalived

sudo service keepalived restart

停止nginx

sudo nginx -s stop

查看nginx 进程

ps aux |grep nginx

查看IP信息

ip add

我们可以从上图看出来,当我们把启动nginx的命令注释后,keepalived的nginx心跳检测脚本会检测到nginx服务未开启,然后尝试开启,启动失败会直接停止keepalived服务,移除VIP,同时我们来看看从服务器的IP信息

VIP已经漂移到了从服务器上了,说明整个过程是流畅的,等主服务器启动之后,VIP又会漂移回来。来看看访问站点是不是成功的。

哦啦,至此大功告成,这就是Nginx+Keepalived高可用主从模式,解决了单个Nginx作为负载均衡发生的单点故障问题。从服务器的测试这里就不重复了,你们可以自己去验证下是不是心跳脚本也正常的。

10.Keepalived非抢占模式

在上面我们实现的主从模式,keepalived默认是抢占模式,就是当MASTER从故障中恢复后,会将VIP从BACKUP节点中抢占过来。其实很多时候主从服务器配置都是一样的,当主服务器恢复后抢占回来没有多大的必要,反而多了一次VIP的漂移。所以keepalived支持适用非抢占模式,即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP。

接下来我们看看如何配置双机主从非抢占模式。

主服务器配置如下:

编辑keepalived配置

sudo vim /etc/keepalived/keepalived.conf

按i进入编辑模式

增加nopreempt以及修改state为BACKUP,标注红色的内容,如下

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_01
}
vrrp_script chk_nginx {

script "/etc/keepalived/nginx_health_check.sh"
interval 5
weight -20

}
vrrp_instance VI_1 {

state BACKUP
interface ens33
virtual_router_id 51
priority 100
advert_int 1
nopreempt
authentication {
    auth_type PASS
    auth_pass 1111
}
track_script {
    chk_nginx
}
virtual_ipaddress {
    192.168.157.100
}

}

按Esc,然后:wq退出保存

从服务器配置如下:

编辑keepalived配置

sudo vim /etc/keepalived/keepalived.conf

按i进入编辑模式

增加nopreempt,标注红色的内容,如下

! Configuration File for keepalived

global_defs {
router_id LVS_DEVEL_02
}
vrrp_script chk_nginx {

script "/etc/keepalived/nginx_health_check.sh"
interval 5
weight -20

}
vrrp_instance VI_1 {

state BACKUP
interface ens33
virtual_router_id 51
priority 99
advert_int 1
nopreempt
authentication {
    auth_type PASS
    auth_pass 1111
}
track_script {
    chk_nginx
}
virtual_ipaddress {
    192.168.157.100
}

}

按Esc,然后:wq退出保存

我们已经把主从服务器的keepalived已经配置好了,接下来我们测试下效果

①、检测keepalived、nginx都启动,验证正常情况下,VIP在哪台服务器

重启主从服务器的keepalived

sudo service keepalived restart

确保nginx都开启了

ps aux |grep nginx

没有开启的话,开启nginx

sudo nginx

查看两台服务器的ip信息,看看正常情况下,VIP在哪里

ip add

因为在之前的配置里,主服务器的priority优先级为100,所以在一开始正常的情况下,VIP出分配到优先级高的服务器上。

②、停止有VIP的服务器,在看看VIP是不会漂移到另外一台备用服务器上了

停止有VIP服务器的keepalived

sudo service keepalived stop

查看两台服务器的IP信息,看看VIP漂移到哪里了

ip add

当我们停止了正在运行的keepalived服务器之后,VIP正常的切换到了另外一台备用服务器上

③、把之前停的keepalived服务器重新启动回来,我们看看会不会这台重启的服务器抢占回来??

启动主服务器的keepalived

sudo service keepalived start

查看两台服务器的IP信息,看看VIP漂移到哪里了

ip add

在一轮验证之后,发现如果主从服务器都设置为非抢占模式,那么当主服务器重新启动之后,并不会抢回VIP,其实主从服务器的配置是一样的,并没有必要说主服务器重新运行就马上抢回来。

11.Keepalived常用命令

启动keepalived

service keepalived start

停止keepalived

service keepalived stop

重启keepalived

service keepalived restart

作者:江远良
出处:http://www.cnblogs.com/jayjiang/

网友评论

作者关闭了评论
推荐码发放
+ 关注