nginx+Keepalived双机主备方案实现(经线上测试)

简介:

wKioL1UUzs3ARaEaAAFXczTTAhU617.jpg

 

  1. nginx的编译安装

 1)编译工具(基本可以不用)

    yum -y install gcc gcc-c++ autoconf automake zlib zlib-devel openssl openssl-devel pcre-devel gd-*

 2)建立nginx 组

    groupadd -r nginx

    useradd -s /sbin/nologin -g nginx -r nginx

    id nginx

 3)wget http://nginx.org/download/nginx-1.6.2.tar.gz

    tar xf /usr/local/src/nginx-1.6.2.tar.gz

    cd /usr/local/src/nginx-1.6.2.tar.gz

./configure --prefix=/usr/local/nginx --lock-path=/usr/local/nginx/nginx.lock --user=nginx --group=nginx --with-http_ssl_module --with-http_flv_module --with-http_stub_status_module --with-http_gzip_static_module --http-client-body-temp-path=/usr/local/nginx/client/ --http-proxy-temp-path=/usr/local/nginx/proxy/ --http-fastcgi-temp-path=/usr/local/nginx/fcgi/ --http-uwsgi-temp-path=/usr/local/nginx/uwsgi --http-scgi-temp-

path=/usr/local/nginx/scgi --with-pcre --with-file-aio --with-http_image_filter_module 


   make && make install

 4)配置nginx启动脚本

   ===============================================

vim /etc/init.d/nginx   chmod +x /etc/init.d/nginx  

#!/bin/bash

#

# Startup script for Nginx - this script starts and stops the nginx daemon

#

# chkconfig:   - 85 15

# description:  Nginx is an HTTP(S) server, HTTP(S) reverse proxy and IMAP/POP3 proxy server

# processname: nginx

# config:      /usr/local/nginx/conf/nginx.conf

# pidfile:     /usr/local/nginx/logs/nginx.pid 

# Source function library.

. /etc/rc.d/init.d/functions 

# Source networking configuration.

. /etc/sysconfig/network 

# Check that networking is up.

[ "$NETWORKING" = "no" ] && exit 0 

nginx="/usr/local/nginx/sbin/nginx"

prog=$(basename $nginx)

NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"

[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx 

lockfile=/var/lock/subsys/nginx 

start() {

    [ -x $nginx ] || exit 5

    [ -f $NGINX_CONF_FILE ] || exit 6

    echo -n $"Starting $prog: "

    daemon $nginx -c $NGINX_CONF_FILE

    retval=$?

    echo

    [ $retval -eq 0 ] && touch $lockfile

    return $retval

}

 

stop() {

    echo -n $"Stopping $prog: "

    killproc $prog -QUIT

    retval=$?

    echo

    [ $retval -eq 0 ] && rm -f $lockfile

    return $retval

}

 

restart() {

    configtest || return $?

    stop

    sleep 1

    start

}

 

reload() {

    configtest || return $?

    echo -n $"Reloading $prog: "

    killproc $nginx -HUP

    RETVAL=$?

    echo

}

 

force_reload() {

    restart

}

 

configtest() {

  $nginx -t -c $NGINX_CONF_FILE

}

 

rh_status() {

    status $prog

}

 

rh_status_q() {

    rh_status >/dev/null 2>&1

}

 

case "$1" in

    start)

        rh_status_q && exit 0

        $1

        ;;

    stop)

        rh_status_q || exit 0

        $1

        ;;

    restart|configtest)

        $1

        ;;

    reload)

        rh_status_q || exit 7

        $1

        ;;

    force-reload)

        force_reload

        ;;

    status)

        rh_status

        ;;

    condrestart|try-restart)

        rh_status_q || exit 0

            ;;

    *)

        echo $"Usage: $0 {start|stop|status|restart|condrestart|


try-restart|reload|force-reload|configtest}"

        exit 2

esac


==============================================================

 5)nginx配置

 vim /usr/local/nginx/conf/nginx.conf

 ====================================================

upstream MCM {

       server 10.124.156.236; #使用nginx的默认分发模式rr

       server 10.124.156.231; #两个分发服务器ip

     }

 

 server {

        listen       80;

        server_name  localhost;

        location /mcm/ {

limit_req zone=allips burst=10 ;

proxy_pass http://MCM/mcm/;

proxy_redirect  off;

proxy_set_header Host $http_host;

proxy_set_header X-Real-IP $remote_addr;

proxy_set_header X-Forwarded-For 


$proxy_add_x_forwarded_for;

proxy_set_header Cookie $http_cookie;

chunked_transfer_encoding  off;

        }

         error_page   500 502 503 504  /50x.html;

         location = /50x.html {

             root   html;

         }

  =========================================================

2.Keepalived的安装配置

 1)Keepalived的编译安装

  cd /usr/local/src/

  wget http://www.keepalived.org/software/keepalived-1.1.20.tar.gz

  tar xf keepalived-1.2.15.tar.gz

  cd keepalived-1.1.20

  ./configure --prefix=/usr/local/keepalived --with-kernel-dir=/usr/src/kernels/2.6.32-279.el6.x86_64/

  make && make install

  将Keepalived做成服务:

   cd /usr/local/keepalived/ && cp etc/rc.d/init.d/keepalived /etc/rc.d/init.d/ && cp etc/sysconfig/keepalived /etc/sysconfig/ && mkdir /etc/keepalived && cp etc/keepalived/keepalived.conf /etc/keepalived/ && cp sbin/keepalived /usr/sbin/

    

 2)配置Keepalived.conf文件

   ====================================================

   TestNginx1:10.124.194.244

   vim /etc/keepalived/keepalived.conf

   

   ==========================================

! Configuration File for keepalived

 

global_defs {

   notification_email {

       459202366@139.com  

 }

   notification_email_from Keepalived@chtopnet.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id Nginx_MB

}

 

vrrp_script chk_http_port {

    script "/etc/keepalived/chk_nginx.sh"

    interval 2

    weight 2

}

 

vrrp_instance VI_3 {

    state MASTER

    interface eth0

    virtual_router_id 57      #VI_2 为 58

    priority 200              #备用是150

    mcast_src_ip 10.124.194.244 #本机ip

    advert_int 1

  

authentication {

        auth_type PASS

        auth_pass yzkj

    }

    track_script {

        chk_http_port

    }

    virtual_ipaddress {

        10.124.194.4         #VIP 1

    }

}

vrrp_instance VI_4 {

    state BACKUP

    interface eth0

    virtual_router_id 58     # VI_1 是57

    priority 150            #主是200

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass yzkj

    }

    track_script {

        chk_http_port

    }

    virtual_ipaddress {

        10.124.194.5       #VIP 2

    }

}

========================================

TestNginx2


! Configuration File for keepalived

 

global_defs {

   notification_email {

       459202366@139.com  

 }

   notification_email_from Keepalived@chtopnet.com

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id Nginx_MB

}

 

vrrp_script chk_http_port {

    script "/etc/keepalived/chk_nginx.sh"

    interval 2

    weight 2

}

 

vrrp_instance VI_3 {

    state BACKUP

    interface eth0

    virtual_router_id 57        #VI_4 为 58

    priority  150            #主是200

    advert_int 1

  

authentication {

        auth_type PASS

        auth_pass yzkj

    }

    track_script {

        chk_http_port

    }

    virtual_ipaddress {

        10.124.194.4         #VIP 1

    }

}

vrrp_instance VI_4 {

    state MASTER

    interface eth0

    virtual_router_id 58     #VI_3 是57

    priority 200             #备用是50

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass yzkj

    }

    track_script {

        chk_http_port

    }

    virtual_ipaddress {

        10.124.194.5       #VIP 2

    }

}

=====================================

 3)添加nginx状态自动检测脚本

  vim /etc/keepalived/chk_nginx.sh

=============  

#!/bin/bash

# description:

# 定时查看nginx是否存在,如果不存在则启动nginx

# 如果启动失败,则停止keepalived

status=$(ps -C nginx --no-heading|wc -l)

if [ "${status}" = "0" ]; then

        /usr/local/nginx/sbin/nginx

        status2=$(ps -C nginx --no-heading|wc -l)

        if [ "${status2}" = "0"  ]; then

                /etc/init.d/keepalived stop

        fi

fi

====================

 4)keepalived nginx启动

 service keepalived start

 service nginx start  或者(/usr/local/nginx/sbin/nginx)

 

 5)防火墙设置:

  在Lvs+Keepalived的设置中一般都将iptables关掉,这是一个很危险的操作。在测试nginx+Keepalived的时候发现iptables不关闭的话,会出现VIP同时绑定在主备nginx上。所以经过研究测试,要想开着iptables来使用Keepalived,就应该先明白Keepalived的工作原理。Keepalived工作主

要是通过vrrp协议进行报文互通,于是就必须在iptables里设置

-A INPUT -p vrrp -j ACCEPT #基于DR模式,当用户发出请求后,只有DR响应ARP广播包,允许vrrp虚拟路由器冗余协议。然后重启iptables服务,至此困扰已久的VIP同时绑定在多个服务器上的问题解决。

3.测试:

 在测试过程中出现一个有趣的话题:就是当我进行停止nginx运行的时候,发现进程自动会起来,然后我就问、查,总是不以所以然,总以为是kill pkill命令不好使。后来经过查证,竟然是我们写的一个检测脚本在作怪。脚本记录如下:(修改完善版)

  ===================================

#!/bin/bash

# description:

# 定时查看nginx是否存在,如果不存在则启动nginx

# 如果启动失败,则停止keepalived

status=$(ps -C nginx --no-heading|wc -l)

if [ "${status}" = "0" ]; then

        /usr/local/nginx/sbin/nginx

        status2=$(ps -C nginx --no-heading|wc -l)

        status3=$(ps -C keepalived --no-heading|wc -l)

        if [ "${status2}" = "0"  ]; then

                /etc/init.d/keepalived stop

        elif [ "${status3}" = "0" ]; then

                /etc/init.d/keepalived start

             fi

        fi

fi

========================================

它的作用主要就是检测nginx的状态,如果nginx死掉,就尝试重启,如果重启不成功就把Keepalived服务停止,使两个vip同时漂到同一台nginx服务器上面去,如果nginx恢复就应该重启Keepalived服务。

  4.使用rsync使后端几台服务器文件同步

 1)服务安装:yum install rsync -y

    服务端:10.124.151.246

    =============================

vim /etc/rsyncd.conf

uid = root

gid = root

use chroot = no

max connections = 5

pid file = /var/run/rsyncd.pid

lock file = /var/run/rsync.lock

log file = /var/log/rsyncd.log

[web01]                      

path=/usr/local/nginx/html/         

comment = update          

ignore errors              

read only = no             

list = no                 

hosts allow = 192.168.122.0/24

auth users = root        

uid = root

gid = root

secrets file = /etc/rsyncd.secrets

    =================================

vim /etc/rsyncd.secrets

root:123456

 

chmod 0600 /etc/rsyncd.secrets

    =============================

  启动服务:rsync --daemon

            echo "rsync --daemon" >> /etc/rc.local #自启动


  客户端配置(也就是代码推送端)10.124.151.245

    vim /etc/rsyncd.secrets

    123456

    chmod 0600 /etc/rsyncd.secrets

 2)使用命令行进行代码推送(根据代码的修改和增删情况进行代码同步操作)

   rsync -vzrtopg --delete --progress --password-file=/etc/rsyncd.secrets  * root@10.124.151.246::web01










本文转自 南非波波 51CTO博客,原文链接:http://blog.51cto.com/nanfeibobo/1623886,如需转载请自行联系原作者
目录
相关文章
|
6月前
|
网络协议 算法 Java
nginx与keepalived的那些事
nginx与keepalived的那些事
102 0
|
6月前
|
应用服务中间件 nginx
服务搭建篇(四) 搭建基于Nginx + keepalived的高可用服务
比如我这里虚拟IP+nginx端口是 : 192.168.154.10:80 , 我直接访问 , 出来的是192.168.154.134服务器上的nginx , 因为我刚刚做了区分 , 所以这个时候就可以知道访问的是哪个机器的Nginx , 然后我们把134的Nginx停掉 , 然后再次访问 , 仍然可以使用 , 此时 ,出现的135的页面 , 也就是访问的是192.168.154.135的Nginx
90 0
|
5月前
|
负载均衡 应用服务中间件 Linux
Nginx系列教程(14) - LVS+KeepAlived+Nginx实现高性能负载均衡集群
Nginx系列教程(14) - LVS+KeepAlived+Nginx实现高性能负载均衡集群
173 0
|
6月前
|
负载均衡 算法 应用服务中间件
百度搜索:蓝易云【Linux系统如何使用 HAProxy、Nginx 和 Keepalived 进行负载均衡?】
通过上述步骤,你可以在Linux系统中使用HAProxy、Nginx和Keepalived来实现负载均衡。这些工具可以帮助你将流量分配到多个后端服务器上,提高系统的性能、可靠性和可扩展性。
87 0
|
3月前
|
应用服务中间件 nginx
nginx中的定时器源码分析与测试
nginx中的定时器源码分析与测试
16 0
|
3月前
|
人工智能 算法 测试技术
【实测】关于‘钱学森弹道’应用软件测试的设计与实现(03)【终极方案-目标趋向】
【实测】关于‘钱学森弹道’应用软件测试的设计与实现(03)【终极方案-目标趋向】
|
3月前
|
运维 负载均衡 监控
【实测】关于‘钱学森弹道’应用软件测试的设计与实现(02)【4个具体方案】
【实测】关于‘钱学森弹道’应用软件测试的设计与实现(02)【4个具体方案】
|
3月前
|
前端开发 Java 测试技术
SpringBoot - 应用程序测试方案
SpringBoot - 应用程序测试方案
50 0
|
4月前
|
数据采集 Web App开发 前端开发
前端自动化UI测试的完整方案
前端自动化UI测试的完整方案
128 0
|
4月前
|
负载均衡 前端开发 应用服务中间件
NGINX高可用之keepalived+nginx主从模式+主主模式配置实践
NGINX高可用之keepalived+nginx主从模式+主主模式配置实践
115 1