用Nginx反向代理多个Tomcat实现负载和session共享

 用Nginx反向代理多个Tomcat实现负载和session共享

之前的一篇博文写了用Apache做反向代理实现Tomcat的负载和session，下面来用Nginx来实现。

实现系统：CentOS 5.5 32bit

一、准备工作：

1、安装服务所需的工具，把开发库和开发工具两个包用yum安装上就行了。

1. # yum groupinstall "Development Libraries" "Development Tools" 

2、安装nginx之前还要安装pcre-devel包

1. # yum install pcre-devel 

二、安装Nginx

1、Nginx下载地址：www.nginx.org这个是nginx的官方网站。

为了实现session共享还得下载nginx的扩展模块nginx-upstream-jvm-route-master，下载地址：https://github.com/tbje/nginx-upstream-jvm-route

要想实现后面Tomcat的健康检测，还得下载模块nginx_upstream_check_module-master 下载地址：https://nodeload.github.com/yaoweibin/nginx_upstream_check_module/zip/master

在这里所用的软件默认下载到/usr/local/src目录中

2、安装之前要给nginx添加个用户：

1. # groupadd nginx 
2. # useradd -g nginx nginx 

3、安装Nignx，并加入所需的扩展模块

1. # cd /usr/local/src 
2. 解压那两个扩展模块包 
3. # unzip nginx-upstream-jvm-route-master.zip 
4. # unzip nginx_upstream_check_module-master.zip 
5. 之后再来安装nginx 
6. # tar zxvf nginx-1.2.5.tar.gz 
7. # cd nginx-1.2.5 
8. 下面对nginx加入扩展模块 
9. # patch -p0 < ../nginx-upstream-jvm-route-master/jvm_route.patch  
10. # patch -p1 < ../nginx_upstream_check_module-master/check1.2.2+.patch (在nginx 1.2以上的版本都要用这个patch不然后会报错的） 
11. # ./configure --prefix=/usr/local/nginx \
12. > --user=nginx --group=nginx --with-http_ssl_module \
13. > --with-http_flv_module --with-http_stub_status_module \
14. > --with-http_gzip_static_module --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
15. > --with-pcre \
16. > --add-module=/usr/local/src/nginx_upstream_check_module-master \
17. > --add-module=/usr/local/src/nginx-upstream-jvm-route-master 
18. 如果没有什么报错的话在结尾处会看如下所示的内容： 
19. configuring additional modules 
20. adding module in /usr/local/src/nginx_upstream_check_module-master 
21. checking for ngx_http_upstream_check_module ... found 
22.  + ngx_http_upstream_check_module was configured 
23. adding module in /usr/local/src/nginx-upstream-jvm-route-master 
24.  + ngx_http_upstream_jvm_route_module was configured 
25. checking for PCRE library ... found 
26. checking for PCRE JIT support ... not found 
27. checking for OpenSSL library ... found 
28. checking for zlib library ... found 
29. creating objs/Makefile 
30. 之后就可以make和make install了 
31. # make 
32. # make install 

这样Nginx就安装好了，下面给nginx制作一个启动脚本

1. # vim /etc/init.d/nginx 
2. 内容如下： 
3. #!/bin/sh  
4. # nginx - this script starts and stops the nginx daemon  
5. # chkconfig:     - 85 15     
6. # description:    Nginx is an HTTP(S) server, HTTP(S) reverse \  
7. #                             proxy and IMAP/POP3 proxy server  
8. # processname: nginx  
9. # config:            /etc/nginx/nginx.conf  
10. # config:            /etc/sysconfig/nginx  
11. # pidfile:         /var/run/nginx.pid  
12. # Source function library.  
13. . /etc/rc.d/init.d/functions 
14. # Source networking configuration.  
15. . /etc/sysconfig/network 
16. # Check that networking is up.  
17. [ "$NETWORKING" = "no" ] && exit 0 
18. nginx="/usr/local/nginx/sbin/nginx" 
19. prog=$(basename $nginx) 
20. NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf" 
21. [ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx 
22. lockfile=/var/lock/subsys/nginx 
23. make_dirs() { 
24.      # make required directories  
25.      user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -` 
26.      options=`$nginx -V 2>&1 | grep 'configure arguments:'` 
27.      for opt in $options; do 
28.              if [ `echo $opt | grep '.*-temp-path'` ]; then 
29.                      value=`echo $opt | cut -d "=" -f 2` 
30.                      if [ ! -d "$value" ]; then 
31.                              # echo "creating" $value  
32.                              mkdir -p $value && chown -R $user $value 
33.                      fi 
34.              fi 
35.      done 
36. } 
37. start() { 
38.         [ -x $nginx ] || exit 5 
39.         [ -f $NGINX_CONF_FILE ] || exit 6 
40.         make_dirs 
41.         echo -n $"Starting $prog: "  
42.         daemon $nginx -c $NGINX_CONF_FILE 
43.         retval=$? 
44.         echo  
45.         [ $retval -eq 0 ] && touch $lockfile 
46.         return $retval 
47. } 
48. stop() { 
49.         echo -n $"Stopping $prog: "  
50.         killproc $prog -QUIT 
51.         retval=$? 
52.         echo  
53.         [ $retval -eq 0 ] && rm -f $lockfile 
54.         return $retval 
55. } 
56. restart() { 
57.         configtest || return $? 
58.         stop 
59.         sleep 1 
60.         start 
61. } 
62. reload() { 
63.         configtest || return $? 
64.         echo -n $"Reloading $prog: "  
65.         killproc $nginx -HUP 
66.         RETVAL=$? 
67.         echo  
68. } 
69. force_reload() { 
70.         restart 
71. } 
72. configtest() { 
73.     $nginx -t -c $NGINX_CONF_FILE 
74. } 
75. rh_status() { 
76.         status $prog 
77. } 
78. rh_status_q() { 
79.         rh_status >/dev/null 2>&1 
80. } 
81. case "$1" in 
82.         start) 
83.                 rh_status_q && exit 0 
84.                 $1 
85.                 ;; 
86.         stop) 
87.                 rh_status_q || exit 0 
88.                 $1 
89.                 ;; 
90.         restart|configtest) 
91.                 $1 
92.                 ;; 
93.         reload) 
94.                 rh_status_q || exit 7 
95.                 $1 
96.                 ;; 
97.         force-reload) 
98.                 force_reload 
99.                 ;; 
100.         status) 
101.                 rh_status 
102.                 ;; 
103.         condrestart|try-restart) 
104.                 rh_status_q || exit 0 
105.                         ;; 
106.         *) 
107.                 echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"  
108.                 exit 2 
109. esac 
110.  
111. 保存后退出,并给它一个执行的权限。 
112. # chmod +x /etc/init.d/nginx 

下面就可以启动了，

1. # service nginx start 
2. Starting nginx:                                            [  OK  ] 

对于JDK与Tomcat的安装配置前面的博文中有详细的说明，在这里就不重复了，下面来配置一下Ngixn代理tomcat并实现session共享，及后端tomcat的健康检测。

对nginx的配置文件如下所示：

1. #user  nobody;   //运行nginx的用户，默认是nobody 
2. worker_processes  1; //这个是设定nginx开启的进程数，每个进程数据平均消耗10MB-20MB内存，一般一个就够了，如果是多核cpu建议指定和cpu的数量一样多的进程即可。 
3. #error_log  logs/error.log;  //设定错误日志 
4. #error_log  logs/error.log  notice; 
5. #error_log  logs/error.log  info; 
6. #pid        logs/nginx.pid; //设定进程的id的存储文件位置 
7. events {    //events指令用来设定Nginx的工作模式及其连接数的上限。 
8.     use epoll;  //设定epoll为Nginx的工作模式。 
9.     worker_connections  1024; 
10. } 
11. http { 
12.     include       mime.types; 
13.     default_type  application/octet-stream; 
14.     sendfile        on; 
15.     tcp_nopush     on; 
16.     keepalive_timeout  60; 
17.  
18.     gzip  on; 
19.     gzip_min_length 1k; 
20.     gzip_buffers 4 16k; 
21.     gzip_http_version 1.0; 
22.     gzip_comp_level 2; 
23.     gzip_types text/plain application/x-javascript text/css application/xml; 
24.     gzip_vary on; 
25.  
26.     upstream tomcat { 
27.         ip_hash;  //采用ip_hash调度算法
28.         server 192.168.1.222:8080; 
29.         server 192.168.1.222:9080; 
30.         check interval=3000 rise=2 fall=5 timeout=1000; \\这个是后台的健康检测 
31.         } 
32.     server { 
33.         listen       80; 
34.         server_name  localhost; 
35.         index index.jsp index.action; 
36.         root /usr/local/tomcat/app1/apps/fis; 
37.  
38.         location ~ .*\.(jsp|action|js)$ { 
39.                 proxy_pass      http://tomcat; 
40.                 proxy_redirect  off; 
41.                 proxy_set_header        Host    $http_host; 
42.                 proxy_set_header        X-Real-IP       $remote_addr; 
43.                 proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for; 
44.                 chunked_transfer_encoding       off; 
45.         } 
46.  
47.         location /status {          //在网页上查看后台tomcat和状态 
48.                 check_status; 
49.                 access_log off; 
50.         } 
51.         error_page   500 502 503 504  /50x.html; 
52.         location = /50x.html { 
53.             root   html; 
54.         } 
55.     } 
56. } 
57.                                                               

在Nginx端设置完成了，在这里要说明一下这个配置文件中采用了ip_hash调度算法，还有其他工作模式,在这里就不一一介绍了，说一下ip_hash工作模式，对于每个请求按访问ip的hash结果分配，这样来自同一个ip的访问用户固定访问一个后台的服务器，这个能有效解决动态网页session共享问题。

下面来配置tomcat,主要在sever.xml文件中配置，所需配置和在Apache代理时相同，请参考：

http://zhou123.blog.51cto.com/4355617/981560

配置完成后测试结果如下：

这个图片说明了，用户访问了jvm1这个服务器，然后把jvm1服务停止后结果如下：

由此可知session已经共享成功

下面来看一下，后台的健康检测

在浏览器中输入：http://192.168.1.222/status 结果如下：

当把一台服务停止后：

这个会很清楚的看到那个服务宕机了。

关于Nginx的内容简单的说到这里了。

本文转自 ZhouLS 51CTO博客，原文链接:http://blog.51cto.com/zhou123/1163090