解说Apache+Tomcat+JK实现Tomcat的负载和集群

好长时间没更新博客了，今天终于把Apache与Tomcat的结合研究出来了，不多说了还是把过程写出来吧。

实现环境

虚拟机上实现的：操作系统：Cetnost 5.4 内核：2.6.18-194.el5

server1: ip 192.168.1.107 255.255.255.0

server2:ip 192.168.1.139 255.255.255.0

2. 所用的到软件

httpd-2.2.22.tar.gz

apache-tomcat-6.0.35.tar.gz

tomcat-connectors-1.2.37-src.tar.gz（apache与Tocmat的连接器）

jdk-6u33-linux-i586-rpm.bin

3. 安装前的准备

安装需要的编译程序

# yum -y install gcc gcc-c++ gcc-gfortran ncurses-devel

4. 下面开始准备安装

安装JDK

因为Cetnos系统会自带一个java版本，要把自带的java版本卸掉。

查看版本：
# java -version
java version "1.6.0_18"
Java(TM) 2 Runtime Environment, Standard Edition (build 1.6.0_18-b02)
Java HotSpot(TM) Client VM (build 1.6.0_18-b02, mixed mode, sharing)
查看JDK软件包名称：
# rpm -qa | grep jdk
java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
卸载：
# yum -y remove java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5
# rpm -qa | grep gcj
libgcj-4.1.2-48.el5
java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
# yum -y remove libgcj-4.1.2-48.el5 java-1.4.2-gcj-compat-1.4.2.0-40jpp.115
卸载完成

完成之后，再来查看java的版本

# java -version

-bash: java: command not found

说明卸载完成。

下面开始安装JDK

我把有的软件都放在了/setup/这个目录下了，下面来安装吧

# cd /setup/jdk/
# chmod +x jdk-6u33-linux-i586-rpm.bin

要执行这个文件要用到root用户

#./jdk-6u33-linux-i586-rpm.bin

根据所显示的提示信息很顺利就能安装完成。

默认安装在 /usr/java 目录下,我们做一个软连接

# ln -s /usr/java/jdk1.6.0_33/ /usr/local/java

设置环境变量

# vi /etc/profile
安"i"进入编辑模式
在最后加入:
export JAVA_HOME=/usr/java/jdk1.6.0_33
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
保存退出！
使生效: # source /etc/profile

完成后再来查看版本信息

# java -version
java version "1.6.0_33"
Java(TM) SE Runtime Environment (build 1.6.0_24-b07)
Java HotSpot(TM) Client VM (build 19.1-b02, mixed mode, sharing)

Apache的安装

# cd /setup/apache
# tar zxvf httpd-2.2.22.tar.gz
# cd httpd-2.2.22
# ./configure --prefix=/usr/local/apache
# make
# make install
这里的apche只指定了安装目录其他的都是默认。

下面来启动一下

# /usr/local/apache/bin/apachectl start

接着就要查看80端口是否启动。

Apache与Tomcat的连接器的安装

开始安装apache与Tomcat的连接器 tomcat-connectors-1.2.37-src.tar.gz

# cd /setup/tomcat
# tar zxvf tomcat-connectors-1.2.37-src.tar.gz
# cd tomcat-connectors-1.2.37-src/native/
# ./configure --with-apxs=/home/fisuser/FIS/apache/bin/apxs
# make
# make install

安装完成之后就会在 /usr/local/apache/modules/目录中有一个mod_jk.so

# ls

httpd.exp mod_jk.so

这样Apache与Tomcat的连接器安装成功了。

下面来安装一下Tocmat

这个软件不用编译的，解压后就可以用了。

# cd /setup/tomcat
# tar zxvf apache-tomcat-6.0.35.tar.gz
# mv apache-tomcat-6.0.35 app1
# echo "JAVA_HOME=/usr/java/jdk1.6.0_33" >> /app1/bin/catalina.sh

接下来，就可以试着启动一下。

# /setup/tomcat/app1/bin/catalina.sh start

查看端口是否启动起来

# netstat -tlnp
tcp 0 0 ::ffff:127.0.0.1:8005 :::* LISTEN 26633/java
tcp 0 0 :::8009 :::* LISTEN 26633/java
tcp 0 0 :::8080 :::* LISTEN 26633/java

有这三个端口，说明Topmcat启动正常，你可以用浏览器来打开，一定能看到那个“猫”。

在第二台虚拟中只要有个Tomcat就行了，所有要在第二台虚拟中安装上JDK,Tomcat就可以了。

到此，Tomcat JDK Apache JK 安装完成，下面开始核心部分连接Apache与Tomcat，并实现Tomcat的负载和集群。

5. 配置Apache与Tomcat

配置Apache

编辑Apache的httpd.conf文件

所要做工作就是开启虚拟主机，并加上mod_jk.conf这个模块，如下所示：

# cp httpd.conf httpd.conf.bak （改变之前要备份一下）
# vim httpd.conf
在httpd.conf文件中找到：“Include conf/extra/httpd-vhosts.conf”把前的#号去掉即可。
接着在后面加入一行：
Include conf/mod_jk.conf

完成之后，首来做虚拟主机吧。

# cd /usr/local/apache/conf/extra
# vim httpd-vhosts
把原有的虚拟主机注释掉，加入如下所示的行：
<VirtualHost *:80>
ServerName www.zhou.com
JkMountFile conf/uriworkermap_app1.properties
</VirtualHost>

在这里我们看到有两个我们不明白的一个就是mod_jk.conf, 一个就是：

uriworkermap_app1.properties

这两个文件中做什么的，接着看下面：

先来创建mod_jk.conf这个文件，这个文件当然是在/usr/local/apache/conf/这个目录下创建了，在httpd.conf中你指定的目录，我指定的是这个目录，所以我在这个目录下创建。内容如下：

# vim mod_jk.conf
LoadModule jk_module modules/mod_jk.so
JkWorkersFile conf/workers.properties
JkLogFile "logs/mod_jk.log"
JkLogLevel info
JkLogStampFormat "[%a %b %d %H:%M:%S %Y]"
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
JkRequestLogFormat "%w %V %T"
JkShmFile logs/jk.shm
HostnameLookups Off

在这里说明一下文件的内容：

第一句是加载mod_jk.so这个模块的。

第二名是JKWorkersFile 指定负载均衡服务器的配置文件，文件名为相对于apache服务器所在目录的

第三句是JKLogFile　指定JK连接器的日志输出文件，文件为相对于apache服务器所在目录的logs/mod_jk.log文件

第四句:JKLogLevel 是指的日志级别。级别为warn以上的日志将被输出到日志文件中，可选的值级别由低到高分别为：TRACE DEBUG INFO WARN ERROR FATAL

下面的几句我也不知道是什么意思，这个是在网上找的某大神的作品，

好了，下面再来说一下，workers.properties这个文件

同样在/usr/local/apache/conf/目录下创建，内容如下：

worker.list=tomcat,jkstatus
#107
worker.server107.port=8009
worker.server107.host=192.168.1.107
worker.server107.type=ajp13
worker.server107.lbfactor=10
worker.server107.cachesize=5
#139
worker.server139.port=8009
worker.server139.host=192.168.1.139
worker.server139.type=ajp13
worker.server139.lbfactor=10
worker.server139.cachesize=5
worker.tomcat.type=lb
worker.tomcat.balance_workers=server107, server139
worker.tomcat.sticky_session_force=false
worker.jkstatus.type=status
worker.jkstatus.mount=/admin/jk
worker.retries=3

解释一下：

worker.list 是定义了两个工作列表：一个是tomcat,一个是jkstatus 。在tomcat列表中定义了两个tomcat_server,一个是：server107,一个是：server139。

worker.server107.port=8009 是定义了端口号，一定是tomcat中server.xml中的8009 。这里我是在两台不同机器上的虚拟机做的，所以端口号没有改变。如果是在一台虚拟上做的两个Tomcat，那么只需要第二个Tomcat的端口号设置的与第一个Tomcat的端口号不同就行了，具体随意，只要能用就行。

worker.server107.host 这个是定义主机。

worker.server107.type=ajp13 JK模块实现负载均衡采用的是AJP协议1.3版本，因此第一台负载均衡服务器的类型配置为ajp13

worker.server107.lbfactor 第一台负载均衡服务器在整个负载均衡系统中所占的权重，这里配置为10，权重越大，越有可能处理更多的请求，建议给性能好的机器配置更高的权重。

worker.s1.cachesize：apache 服务器是多线程的，tomcat能够利用这一优势来维持一定数量的连接作为缓存。根据用户的多少来配置一个合适缓存连接数量有助于提高性能。这里配置为5

下面的都相同了，如果有多个Tomcat同样一样的配置，所用的参数自己来调即可。

worker.tomcat.type=lb 这个是配置tomcat的类型为“lb”也就是Load Balance负载均衡。

worker.tomcat.balance_workers=server107,server139 这个是负载均衡的两个tomat的server名称。

worker.tomcat.sticky_session_force=flase

设置负载均衡是否采用粘性会话。如果该属性设置为true，假设一个请求被server107处理了，下次来源于同一个客户端的请求也将被server107处理。直到server107已经达到最大连接数，JK才会将会话切换到其他服务器上。但是如果恰巧一直负责处理该会话的服务器down掉了，则会话将会丢失，明显的故障现象就是关于session的操作会出现莫名其妙的错误（例如你所运行的应用中用户可能已经登录了，但突然在一次访问后莫名其妙地提示没有登录）。这里配置为false，不启用粘性会话，让服务器都有机会处理请求，提高了系统的稳定性。

worker.jk_watcher.type=status 这里配置为status，用于监视各个负载均衡服务器实例的运行状态

worker.jk_watcher.mount=/tomcat/jk 设置名称为“jk_watcher”的worker（负载均衡服务器实例监视器）的挂载路径，这里配置为/tomcat/jk

worker.retries=5 这是worker全局的重试次数。在apache服务器启动后，会最多尝试若干次去连接这些负载均衡服务器，若连接不上就认为是down掉了，这里配置为3

下面再来说一下 uriworkermap_app1.properties 这个文件

这个文件的作用是告诉apache服务器哪些请求由负载均衡服务器处理，文件内容如下：

/*=tomcat
/jkstatus=jk_watcher
!/*.gif=tomcat
!/*.jpg=tomcat
!/*.tif=tomcat
!/*.png=tomcat

说明一下，在配置文件中，以“!”开头的条件表示“不要”，“=”表示交给。

/*=tomcat

其中“/*”表示所有的请求都给tomcat（就是在worker.properties中定义的那个worker.list中的tomcat）

/jkstatus=jk_watcher

!/*.gif=tomcat

!/*.jpg=tomcat

!/*.tif=tomcat

!/*.png=tomcat

这些表示以“.gif”等结尾的不交于tomcat处理。

以上完成了在Apache上的配置，下面先来配置Tocmat中的sever.xml文件来实现简单的负载均衡。

下面来配置tomcat的负载均衡。在server1=192.168.1.107上完成

在apache中完成了配置后，就来配置Tomcat

# cd /setup/tomcat/app1/conf/

编辑server.xml这个文件

所要做的工作是，如果是在同一台机器上做的，就要改端口了，所要改的端口如下：

这里显示的是文件中原始的端口，只要改这三个端口就可行了。

下面来配置来实现tomcat的负载，在配置文件中找到：

改变为：

这里说明一下，句主要是jvmRoute这个参数，这个参数配置为server139，这个是在worker.properties定义的一个server，配置后就会实现107上的请求会转发到139上去，来实现负载，同样在server2=192.168.1.139的上配置也是相同的，只是jvmRoute的参数变为“server107”.这样完成后，就可以测试一下了，这里有个测试的文件，index.jsp 文件内容如下：

<%@ page language="java" import="java.util.*" pageEncoding="UTF-8"%>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<html>
<head>
<title>My JSP 'index.jsp' starting page</title>
<meta http-equiv="pragma" content="no-cache">
<meta http-equiv="cache-control" content="no-cache">
<meta http-equiv="expires" content="0">
<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
<meta http-equiv="description" content="This is my page">
<!--
<link rel="stylesheet" type="text/css" href="styles.css">
-->
</head>
<body>
This is my JSP page. <br>
</body>
</html>

把这个文件放到webapps目录下的test目录当然要先创建这个目录。要两tomcat中都要放入。

下面是测试的结果:

刷新后结果：

结果不同，是因为我放的网页不相同，使得结果更加清楚的显示出来。

这样就简单的实现的Tomcat的负载均衡。

下面来配置集群：

同样是编辑server.xml文件

改变后的文件如下所示：

<?xml version='1.0' encoding='utf-8'?>
<Server port="8005" shutdown="SHUTDOWN">
<Listener className="org.apache.catalina.core.AprLifecycleListener" SSLEngine="on" />
<Listener className="org.apache.catalina.core.JasperListener" />
<Listener className="org.apache.catalina.core.JreMemoryLeakPreventionListener" />
<Listener className="org.apache.catalina.mbeans.ServerLifecycleListener" />
<Listener className="org.apache.catalina.mbeans.GlobalResourcesLifecycleListener" />
<GlobalNamingResources>
<Resource name="UserDatabase" auth="Container"
type="org.apache.catalina.UserDatabase"
description="User database that can be updated and saved" factory="org.apache.catalina.users.MemoryUserDatabaseFactory"
pathname="conf/tomcat-users.xml" />
</GlobalNamingResources>
<Service name="Catalina">
<Connector port="8080" protocol="HTTP/1.1" minProcessors="10" maxProcessors="1024" enableLookups="false" acceptCount="1024"
connectionTimeout="20000" useBodyEncodingForURI="true" URIEncoding="utf-8" compression="on" compressionMinSize="2048" noCompressionUserAgents="gozilla,traviata" compressableMimeType="text/html,text/xml,text/javascript,text/css,text/plain"
redirectPort="8443" />
<Connector port="8009" protocol="AJP/1.3" redirectPort="8443" useBodyEncodingForURI="true" URIEncoding="utf-8"/>
<Engine name="Catalina" defaultHost="localhost" jvmRoute="server107">
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster" channelSendOptions="8">
<Manager className="org.apache.catalina.ha.session.DeltaManager" expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"/>
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<MemberShip className="org.apache.catalina.tribes.membership.McastService"
bind="192.168.1.139"
address="228.0.0.4"
port="45564"
frequency="500"
droptTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="192.168.1.139"
port="4000"
autoBind="100"
selectorTimeout="5000"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
</Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
</Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve" filter=".*\.gif;.*\.js;.*\.jpg;.*\.htm;.*\.html;.*\.txt;"/>
<Valve className="org.apache.catalina.ha.session.JvmRouteBinderValve"/>
<ClusterListener className="org.apache.catalina.ha.session.JvmRouteSessionIDBinderListener"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
</Cluster>
<Realm className="org.apache.catalina.realm.UserDatabaseRealm"
resourceName="UserDatabase"/>
<Host name="localhost" appBase="webapps"
unpackWARs="true" autoDeploy="true"
xmlValidation="false" xmlNamespaceAware="false">
</Host>
</Engine>
</Service>
</Server>

这个是去掉注释的部分后的文件内容，其中橙色部分是配置集群的部分这些要手动写进去的。其中“ bind = "192.168.1.139" ”这个server2=192.168.1.139上的集群配置。在107上要写成107的ip地址。如果是在同一台机器上的两个tomcat，这个ip可以一样，只是下面的端口要改变一下。也就是这相要变一下 port = "45564“

这里的配置还能实现session同享。这里也有个测试的网页。test.jsp

内容如下：