负载均衡连载之五

  1. 云栖社区>
  2. 博客>
  3. 正文

负载均衡连载之五

技术小甜 2017-11-08 18:57:00 浏览552
展开阅读全文

6.5 lvs负载均衡集群运行维护

作者:田逸(sery@163.com
 
当我们把所有的配置做好并通过各项功能测试后,就可以把这个集群环境正式运行起来(这里忽略其它处理过程),但这并不意味着万事大吉。要使负载均衡环境真正的高可用并符合业务需求,还有事情需要去做的。这些事情包括:负载均衡环境中对象新增、变更及删除,状态监控,故障的排查处理等。
 
6.5.1 对象新增、变更及删除
 
这里的对象包括vip、真实服务器、服务(vip+端口号)等。从前面的事例可以得知,一对负载均衡器,可以承担多个服务的转发任务,因此在运行过程中,很可能因为业务本身的变化而新增、变更或删除对象。比如:某个服务负载趋于饱和,需新加服务器;有些业务下线了,需要从转发队列中把服务删除掉。
 
对象增加、变更及删除的操作,涉及负载均衡器和真实服务器。在负载均衡器方面,主要的操作就是修改keepalived的配置文件keepalived.conf;在真实服务器上,进行的操作主要是编写lvs配置脚本、运行或者关闭这个配置脚本。
 
在有2个负载均衡器的lvs环境,所作的配置文件keepalived.conf变更操作要在这两个服务器上都进行一遍,以保持配置和服务的一致性。
 
当我们进行对象增加、变更或删除的操作时,只要注意好执行的先后顺序,就能保证提供的服务不中断,用户的正常访问不受影响。
 
     对象新增
假定在负载均衡环境新增一个web服务器,其操作顺序是:
1、  启用新增服务器的web服务。
2、  启用新增服务器的lvs客户端配置脚本。
3、  检验“1”和“2”两步的正确性。
4、  修改负载均衡器的配置文件keepalived.conf
5、  关闭第一个lvs负载均衡器,所有的转发服务将切换到另外一个负载均衡器上。
6、  启用“5”关闭的那个负载均衡器,然后关闭“5”中还在运行的那个负载均衡器。
7、  重新启动“6”所关闭的负载均衡器。
 删除对象
假定在负载均衡环境删除一个web服务器,其操作顺序是:
1、  关闭欲下线服务器的web服务。这样负载均衡器的健康检查会自动把该web服务从转发队列删除掉。
2、  卸载欲下线服务器的vip地址。即执行/usr/local/bin/lvs_real stop操作。
3、  修改负载均衡器的配置文件keepalived.conf
4、  关闭第一个lvs负载均衡器,所有的转发服务将切换到另外一个负载均衡器上。
5、  启用“4”关闭的那个负载均衡器,然后关闭“4”中还在运行的那个负载均衡器。
6、  重新启动“6”所关闭的负载均衡器。
     变更对象
与前两种方式的操作步骤基本相似,不再赘述。
 
这里再强调一下,如果真实服务器上的服务没关闭而把其上的vip卸载的话,某些用户的请求仍然会被负载均衡器转发过来,导致请求失败。因此,要记住,无论如何,请先关服务!
 
6.5.2 状态监控
 
为了随时随地了解整个lvs负载均衡环境的运行情况,我们必须对其进行有效的监控。当出现异常或故障时,监控系统能及时有效的通知维护人员,以便问题得以及时地处理。这也是提高可靠性的一个保障措施。
 
有很多开源的或商业类型的监控系统可供选择,本书选定开源的nagios作为监控平台,关于nagios的相关细节,请参照“网络服务及主机资源监控-nagios”一章。
 
可供nagios监控的对象很多,对lvs负载均衡环境而言,怎么选定对象才是最有效的呢?这里我们先来回顾一下lvs负载均衡环境运行时,其存在的表现形式有哪些?
 
1、  负载均衡器及真实服务器。
2、  各真实服务器上运行的服务。
3、  Lvs公用的vip
 
根据这些表现形式,我们选取存活检查及服务状态作为监控对象,就可以清晰地了解lvs负载均衡环境的运行状况。把它具体化,可分为:
1、  负载均衡器及真实服务器的存活检查。只有这些服务器运行正常,才可能有其他依赖服务。
2、  Vip的存活检查。一般情况下,启用了lvs环境后,是可以用ping的方式检查vip的。
3、  真实服务器服务状态检查。
4、  Vip对应的服务状态检查。一般通过check_tcp加端口号的形式实现。如果web集群,可以以check_http!url的方式更精确的检查。
 
6.5.3 故障处理
 
在对lvs运行环境进行有效的监控后,一旦有故障或异常发生,系统管理人员将会得到及时的通知。并且这些报警信息往往包含故障的基本情况,如负载过高、主机down了、服务严重不可用(critical)、磁盘空间快满了等等,这些信息非常有利于系统管理员定位故障点。如果没有一个有效的监控系统,故障的报告往往来自用户的报告。这些报告笼统而模糊,可能包含“你们的网站不能访问了”之类的字眼,要定位故障点,可能会花费更多的时间。
 
在知晓和定位故障以后,结下来就是分析和处理故障。Lvs负载均衡的故障点可分为:负载均衡器故障、真实服务器故障、vip故障、服务故障这几个部分。这些故障出现后,怎么着手处理?下面分别论述之。
 
     负载均衡器发生故障的检查点
1、  查看系统日志 /var/log/messages ,了解内核是否有报错信息。因为keepalived的日志也被追加到系统日子,因此通过系统日志,也能了解keepalived的运行情况。
2、  检查负载均衡器的网络连通状况。这包括ip地址的设置是否正确,是否能远程访问(如ping tracert等)。
3、  检查keepalived的运行情况。这包括进程是否处于运行中,ipvs模块是否被加载到系统的内核,vip是否被绑定到网络接口,ipvsadm是否有输出。
4、  检查负载均衡器的系统负载。
5、  检查keepalived的配置文件书写是否正确。因为keepalived启动过程不对配置文件做语法检查,因此在运行前,必须按需求表逐项检查配置文件keepalived.conf 的内容。有时,就可能就是因为漏写了一个“}”符号而导致意外的结果。配置文件的内容检查还包括主从优先级priority、虚拟路由标识virtual_router_id、路由标识router_id等几个部分,这些值有些是必须相同的、有些则必须不同。
6、  检查负载均衡器是否启用防火墙规则。
 
     真实服务器发生故障的检查点
1、  查看系统日志 /var/log/messages ,了解内核是否有报错信息。
2、  检查服务器的网络连通状况。
3、  检查服务是否正常运行。可以结合察看进程、模拟用户访问来确定。
4、  检查服务器的负载情况,看哪些进程占用较高的资源。如果暂停占资源高的进程,情况会怎么样?
5、  检查vip是否被绑定。Linux只能通过ip add 指令察看,freebsd ifconfig就可以了。
6、  检查主机防火墙是否被启用。如果需要启用主机防火墙,则应设置好过滤规则。
7、  从客户端直接访问服务器的服务,看是否能正常访问。这是dr模式的一个优点。
 
     vip发生故障的检查点
1、  检查负载均衡器的vip是否被绑定。
2、  检查负载均衡器ipvsadm的输出,察看输出的vip项是否与我们的设定相一致。
3、  检查各真实服务器的vip是否被绑定。
4、  从客户端测试一下vip的连通情况,如ping vip
5、  检查vip地址是否与其它服务器的地址相冲突。
 
     服务发生故障检查点
1、  检查服务是否正常运行。如查进程、模拟用户访问等。
2、  检查系统的负载情况。
3、  检查是否启用主机防火墙。
 
一旦知道问题的所在,解决问题本身就不再是什么困难的事情了,因此这里不再一一列举对应的解决方法。
 
6.5.4 数据备份
 
Lvs负载均衡环境需要备份的数据包括keepalived配置文件和lvs客户端配置脚本。因为这两个文件都是文本文件,并且尺寸小(几k而已),因此可以以复制的方式进行备份。如果把备份放在windows环境的话,尽量不要用word、写字板一类的工具修改它。如果用windowsword之类的工具编辑这两个文件,上传到linux服务器时,会出现格式问题,而导致运行错误。当然,可以用dos2unix修正格式,或者在vi的命令模式下,以“:set ff=unix”方式转换格式。














本文转自sery51CTO博客,原文链接:http://blog.51cto.com/sery/211403 ,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术小甜
+ 关注