一套典型RAC硬件环境(双主机,单个盘柜,通过光纤跳线分接2个博科SAN交换机,rhel6.4的linux操作系统)


故障现象:

1、创建ASM磁盘时提示资源繁忙

orcleasm createdisk VOL1 /dev/sdb1


问题排查过程:

一、rdac多路径软件安装配置不正确

查看RDAC是否安装正确命令:

fdisk -l  (看是否生效最直接的方式,如果存储是8个卷,服务器就应该只能识别到8个设备,如果数量远大于就说明多路径并没有生效)


lsmod |grep mpp  (主要是看模块是否正常加载)


mppUtil -V  (查看版本)


mppUtil -a (查看阵列信息)


/opt/mpp/lsvdev  (查看卷信息)


ls -lR /proc/mpp  (查看阵列控制器和卷信息)


结查发现都是正常的。在执行fdisk -l命令时同时发现很多/dev/mapper/mpathxx的设备,猜测服务器中应该还有另一个多路径设备在起作用。


二、定位DM-multipath是否生效

service multipathd status   (查看dm-multipath服务状态)


lsmod |grep dm_multipath  (检查模块是否正常加载)


multipath -ll   (查看虚拟出的卷信息)


multipath -v2    (查看虚拟出的卷信息)


通过以上配置可清楚发现dm-multipath是生效的,因此猜测是dm-mutipath与rdac产生了资源争用的冲突才异致故障。


解决故障过程:

一、第一种方法是禁用dm-multipath这个红帽自带的多路径软件

方法:servcice multipathd stop 

   checkconfig multipathd off


经过测试,这个方法依旧没有用,禁用后重启操作系统仍然可以看到/dev/mapper/mpathxx,创建asm磁盘不成功。后来找到了原因,需要将接在服务器上的光纤拔掉后重启操作系统才有效。


二、第二种方法是卸载dm-multipath多路径软件

方法:采用安装源的方式卸载 yum remove device-mapper*

这种方式虽然可以成功卸载dm-multipath多路径软件,但也带来了一些其它的问题,device-mapper的依赖包太多了,将图形桌面的一些包都一起卸载掉了,启图形桌面会有问题。


三、第三种方法重新安装系统时不选择与存储相关的安装选项

虽然这种方法很笨,但我们还是采用了这种方法,因为前面的方法都没有生效,重装操作系统后,安装并配置好rdac后再也看不到该死的/dev/mapper/mpathxx了。创建asm磁盘总算没问题了。


关于DM-multipath与RDAC

DM-multipath是redhat开发的多路径软件,支持大多数的存储设备,通常无需做任何配置即可使用。

RDAC通常是各存储厂商针对自己的存储设备开发的多路径软件,经过简单的配置即可使用。