IBM HA双机光交链路问题导致的oracle数据库exp备份问题

简介:     12月份,上地机房进行电源割接,不少光线交换机重启,业务系统、数据库主机也进行了重启,但是由于设备重启顺序不同导致一内容拨测系统数据库出现了异常。     出问题的数据库所在主机是IBM的AIX 6100,数据库版本是11.2.0.4,采用的是HA双机软件管理的热备双机,数据库安排的有exp定时计划任务。
    12月份,上地机房进行电源割接,不少光线交换机重启,业务系统、数据库主机也进行了重启,但是由于设备重启顺序不同导致一内容拨测系统数据库出现了异常。
    出问题的数据库所在主机是IBM的AIX 6100,数据库版本是11.2.0.4,采用的是HA双机软件管理的热备双机,数据库安排的有exp定时计划任务。
    出现的问题是:数据库exp定时备份计划任务出现告警,
    处理过程:
使用ps -ef|grep exp发现后台有3个exp相关的.sh备份进程挂起;
查看备份目录发现有3天前的备份文件和备份日志,但是备份文件是4096字节,而备份日志是0字节;
首先杀死3个相关的exp备份进程,删除失败的备份日志和备份文件,重新发起exp备份,发现备份卡在登录sqlplus 2个小时候自动断开,而备份文件还是4096字节,备份日志是0字节;
从服务器端登录sqlplus,select username from dba_users;能查询到数据库相关用户,select file_name,tablespace_name from dba_data_files;却一直卡主没有输出结果;
退出sqlplus切换到root用户lsvg能输出相关vg信息,lsvg -p rootvg显示rootvg相关的2个pv卷信息,但是lsvg -p vg_oravg却是卡主没有输出;
经AIX主机工程师查看并与系统管理员沟通判断是电源切割引起光交链路发生改变,而AIX主机不识别链路导致的;
尝试使用root 通过smit hacmp将服务切换到备机解决链路不识别问题,发现HA切换失败;
接下来重启HA相关的2个主机,重启完成后lsvg -p vg_oravg有正常输出,登录数据库查询数据文件正常,重新发起exp备份4分钟完成;
到此故障解决。
        
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
8天前
|
SQL Oracle 关系型数据库
【Oracle】玩转Oracle数据库(一):装上去,飞起来!
【Oracle】玩转Oracle数据库(一):装上去,飞起来!
45 7
|
25天前
|
Oracle 关系型数据库 数据库
Oracle数据库基本概念理解(3)
Oracle数据库基本概念理解(3)
18 2
|
8天前
|
SQL Oracle 关系型数据库
【Oracle】玩转Oracle数据库(七):RMAN恢复管理器
【Oracle】玩转Oracle数据库(七):RMAN恢复管理器
35 5
|
25天前
|
Oracle 关系型数据库 数据库
Oracle数据库基本概念理解(2)
Oracle数据库基本概念理解(2)
13 1
|
8天前
|
存储 SQL Oracle
【Oracle】玩转Oracle数据库(二):体系结构、存储结构与各类参数
【Oracle】玩转Oracle数据库(二):体系结构、存储结构与各类参数
32 7
|
10天前
|
数据库
使用Navicat Premium 12进行数据库定期自动备份(定时任务)--图文详解
使用Navicat Premium 12进行数据库定期自动备份(定时任务)--图文详解
18 0
|
25天前
|
Oracle 关系型数据库 数据库
Oracle数据库基本概念理解(1)
Oracle数据库基本概念理解(1)
12 1
|
25天前
|
Oracle 关系型数据库 MySQL
Seata常见问题之oracle 数据库 报 just support mysql如何解决
Seata 是一个开源的分布式事务解决方案,旨在提供高效且简单的事务协调机制,以解决微服务架构下跨服务调用(分布式场景)的一致性问题。以下是Seata常见问题的一个合集
53 0
|
1月前
|
Oracle Java 关系型数据库
SpringBoot整合Mybatis连接Oracle数据库
SpringBoot整合Mybatis连接Oracle数据库
SpringBoot整合Mybatis连接Oracle数据库
|
1月前
|
SQL 存储 数据库
数据安全无忧,SQL Server 2014数据库定时备份解密
数据安全无忧,SQL Server 2014数据库定时备份解密