OEL7.2下Oracle11.2.0.4RAC部署
一、 安装步骤简述
u OEL7.2操作系统安装
u RAC 安装环境配置
u ORACLE CRS安装
u ORACLE DB软件安装
u ORACLE实例安装
u 环境检查
二、 OEL7.2操作系统安装
1 插入OEL7.2操作系统安装光盘或加载ISO文件
2 引导安装光盘，回车后开始安装
3 选择操作系统语言--continue 
4 时区选择亚洲—上海--DONE 
5 语言支持选择—english 和 简体中文 
6 安全策略--off 
7 Software selection—server with gui 
8 选择安装磁盘 
9 网络与主机名配置 
10 开始安装 
11 完成操作系统安装后登录 
三、 RAC安装环境配置
1 添加用户、组及配置权限
groupadd oinstall
groupadd dba
groupadd oper
groupadd asmadmin
groupadd asmdba
groupadd asmoper
useradd -g oinstall -G dba,asmdba,asmadmin,asmoper grid
useradd -g oinstall -G dba,oper,asmdba oracle
usermod -g oinstall -G dba,oper,asmdba oracle
passwd grid
Passwd oracle
Id oracle
id grid
mkdir -p /u01/app/11.2.0/grid
mkdir -p /u01/app/grid
chown -R grid:oinstall /u01/
mkdir -p /u01/app/oracle
chown -R oracle:oinstall /u01/app/oracle
chmod -R 775 /u01/
2 修改操作系统环境变量:
oracle用户
vi .bash_profile
export ORACLE_BASE=/u01/app/oracle
export ORACLE_CRS_HOME=/u01/app/grid
export ORACLE_HOME=/u01/app/oracle/product/11.2.0/db_1
export ORACLE_SID=orcl1
export ORACLE_TERM=xterm
export PATH=/usr/sbin:$PATH
export PATH=$ORACLE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib
export CLASSPATH=$ORACLE_HOME/JRE:$ORACLE_HOME/jlib:$ORACLE_HOME/rdbms/jlib
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
grid用户
export ORACLE_SID=+ASM1
export ORACLE_BASE=/u01/app/grid
export ORACLE_HOME=/u01/app/11.2.0/grid
export LD_LIBRARY_PATH=$ORACLE_HOME/lib
export NLS_DATE_FORMAT="yyyy-mm-dd HH24:MI:SS"
export PATH=$ORACLE_HOME/bin:$PATH
3 复制安装文件至服务器
Mkdir /mnt/cdrom
Mount –o username=administrator,password=123 //1.1.1.1/iso /mnt/cdrom
复制文件至服务器/u01目录下进行解压
4 安装cvuqdisk
[root@his1 rpm]# rpm -ivh cvuqdisk-1.0.9-1.rpm
Preparing... ################################# [100%]
Using default group oinstall to install package
Updating / installing...
1:cvuqdisk-1.0.9-1 ################################# [100%]
5 安装软件包查询
rpm -q --qf '%{NAME}-%{VERSION}-%{RELEASE}(%{ARCH})\n' binutils \
elfutils-libelf \
elfutils-libelf-devel \
gcc \
gcc-c++ \
glibc \
glibc-common \
glibc-devel \
glibc-headers \
ksh \
libaio \
libaio-devel \
libgcc \
libstdc++ \
libstdc++-devel \
make \
sysstat \
unixODBC \
unixODBC-devel
6 安装缺失安装包
rpm -ivh elfutils-libelf-devel-0.163-3.el7.x86_64.rpm
rpm -ivh libaio-devel-0.3.109-13.el7.x86_64.rpm
rpm -ivh unixODBC-2.3.1-11.el7.x86_64.rpm
rpm -ivh unixODBC-devel-2.3.1-11.el7.x86_64.rpm
rpm -ivh ksh-20120801-22.el7_1.2.x86_64.rpm
7 防火墙配置：
关闭firewall：
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态（关闭后显示notrunning，开启后显示running）
8 Selinux配置
修改/etc/sysconfig/selinux确保SELINUX=disabled，然后执行setenforce 0或者reboot服务器以生效最小配置，
将SElinux设置为PERMISSIVE模式：
setenforce 0
getenforce
9 Hosts文件配置
172.16.0.107 rac1
172.16.0.108 rac2
1.1.1.1 rac1-priv
1.1.1.2 rac2-priv
172.16.0.109 rac1-vip
172.16.0.110 rac2-vip
172.16.0.111 rac-scan
10 修改/etc/sysctl.conf文件
fs.aio-max-nr = 1048576
fs.file-max = 6815744
kernel.shmall = 2097152
kernel.shmmax = 4294967295
kernel.shmmni = 4096
kernel.sem = 250 32000 100 128
net.ipv4.ip_local_port_range = 9000 65500
net.core.rmem_default = 262144
net.core.rmem_max = 4194304
net.core.wmem_default = 262144
net.core.wmem_max = 1048576
For 64-bit systems with 64GB of RAM:
kernel.shmmax=34359738368
kernel.shmmni=4096
kernel.shmall=16777216
vm.nr_hugepages=16384
sysctl –p
11 修改removeIPC参数
为了避免linux7.2的新特性，在一个user完全退出OS后会remove掉所有的IPC对象，需要修改如下参数
1).设置/etc/systemd/logind.conf中(OEL默认值)
RemoveIPC=no
2).重启服务器或者重启systemd-logind
systemctl daemon-reload
systemctl restart systemd-logind
12 配置文件系统描述符 /etc/security/limits.conf
grid soft nproc 2047
grid hard nproc 16384
grid soft nofile 1024
grid hard nofile 65536
grid soft stack 10240
oracle soft nproc 2047
oracle hard nproc 16384
oracle soft nofile 1024
oracle hard nofile 65536
oracle soft stack 10240
13 配置/etc/profile,添加
if [ $USER = "oracle" ] || [ $USER = "grid" ];then
if [ $SHELL = "/bin/ksh" ];then
ulimit -p 16384
ulimit -n 65536
else
ulimit -u 16384 -n 65536
fi
umask 022
fi
export PATH=$PATH:/u01/app/11.2.0/grid/bin
14 Vmware workstation添加虚拟磁盘
OCR 1G DATA 20G
先添加HIS1节点的磁盘，再至HIS2添加已经存在的磁盘，预先分配好磁盘空间
15 选择磁盘通道:
Ocr选择1:0通道，data选择1:1通道
16 修改HIS1与HIS2的vmx文件，增加以下内容：
disk.locking="FALSE"
disk.EnableUUID="TRUE"
diskLib.dataCacheMaxSize="0"
diskLib.dataCacheMaxReadAheadSize="0"
diskLib.dataCacheMinReadAheadSize="0"
diskLib.dataCachePageSize="4096"
diskLib.maxUnsyncedWrites="0"
scsi1:0.sharedBus="VIRTUAL"
scsi1:0.virtualDev="lsilogic"
scsi1:0.deviceType="disk"
scsi1:1.sharedBus="VIRTUAL"
scsi1:1.virtualDev="lsilogic"
scsi1:1.deviceType="disk"
scsi1:2.sharedBus="VIRTUAL"
scsi1:2.virtualDev="lsilogic"
scsi1:2.deviceType="disk"
17 对新添加磁盘进行初始化
HIS1初始化后重启HIS2节点即可，不需要再对HIS2上磁盘进行初始化。
进行初始化操作：
18 磁盘配置
测试环境清理之前数据
dd if=/dev/zero of=/dev/sdb1
dd if=/dev/zero of=/dev/sdc1
dd if=/dev/zero of=/dev/sdd1
a. 获取需要绑定为asm磁盘的uuid,检查两台服务器上id是否一致
多路径下获取磁盘id
/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerb
/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerc
/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/emcpowerd
b. 绑写udev.rules文件
vi /etc/udev/rules.d/99-oracle-asmdevices.rules
常规磁盘配置：
KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045002988e0598f38600b", SYMLINK+="asm/asm-ocr", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e04500d187e059be4b8d61", SYMLINK+="asm/asm-data", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045008387e059821bbb14", SYMLINK+="asm/asm-fra", OWNER="grid", GROUP="asmadmin", MODE="0660"
EMC多路径磁盘配置：
KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045002988e0598f38600b", SYMLINK+="asm-ocr", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e04500d187e059be4b8d61", SYMLINK+="asm-fra", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="emcpower?", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id --whitelisted --replace-whitespace --device=/dev/$name", RESULT=="36006016002e045008387e059821bbb14", SYMLINK+="asm-data", OWNER="grid", GROUP="asmadmin", MODE="0660"
c. 查看绑定是否成功
udevadm test /sys/block/emcpowerb
udevadm info --query=all --path=/sys/block/emcpowerb
udevadm info --query=all --name=asm-ocr
udevadm test /sys/block/emcpowerc
udevadm info --query=all --path=/sys/block/emcpowerc
udevadm info --query=all --name=asm-fra
udevadm test /sys/block/emcpowerd
udevadm info --query=all --path=/sys/block/emcpowerd
udevadm info --query=all --name=asm-data
d. 重启udev服务
udevadm control --reload-rules
e. 检查设备绑定情况
ll /dev/asm*
f. 修改asm磁盘权限
chown -h grid:asmadmin /dev/asm/*
四、 安装Oracle CRS
1 使用grid用户执行安装包
./runInstaller
2 跳过软件更新
3 安装和配置群集grid
4 语言选择
5 群集节点及ssh配置—选择setup
6 完成安装
7 执行相关脚本
配置ohas服务：
在执行root.sh脚本之前，添加ohas服务：
a) cd /etc/systemd/system/
touch ohas.service
b) 编辑文件ohas.service 加入以下文本
[Unit]
Description=Oracle High Availability Services
After=syslog.target
[Service]
ExecStart=/etc/init.d/init.ohasd run >/dev/null 2>&1 Type=simple
Restart=always
[Install]
WantedBy=multi-user.target
c) 运行以下命令(as root):
systemctl daemon-reload
systemctl enable ohas.service
systemctl start ohas.service
d) 运行root.sh
在执行下root.sh脚本后，出现以下提示信息时请启动ohas服务：
：
Installing Trace File Analyzer
OLR initialization - successful
启动ohas服务：
查询安装程序是否已建立/etc/init.d/init.ohasd文件，如果已建立，则运行ohas服务：
systemctl start ohas.service
节点2执行root.sh
当显示：Adding Clusterware entries to inittab
启动ohas服务：
查询安装程序是否已建立/etc/init.d/init.ohasd文件，如果已建立，则运行ohas服务：
systemctl start ohas.service
8 完成后检查服务状态
五、 安装数据库软件
1 创建相关asm磁盘组
2 Oracle用户运行.runInstall 
3 选择只安装数据库软件
4 选择在两个服务器上安装实例
5 配置oracle用户等效性
6 选择安装语言
7 安装企业版
8 忽略部分检查错误
9 安装过程中报错
To fix this error edit $ORACLE_HOME/sysman/lib/ins_emagent.mk, search for the line
$(MK_EMAGENT_NMECTL)
and replace the line with
$(MK_EMAGENT_NMECTL) -lnnz11
then click “Retry” button
六、 创建数据库实例
1 Oracle用户执行dbca，创建数据库实例
2 输入创建实例名
3 配置Em
4 配置用户密码
5 选择oms及数据文件存放磁盘组
6 配置归档及闪回区
7 内存配置
8 报错，提未/dev/shm空间太小
在his与his2上执行
sudo mount -o size=3168M -o remount /dev/shm
9 并发数配置
10 配置字符集
11 开始安装数据库
12 完成数据库安装
七、 安装环境检查
1 检查集群服务启动情况
2 检查监听状态
3 使用不同的ip连接数据库，验证登录是否正常，安装结束。
本文转自ttzztt 51CTO博客，原文链接：http://blog.51cto.com/tianzt/1976675，如需转载请自行联系原作者
