Greenplum 6.1 安装部署

  1. 云栖社区>
  2. 博客>
  3. 正文

Greenplum 6.1 安装部署

romantic_rome 2020-06-09 21:54:59 浏览490
展开阅读全文

一系统环境及硬件
1.系统版本 centos 7.7

2.硬件

  • cpu :>= 8核16线程

        根据实际并发量来考量,比如 8 并发,每个seg里面有2个数据节点,那么cpu应该是 8*2*2=20核32线程,如果都是小查询,核心数 
        可以适当降低
  • 内存 :>= 16 GB
  • 磁盘 :sas盘15k转速,固态最好。生产环境上硬盘使用率最好 <30%
  • 物理机:

        系统盘:独立一块盘(最好做raid10),即2块盘
        数据盘:(根据seg中节点数来做raid0),如一个seg中2个节点,可以做2个raid组,每个节点放在不同的raid上,充分利用IO
  • 虚拟机:建议系统盘和数据盘分开挂载

        系统盘: >64GB
        数据盘:按需分配
  • 网络:

        多网口(卡):
              客户端网络(可以千兆,万兆)
              内部网网络(万兆),网络性能对GP影响最大
        单网口(卡):万兆即10Gbit
    

3.集群规模

     master  :1 台
     segment :3 台
     standby :1 台

二.安装部署
1.下载离线安装包

    https://github.com/greenplum-db/gpdb/releases/tag/6.1.0

2.上传到服务器,放在/usr/local/src下

3.关闭防火墙

- 关闭防火墙(所有机器)
  iptables  (centos6.x)
  关闭:service iptables stop
  永久关闭:chkconfig iptables off
- 检查firewalld (centos 7.x)
  关闭:systemctl stop firewalld
  永久关闭 :systemctl disable firewalld

4.关闭SELINUX(所有机器)

[root@mdw ~]# vi /etc/selinux/config
确保SELINUX=disabled

5.配置/etc/hosts (所有机器)

为之后GP在各个节点之间相互通信做准备。
修改各台主机的主机名称。 一般建议的命名规则如下: 项目名_gp_节点
      Master :  dis_gp_mdw
      Standby Master :  dis_gp_smdw
      Segment Host :  dis_gp_sdw1  dis_gp_sdw2  dis_gp_sdw3 以此类推
      如果Standby也搭建在某Segment host下,则命名为:dis_gp_sdw3_smdw

[root@mdw ~]# vi /etc/hosts
添加每台机器的ip 和hostname,确保所有机器的/etc/hosts中包含以下信息:
10.16.162.166 dis-gp-mdw
10.16.162.151 dis-gp-sdw1
10.16.162.152 dis-gp-sdw2
10.16.162.153 dis-gp-sdw3-smdw

6.修改主机名

Centos7.x    vi /etc/hostname
Centos6.x    vi /etc/sysconfig/network
修改完之后   reboot机器

7.配置sysctl.conf(所有机器)

 kernel.shmall = 197951838 # echo $(expr $(getconf _PHYS_PAGES) / 2)
 kernel.shmmax = 810810728448 # echo $(expr $(getconf _PHYS_PAGES) / 2 \* $(getconf PAGE_SIZE))
 kernel.shmmni = 4096
 vm.overcommit_memory = 2
 vm.overcommit_ratio = 75 #vm.overcommit_ratio = (RAM - 0.026 * gp_vmem_rq) / RAM #gp_vmem_rq = ((SWAP + RAM) – (7.5GB + 0.05 * RAM)) / 1.7
 net.ipv4.ip_local_port_range = 10000 65535
 kernel.sem = 500 2048000 200 4096
 kernel.sysrq = 1
 kernel.core_uses_pid = 1
 kernel.msgmnb = 65536
 kernel.msgmax = 65536
 kernel.msgmni = 2048
 net.ipv4.tcp_syncookies = 1
 net.ipv4.conf.default.accept_source_route = 0
 net.ipv4.tcp_max_syn_backlog = 4096
 net.ipv4.conf.all.arp_filter = 1
 net.core.netdev_max_backlog = 10000
 net.core.rmem_max = 2097152
 net.core.wmem_max = 2097152
 vm.swappiness = 10
 vm.zone_reclaim_mode = 0
 vm.dirty_expire_centisecs = 500
 vm.dirty_writeback_centisecs = 100
 #vm.min_free_kbytes = 487119#awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo

 #对于大于64GB的主机,加上下面4行
 vm.dirty_background_ratio = 0
 vm.dirty_ratio = 0
 vm.dirty_background_bytes = 1610612736 # 1.5GB
 vm.dirty_bytes = 4294967296 # 4GB

 #对于小于64GB的主机删除dirty_background_bytes dirty_bytes,加上下面2行
 vm.dirty_background_ratio = 3
 vm.dirty_ratio = 10

 #vm.min_free_kbytes在内存 > 64GB系统的时候可以设置,一般比较少设置此参数。
 #vm.min_free_kbytes,确保网络和存储驱动程序PF_MEMALLOC得到分配。这对内存大的系统尤其重要。一般系统上,默认值通常太低。可以使用awk命令计算vm.min_free_kbytes的值,通常是建议的系统物理内存的3%:
 #awk 'BEGIN {OFMT = "%.0f";} /MemTotal/ {print "vm.min_free_kbytes =", $2 * .03;}' /proc/meminfo >> /etc/sysctl.conf 
 #不要设置 vm.min_free_kbytes 超过系统内存的5%,这样做可能会导致内存不足。

8.配置资源限制参数(所有机器)

在/etc/security/limits.conf文件下增加以下参数
* soft nofile 524288
* hard nofile 524288
* soft nproc 131072
* hard nproc 131072
“*” 星号表示所有用户
noproc     是代表最大进程数 
nofile     是代表最大文件打开数

RHEL / CentOS 6.X
修改:/etc/security/limits.d/90-nproc.conf 文件的nproc
[root@mdw ~]# vi /etc/security/limits.d/90-nproc.conf
           确保    *  soft  nproc  131072

RHEL / CentOS 7.X 修改:
修改:/etc/security/limits.d/20-nproc.conf 文件的nproc
[root@mdw ~]# vi /etc/security/limits.d/20-nproc.conf
           确保    *  soft  nproc  131072

ulimit -u 命令显示每个用户可用的最大进程数 max user processes,验证返回值为131072.

9.XFS挂载选项

XFS相比较ext4具有如下优点:
XFS的扩展性明显优于ext4,ext4的单个文件目录超过200W个性能下降明显
ext4作为传统文件系统确实非常稳定,但是随着存储需求的越来越大,ext4渐渐不在适应
由于历史磁盘原因,ext4的inode个数限制(32位),最多只能支持40多亿个文件,单个文件最大支持到16T
XFS使用的是64位管理空间,文件系统规模可以达到EB级别,XFS是基于B+Tree管理元数据
GP 需要使用XFS的文件系统,RHEL/CentOS 7 和Oracle Linux将XFS作为默认文件系统,SUSE/openSUSE已经为XFS做了长期支持。

centos6.x需要先安装xfs包
centos7.x不需要先安装

例如挂载新xfs步骤:
1.[root@mdw ~]# fdisk /dev/sdd
   然后跟着n,p,1提示做下去,最后wq保存退出

   [root@mdw ~]# mkfs.xfs /dev/sdd1 
2.挂载目录
   [root@mdw ~]# mount /dev/sdd1 /data/master
3.设置自动挂载
   [root@mdw ~]# vi /etc/fstab
   /dev/sdd1 /data xfs rw,noatime,inode64,allocsize=16m 0 0

10.磁盘I/O 预读大小设置

 - 临时生效
    [root@mdw ~]# /sbin/blockdev --setra 16384 /dev/sda

 - 永久生效
    [root@mdw ~]# vi /etc/rc.d/rc.local
    blockdev --setra 16384 /dev/sdd*

11.修改rc.local 权限

 必须在启动时可以运行 rc.local文件。
 例如,在RHEL / CentOS 7系统上,设置文件的执行权限。
 [root@mdw ~]# chmod + x /etc/rc.d/rc.local

12.磁盘I/O调度算法(确保是deadline)

 centos7默认就是deadline
 [root@mdw ~]# more  /sys/block/sdd/queue/scheduler
 noop anticipatory [deadline] cfq
 如上所示,就不需要修改,否则按下面操作
 RHEL 6.x or CentOS 6.x  可以修改  /boot/grub/grub.conf,增加 elevator=deadline 例如:
 RHEL 7.x or CentOS 7.x, 使用 grub2  ,可以使用系统工具grubby来修改;
 [root@mdw ~]# grubby --update-kernel=ALL --args="elevator=deadline"
 重启后使用一下命令检查
 [root@mdw ~]# grubby --info=ALL

13.关闭Transparent Huge Pages (THP)

 禁用THP,因为它会降低Greenplum数据库的性能。
 RHEL 6.x or CentOS 6.x 或更高版本默认情况下启用THP。在RHEL 6.x上禁用THP的一种方法是添加参transparent_hugepage=never 到/boot/grub/grub.conf:
 RHEL 7.x or CentOS 7.x, 使用 grub2  ,可以使用系统工具grubby来修改;
 [root@mdw ~]# grubby --update-kernel=ALL --args="transparent_hugepage=never"
 添加参数后,重启系统reboot。
 参数检查:
 [root@mdw ~]# cat /sys/kernel/mm/*transparent_hugepage/enabled
 always [never]

14.SSH连接阈值

 Greenplum数据库管理程序中的gpexpand‘ gpinitsystem、gpaddmirrors,使用 SSH连接来执行任务。在规模较大的Greenplum集群中,程序的ssh连接数可能会超出主机的未认证连接的最大阈值。发生这种情况时,会收到以下错误:ssh_exchange_identification:连接被远程主机关闭。
 为避免这种情况,可以更新 /etc/ssh/sshd_config 或者 /etc/sshd_config 文件的 MaxStartups 和 MaxSessions 参数
 MaxStartups 300:30:1000
 重启sshd,使参数生效
 service sshd restart

15.同步集群时钟(NTP) (此项为操作,环境已经设置好ntp)

 为了保证集群各个服务的时间一致,首先在master 服务器上,编辑 /etc/ntp.conf,配置时钟服务器为数据中心的ntp服务器。若没有,先修改master 服务器的时间到正确的时间,再修改其他节点的 /etc/ntp.conf,让他们跟随master服务器的时间。
 [root@mdw ~]# vi /etc/ntp.conf
 在server 最前面加上
 master:
 把server1,2,3,4全删
 改成 server xxx,可以问公司IT人员公司的时钟IP,如果没有就设置成
 server 1.cn.pool.ntp.org
 segment:
 server mdw prefer  # 优先主节点
 server smdw        # 其次standby 节点,若没有standby ,可以配置成数据中心的时钟服务器
 [root@mdw ~]# service ntpd restart  # 修改完重启ntp服务

16.检查字符集

 [root@mdw greenplum-db]# echo $LANG
 en_US.UTF-8
 如果为zh_CN.UTF-8
 则要修改 CentOS 6.X   /etc/syscconfig/i18n
               CentOS 7.X   /etc/locale.conf

17.创建gpadmin用户(所有机器)

 在每个节点上创建gpadmin用户,用于管理和运行gp集群
 [root@mdw ~]# groupadd gpadmin
 [root@mdw ~]# useradd gpadmin -g gpadmin -s /bin/bash
 [root@mdw ~]# passwd gpadmin

三.集群软件安装
1.安装依赖(所有机器)root用户执行

 [root@mdw ~]# yum install -y zip unzip openssh-clients ed ntp net-tools perl perl-devel perl-ExtUtils* mlocate lrzsz parted apr apr-util bzip2 krb5-devel libevent libyaml rsync

2.执行安装程序(root用户执行)

 执行安装脚本,默认安装到/usr/local/ 目录下。
 [root@mdw ~]# rpm -ivh greenplum-db-6.1.0-rhel6-x86_64.rpm
 安装完成后可在/usr/local下看到greenplum-db-6.1.0和它的软连接greenplum-db
 由于权限的问题,建议手动修改安装路径,放在/home/gpadmin下,执行以下语句
 1.进入安装父目录
    cd /usr/local
 2.把安装目录移动到/home/gpadmin
    mv greenplum-db-6.1.0 /home/gpadmin
 3.删除软连接
    /bin/rm –r greenplum-db
 4.在/home/gpadmin下建立新的软链接
    ln -s /home/gpadmin/greenplum-db-6.1.0 /home/gpadmin/greenplum-db
 5.修改greenplum_path.sh (重要)
    vi /home/gpadmin/greenplum-db/greenplum_path.sh
    把 GPHOME=/usr/local/greenplum-db-6.1.0
    修改为
    GPHOME=/home/gpadmin/greenplum-db
 6.把文件赋权给gpadmin
    chown –R gpadmin:gpadmin /home/gpadmin

3.集群互信,免密登陆(root用户执行)

 生成密钥
 GP6.x开始gpssh-exkeys命令已经不带自动生成密钥了,所以需要自己手动生成
 [root@mdw greenplum-db]# ssh-keygen -t rsa
 提示语不用管,一直按Enter键使用默认值即可

4.将本机的公钥复制到各个节点机器的authorized_keys文件中

 [root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw1
 [root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw2
 [root@mdw greenplum-db]# ssh-copy-id dis-gp-sdw3

5.使用gpssh-exkeys 工具,打通n-n的免密登陆

 vi all_host
 增加所有hostname到文件中
 dis-gp-mdw
 dis-gp-sdw1
 dis-gp-sdw2
 dis-gp-sdw3
 [root@mdw greenplum-db]# source /home/gpadmin/greenplum-db/greenplum_path.sh
 [root@mdw greenplum-db]# gpssh-exkeys -f all_host

6.同步master 配置到各个主机

 打通gpadmin 用户免密登录
 [root@mdw greenplum-db-6.2.1]# su - gpadmin
 [gpadmin@mdw ~]$ source /home/gpadmin/greenplum-db/greenplum_path.sh
 [gpadmin@mdw ~]$ ssh-keygen -t rsa
 [gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw1
 [gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw2
 [gpadmin@mdw greenplum-db]$ ssh-copy-id dis-gp-sdw3
 [gpadmin@mdw greenplum-db]$ mkdir gpconfigs
 [gpadmin@mdw greenplum-db]$ cd gpconfigs
 [gpadmin@mdw greenplum-db]$ vi all_hosts
 把所有主机hostname添加进去
 [gpadmin@mdw ~]$ gpssh-exkeys -f /home/gpadmin/gpconfigs/all_hosts
 [gpadmin@mdw greenplum-db]$ vi /home/gpadmin/gpconfigs/seg_hosts
 把所有数据节点hostname添加进去

7.批量设置greenplum在gpadmin用户的环境变量(gpadmin用户下)

 添加gp的安装目录,和环境信息到用户的环境变量中。
 编辑 .bashrc
 source /home/gpadmin/greenplum-db/greenplum_path.sh

8.批量复制系统参数到其他节点(如果前面已经每台机器设置过可以跳过)

 示例:
 [gpadmin@mdw gpconfigs]$ exit
 [root@mdw ~]# source /home/gpadmin/greenplum-db/greenplum_path.sh
 [root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/hosts root@=:/etc/hosts
 [root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/security/limits.conf root@=:/etc/security/limits.conf
 [root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/sysctl.conf root@=:/etc/sysctl.conf
 [root@mdw ~]# gpscp -f /home/gpadmin/gpconfigs/seg_hosts /etc/security/limits.d/20-nproc.conf 
 root@=:/etc/security/limits.d/20-nproc.conf
 [root@mdw ~]# gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'sysctl -p'
 [root@mdw ~]# gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'reboot'

9.集群节点安装

 3.5.1 模拟gpseginstall 脚本(gpadmin用户执行)
 GP6.x无gpseginstall 命令,以下模拟此命令主要过程,完成gpsegment的部署
 gpadmin 用户下执行
 1.cd /home/gpadmin
 2.tar -cf gp6.tar greenplum-db-6.1.0/
 3.vi /home/gpadmin/gpconfigs/gpseginstall_hosts
 添加
 dis-gp-sdw1
 dis-gp-sdw2
 dis-gp-sdw3-smdw

10.把压缩包分发到segment上

 gpscp -f /home/gpadmin/gpconfigs/gpseginstall_hosts gp6.tar =:/home/gpadmin

11.通过gpssh命令链接到各个segment上执行命令

 [gpadmin@mdw gpconfigs]$ gpssh -f /home/gpadmin/gpconfigs/gpseginstall_hosts
 tar -xf gp6.tar
 ln -s greenplum-db-6.1.0 greenplum-db
 exit

12.环境变量文件分发到其他节点

 [gpadmin@mdw gpconfigs]$ exit
 [root@mdw greenplum-db-6.2.1]# su – gpadmin
 [gpadmin@mdw ~]$ cd gpconfigs
 [gpadmin@mdw gpconfigs]$ vi seg_hosts
 把segment的hostname都添加到文件中
 dis-gp-sdw1
 dis-gp-sdw2
 dis-gp-sdw3
 [gpadmin@mdw gpconfigs]$ gpscp -f /home/gpadmin/gpconfigs/seg_hosts /home/gpadmin/.bashrc gpadmin@=:/home/gpadmin/.bashrc

13.创建集群数据目录(root用户执行)

 1. 创建master 数据目录
 mkdir -p /data/master
 chown -R gpadmin:gpadmin /data
 source /home/gpadmin/greenplum-db/greenplum_path.sh
 如果有standby节点则需要执行下面2句 dis-gp-sdw3-smdw 这个hostname灵活变更
 gpssh -h dis-gp-sdw3-smdw -e 'mkdir -p /data/master'
 gpssh -h dis-gp-sdw3-smdw -e 'chown -R gpadmin:gpadmin /data'

 2. 创建segment数据目录
 source /home/gpadmin/greenplum-db/greenplum_path.sh
 gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/p1'
 gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/p2'
 gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/m1'
 gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'mkdir -p /data/m2'
 gpssh -f /home/gpadmin/gpconfigs/seg_hosts -e 'chown –R gpadmin:gpadmin /data'

四.集群初始化
1.编写初始化配置文件(gpadmin用户)

 拷贝配置文件模板
 su - gpadmin

 cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config /home/gpadmin/gpconfigs/gpinitsystem_config

2.根据需要修改参数

 vi /home/gpadmin/gpconfigs/gpinitsystem_config
 注意:To specify PORT_BASE, review the port range specified in the net.ipv4.ip_local_port_range parameter in the /etc/sysctl.conf file.
 主要修改的参数:

 #primary的数据目录
 declare -a DATA_DIRECTORY=(/data/p1 /data/p2)
 #master节点的hostname
 MASTER_HOSTNAME=dis-gp-mdw
 #master节点的主目录
 MASTER_DIRECTORY=/data/master
 #mirror的端口要把前面的#去掉(启用mirror)
 MIRROR_PORT_BASE=7000
 #mirror的数据目录要把前面的#去掉(启用mirror)
 declare -a MIRROR_DATA_DIRECTORY=(/data/m1 /data/m2)

3.集群初始化(gpadmin用户)

 执行脚本:
 gpinitsystem -c /home/gpadmin/gpconfigs/gpinitsystem_config --locale=C -h /home/gpadmin/gpconfigs/gpseginstall_hosts --mirror-mode=spread

 注意:spread是指spread分布策略,只允许主机数>每个主机中的段实例数情况(number of hosts is greater than the number of segment instances.)
 如果不指定mirror_mode,则是默认的group策略,这样做的情况在段实例数>1时,down机之后不会导致它的镜像全在另外一台机器中,降低另外一台机器的性能瓶颈。

4.安装中途失败,提示使用 bash /home/gpadmin/gpAdminLogs/backout_gpinitsystem_gpadmin_* 回退,执行该脚本即可,例如:

 20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[FATAL]:-Unknown host gpzq-sh-mb: ping: unknown host gpzq-sh-mb 
 unknown host Script Exiting!
 20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[WARN]:-Script has left Greenplum Database in an incomplete state
 20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[WARN]:-Run command bash 
 /home/gpadmin/gpAdminLogs/backout_gpinitsystem_gpadmin_20191218_203938 to remove these changes
 20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[INFO]:-Start Function BACKOUT_COMMAND
 20191218:20:39:53:011405 gpinitsystem:mdw:gpadmin-[INFO]:-End Function BACKOUT_COMMAND
 [gpadmin@mdw gpAdminLogs]$ ls
 backout_gpinitsystem_gpadmin_20191218_203938  gpinitsystem_20191218.log
 [gpadmin@mdw gpAdminLogs]$ bash backout_gpinitsystem_gpadmin_20191218_203938
 Stopping Master instance
 waiting for server to shut down.... done
 server stopped
 Removing Master log file
 Removing Master lock files
 Removing Master data directory files

 若执行后仍然未清理干净,可执行一下语句后,再重新安装:
 pg_ctl -D /data/master/gpseg-1 stop
 rm -f /tmp/.s.PGSQL.5432 /tmp/.s.PGSQL.5432.lock
 主节点
 rm -rf /data/master/gpseg-1
 所有数据节点
 rm -rf /data/p1/gpseg-x
 rm -rf /data/p2/gpseg-x

5.安装成功后设置环境变量(gpadmin用户)

 编辑gpadmin 用户的环境变量,增加(重要)
 export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
 除此之外,通常还增加:(可以不设置)
 export PGPORT=5432       # 根据实际情况填写
 export PGUSER=gpadmin    # 根据实际情况填写
 export PGDATABASE=gpdw   # 根据实际情况填写
 前面已经添加过 source /usr/local/greenplum-db/greenplum_path.sh,此处操作如下:
 编辑 .bashrc
 export MASTER_DATA_DIRECTORY=/data/master/gpseg-1

6.安装成功后配置

 psql 登陆gp 并设置密码(gpadmin用户)
 psql -h hostname -p port -d database -U user -W password
 -h后面接对应的master或者segment主机名
 -p后面接master或者segment的端口号
 -d后面接数据库名可将上述参数配置到用户环境变量中,linux 中使用gpadmin用户不需要密码。
 psql 登录,并设置gpadmin用户密码示例:
 psql -d postgres
 alter user gpadmin encrypted password ‘xxx’;0.

7.客户端登陆gp

 配置 pg_hba.conf
 vi /data/master/gpseg-1/pg_hba.conf
 新增一行 host all all 0.0.0.0/0 md5

8.初始化standby节点

 gpinitstandby -s dis-gp-sdw3

网友评论

登录后评论
0/500
评论
romantic_rome
+ 关注