袋鼠云技术团队 + 关注
手机版

PgSQL流复制搭建

  1. 云栖社区>
  2. 袋鼠云技术团队>
  3. 博客>
  4. 正文

PgSQL流复制搭建

powdba 发布时间:2018-04-01 18:45:49 浏览4818 评论0

摘要: 172.16.10.106上部署主服务器,172.16.10.251上部署从服务器。 1. 简介 postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从服务器通过tcp流从主服务器中同步相应的数据。

172.16.10.106上部署主服务器,172.16.10.251上部署从服务器。

1. 简介

postgres在9.0之后引入了主从的流复制机制,所谓流复制,就是从服务器通过tcp流从主服务器中同步相应的数据。这样当主服务器数据丢失时从服务器中仍有备份。
与基于文件日志传送相比,流复制允许保持从服务器更新。 从服务器连接主服务器,其产生的流WAL记录到从服务器, 而不需要等待主服务器写完WAL文件。
PostgreSQL流复制默认是异步的。在主服务器上提交事务和从服务器上变化可见之间有一个小的延迟,这个延迟远小于基于文件日志传送,通常1秒能完成。如果主服务器突然崩溃,可能会有少量数据丢失。
同步复制必须等主服务器和从服务器都写完WAL后才能提交事务。这样在一定程度上会增加事务的响应时间。
配置同步复制仅需要一个额外的配置步骤: synchronous_standby_names必须设置为一个非空值。synchronous_commit也必须设置为on。
这里部署的是异步的流复制。
注:主从服务器所在节点的系统、环境等最好一致。PostgreSQL版本也最好一致,否则可能会有问题。

2. 安装部署

先在172.16.10.106和172.16.10.251均安装PostgreSQL。
具体安装部署步骤见:PostgreSQL安装配置

2.1 主服务器

主服务器为172.16.10.106
先创建一个新目录:
mkdir /opt/pgsql/pg_archive
1.首先需要创建一个数据库用户进行主从同步。创建用户replica,并赋予登录和复制的权限。
postgres# CREATE ROLE replica login replication encrypted password 'replica'
2.修改pg_hba.conf,允许replica用户来同步。
在pg_hba.conf里增加两行:
host     all             all          172.16.10.251/32          trust   #允许94连接到主服务器
host   replication      replica       172.16.10.251/32          md5   #允许94使用replica用户来复制
这样,就设置了replica这个用户可以从172.16.10.251进行流复制请求。
注:第二个字段必须要填replication
4.修改postgresql.conf
listen_addresses = '*'   # 监听所有IP
archive_mode = on  # 允许归档
archive_command = 'cp %p /opt/pgsql/pg_archive/%f'  # 用该命令来归档logfile segment
wal_level = hot_standby
max_wal_senders = 32 # 这个设置了可以最多有几个流复制连接,差不多有几个从,就设置几个wal_keep_segments = 256 # 设置流复制保留的最多的xlog数目
wal_sender_timeout = 60s # 设置流复制主机发送数据的超时时间
max_connections = 100 # 这个设置要注意下,从库的max_connections必须要大于主库的
配置完两个文件后重启服务器。
pg_ctl stop -D /data/pgsql/data
pg_ctl start -D /data/pgsql/data
3.测试94能否连接93数据库。在94上运行如下命令:
psql -h 172.16.10.106 -U postgres
看看是否能进入数据库。若可以,则正常。

2.2 从服务器

1.从主节点拷贝数据到从节点
su - postgres
rm -rf /data/pgsql/data/*   #先将data目录下的数据都清空
pg_basebackup -h 192.168.20.93 -U replica -D /data/pgsql/data -X stream -P  # 从93拷贝数据到94(基础备份)
mkdir /opt/pgsql/pg_archive
2.配置recovery.conf
复制/usr/pgsql-9.4/share/recovery.conf.sample 到 /data/pgsql/data/recovery.conf
cp /usr/pgsql-9.4/share/recovery.conf.sample /data/pgsql/data/recovery.conf
修改recovery.conf
standby_mode = on    # 说明该节点是从服务器
primary_conninfo = 'host=192.168.20.93 port=5432 user=replica password=replica'  # 主服务器的信息以及连接的用户
recovery_target_timeline = 'latest'

3.配置postgresql.conf
wal_level = hot_standby
max_connections = 1000 # 一般查多于写的应用从库的最大连接数要比较大
hot_standby = on # 说明这台机器不仅仅是用于数据归档,也用于数据查询
max_standby_streaming_delay = 30s # 数据流备份的最大延迟时间
wal_receiver_status_interval = 10s # 多久向主报告一次从的状态,当然从每次数据复制都会向主报告状态,这里只是设置最长的间隔时间
hot_standby_feedback = on # 如果有错误的数据复制,是否向主进行反馈
配置完后重启从服务器
pg_ctl stop -D /opt/pgsql/data
pg_ctl start -D /opt/pgsql/data

3. 验证是否部署成功

在主节点上执行:
select client_addr,sync_state from pg_stat_replication;
结果如下:
postgres=# select client_addr,state,sync_state from pg_stat_replication;
  client_addr  |   state   | sync_state
---------------+-----------+------------
 172.16.10.251 | streaming | async
 (1 row)
说明251是从服务器,在接收流,而且是异步流复制。
此外,还可以分别在主、从节点上运行 ps aux | grep postgres 来查看进程:
主服务器(106)上,可以看到有一个 wal sender 进程。
postgres 12602 12559  0 20:43 ?        00:00:00 postgres: wal sender process repl 172.16.10.251(47554) streaming 0/18000A88
从服务器(251)上,可以看到有一个 wal receiver 进程。:
postgres  6569  6564  0 20:41 ?        00:00:03 postgres: wal receiver process   streaming 0/18000A88
至此,PostgreSQL主从流复制安装部署完成。
在主服务器上插入数据或删除数据,在从服务器上能看到相应的变化。从服务器上是只读状态,只能查询,不能插入或删除。
假设主库崩溃了,备库如何从只读状态切换为读写状态呢?只要把备库的postgresql.conf中hot_standby修改为off,并且删除recovery.conf,然后重启库就可以提供服务了
【云栖快讯】云栖专辑 | 阿里开发者们的20个感悟,一通百通  详情请点击

网友评论