PostgreSQL 9.2 devel adding cascading replication support

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介:
今天一位QQ群里的网友说PostgreSQL支持级联复制。我一开始表示怀疑,后来查到9.2的手册里确实有级联复制的说明,于是把9.2的开发版本下载过来测试了一下,以下是测试过程。
测试环境如图 : 
PostgreSQL 9.2 devel adding cascading replication support - 德哥@Digoal - The Heart,The World.
主节点在杭州IDC,
第一个standby 节点在北京1号机房
第二个和第三个standby 节点在北京的2号机房。
这样做的好处是节约了跨地域复制的带宽,9.1和9.0的版本三个standby都需要直连到master节点进行复制。而9.2的standby节点可以同时启用walreceiver和walsender进程,也就是说支持向下发送流数据。
从TOP输出的结果也可以验证, 如下是其中的一个级联standby节点的top截取 : 
说明它的下面还有一个standby, IP地址是172.16.3.150

  349 pg92      15   0 1231m 2852 1612 S  0.0  0.0   0:00.38 postgres: wal receiver process   streaming 0/8000078               362 pg92      15   0 1225m 2692 1328 S  0.0  0.0   0:00.08 postgres: wal sender process replica 172.16.3.150(26943) streaming 0/80


配置方面和9.1差不多,来看看主节点的配置文件 :
# REPLICATION
#------------------------------------------------------------------------------
# - Sending Server(s) -
# Set these on the master and on any standby that will send replication data
max_wal_senders = 64            # max number of walsender processes
                                # (change requires restart)
wal_keep_segments = 64          # in logfile segments, 16MB each; 0 disables
#replication_timeout = 60s      # in milliseconds; 0 disables
# - Master Server -
# These settings are ignored on a standby server
#synchronous_standby_names = '' # standby servers that provide sync rep
                                # comma-separated list of application_name
                                # from standby(s); '*' = all
#vacuum_defer_cleanup_age = 0   # number of xacts by which cleanup is delayed
# - Standby Servers -
# These settings are ignored on a master server
hot_standby = on                        # "on" allows queries during recovery
                                        # (change requires restart)
#max_standby_archive_delay = 30s        # max delay before canceling queries
                                        # when reading WAL from archive;
                                        # -1 allows indefinite delay
#max_standby_streaming_delay = 30s      # max delay before canceling queries
                                        # when reading streaming WAL;
                                        # -1 allows indefinite delay
#wal_receiver_status_interval = 10s     # send replies at least this often
                                        # 0 disables
hot_standby_feedback = on               # send info from standby to prevent
                                        # query conflicts

与9.1相比少了wal_sender_delay参数. 先不管, 9.2的手册上也没说为啥少了这个.

主节点上还需要新建一个replica角色用于复制 : 
例如 :
postgres=# create role replica nosuperuser nocreatedb nocreaterole noinherit login replication connection limit 64 encrypted password 'replica123';


接下来是standby1的配置 : 
postgresql.conf与主节点一致 . 
新建一个~/.pgpass
*:*:replication:replica:replica123
chmod 400 ~/.pgpass

新建recovery.conf
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=172.16.3.33 port=1919 user=replica keepalives_idle=60'         # e.g. 'host=localhost port=5432'
trigger_file = '/pgdata1919/.trigger.1919.pg92'

然后是新建standby1节点 : 
新建PGDATA目录并修改目录权限为700, 然后
pg_basebackup -D $PGDATA -F p -P -v -h 172.16.3.33 -p 1919 -U replica
pg_ctl start -D $PGDATA


接下来是standby2的配置 : 
postgresql.conf与主节点一致 . 
新建一个~/.pgpass
*:*:replication:replica:replica123
chmod 400 ~/.pgpass

新建recovery.conf
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=172.16.3.39 port=1919 user=replica keepalives_idle=60'         # e.g. 'host=localhost port=5432'
trigger_file = '/pgdata1919/.trigger.1919.pg92'

然后是新建standby1节点 : 
新建PGDATA目录并修改目录权限为700, 然后
(值得一提的是, pg_basebackup需要在主库上获得一个start backup的标签, 所以必须连到master操作. )
(如果数据库很大的话,可以考虑关闭某个standby节点, 直接复制standby的数据过去来建立基准库)
pg_basebackup -D $PGDATA -F p -P -v -h 172.16.3.33 -p 1919 -U replica
pg_ctl start -D $PGDATA


接下来是standby2的配置 : 
postgresql.conf与主节点一致 . 
新建一个~/.pgpass
*:*:replication:replica:replica123
chmod 400 ~/.pgpass

新建recovery.conf
recovery_target_timeline = 'latest'
standby_mode = on
primary_conninfo = 'host=172.16.3.40 port=1919 user=replica keepalives_idle=60'         # e.g. 'host=localhost port=5432'
trigger_file = '/pgdata1919/.trigger.1919.pg92'

然后是新建standby1节点 : 
新建PGDATA目录并修改目录权限为700, 然后
(值得一提的是, pg_basebackup需要在主库上获得一个start backup的标签, 所以必须连到master操作. )
(如果数据库很大的话,可以考虑关闭某个standby节点, 直接复制standby的数据过去来建立基准库)
pg_basebackup -D $PGDATA -F p -P -v -h 172.16.3.33 -p 1919 -U replica
pg_ctl start -D $PGDATA


至此,整个环境都搭建好了。
在主库新建一个测试表看看standby3会不会复制过去,
postgres=# create table cascading_test (id int,info text);
CREATE TABLE
postgres=# insert into cascading_test select generate_series(1,10000),'digoal';
INSERT 0 10000

连接到standby3 , 数据已经复制过去了。
pg92@db-172-16-3-150-> psql -h 127.0.0.1 -p 1919 -U pg92 postgres
psql (9.2devel)
Type "help" for help.

postgres=# \dt
            List of relations
 Schema |      Name      | Type  | Owner 
--------+----------------+-------+-------
 public | cascading_test | table | pg92
 public | test           | table | pg92
(2 rows)

postgres=# select count(*) from cascading_test ;
 count 
-------
 10000
(1 row)


【注意】
1. 如果在环境中配置了同步流复制,那么同步流复制的备选standby节点中只会选择直连master的节点,级联节点不在备选的角色中,如本例中只有standby1会成为备选角色。
例如我们把master的配置文件修改一下,
synchronous_standby_names = '*'

通过查看master的视图可以看出这一点
postgres=# select * from pg_stat_replication;
 procpid | usesysid | usename | application_name | client_addr | client_hostname | client_port |         backend_start         |   s
tate   | sent_location | write_location | flush_location | replay_location | sync_priority | sync_state 
---------+----------+---------+------------------+-------------+-----------------+-------------+-------------------------------+----
-------+---------------+----------------+----------------+-----------------+---------------+------------
   14977 |    16384 | replica | walreceiver      | 172.16.3.39 |                 |       38560 | 2012-01-12 16:09:18.166834+08 | str
eaming | 0/70CEC08     | 0/70CEC08      | 0/70CEC08      | 0/70CEC08       |             1 | sync
(1 row)

同时, sync_state也不会传递, 如master配置了synchronous_standby_names = '*', standby1也配置了synchronous_standby_names = '*'
那么standby2会不会是 sync_state = sync的呢?答案是不会. 因为同步止于与master节点直连的节点。

2. 不管是同步还是异步复制,在pg_stat_replication视图中都只能看到与之直连的standby的信息。
例如在本例中的MASTER节点查看 pg_stat_replication视图的时候,只能查看到与之直连的standby1的信息。
在standby1节点查看 pg_stat_replication的信息也只能查看到与之直连的standby2节点的信息。

 【小结】
级联复制非常在异地建立多个STANDBY的环境. 可以大大降低网络带宽的开销。
同时级联复制还可以降低主库对网络带宽的需求,因为9.1和9.0的版本如果standby很多或者pg_xlog生成很频繁的话,主库的网络开销很快就会成为瓶颈。

相关实践学习
使用PolarDB和ECS搭建门户网站
本场景主要介绍基于PolarDB和ECS实现搭建门户网站。
阿里云数据库产品家族及特性
阿里云智能数据库产品团队一直致力于不断健全产品体系,提升产品性能,打磨产品功能,从而帮助客户实现更加极致的弹性能力、具备更强的扩展能力、并利用云设施进一步降低企业成本。以云原生+分布式为核心技术抓手,打造以自研的在线事务型(OLTP)数据库Polar DB和在线分析型(OLAP)数据库Analytic DB为代表的新一代企业级云原生数据库产品体系, 结合NoSQL数据库、数据库生态工具、云原生智能化数据库管控平台,为阿里巴巴经济体以及各个行业的企业客户和开发者提供从公共云到混合云再到私有云的完整解决方案,提供基于云基础设施进行数据从处理、到存储、再到计算与分析的一体化解决方案。本节课带你了解阿里云数据库产品家族及特性。
相关文章
|
22天前
|
关系型数据库 分布式数据库 数据库
成都晨云信息技术完成阿里云PolarDB数据库产品生态集成认证
近日,成都晨云信息技术有限责任公司(以下简称晨云信息)与阿里云PolarDB PostgreSQL版数据库产品展开产品集成认证。测试结果表明,晨云信息旗下晨云-站群管理系统(V1.0)与阿里云以下产品:开源云原生数据库PolarDB PostgreSQL版(V11),完全满足产品兼容认证要求,兼容性良好,系统运行稳定。
|
29天前
|
关系型数据库 分布式数据库 数据库
PolarDB常见问题之数据库不能自己减少节点如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
29天前
|
缓存 关系型数据库 分布式数据库
PolarDB常见问题之数据库cpu突然飙高如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
2月前
|
关系型数据库 分布式数据库 数据库
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
近日,阿里云旗下的自研云原生数据库PolarDB在2024年中国数据库流行度排行榜中夺冠,并刷新了榜单总分纪录,这一成就引起了技术圈的广泛关注。这一成就源于PolarDB在数据库技术上的突破与创新,以及对开发者和用户的实际需求的深入了解体会。那么本文就来分享一下关于数据库流行度排行榜的影响力以及对数据库选型的影响,讨论PolarDB登顶的关键因素,以及PolarDB“三层分离”新版本对开发者使用数据库的影响。
74 3
阿里云PolarDB登顶2024中国数据库流行榜:技术实力与开发者影响力
|
1月前
|
关系型数据库 分布式数据库 数据库
PolarDB PostgreSQL版:Oracle兼容的高性能数据库
PolarDB PostgreSQL版是一款高性能的数据库,具有与Oracle兼容的特性。它采用了分布式架构,可以轻松处理大量的数据,同时还支持多种数据类型和函数,具有高可用性和可扩展性。它还提供了丰富的管理工具和性能优化功能,为企业提供了可靠的数据存储和处理解决方案。PolarDB PostgreSQL版在数据库领域具有很高的竞争力,可以满足各种企业的需求。
|
7天前
|
运维 关系型数据库 分布式数据库
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
4月19日周五,PolarDB开源社区联合科大讯飞共同举办开源数据库技术沙龙,本次沙龙我们邀请了众多数据库领域的专家,期待大家的参与!
「合肥 * 讯飞」4 月 19 日 PolarDB 开源数据库沙龙,报名中!
|
29天前
|
存储 关系型数据库 分布式数据库
PolarDB常见问题之PolarDB突然有大量服务连不上数据库如何解决
PolarDB是阿里云推出的下一代关系型数据库,具有高性能、高可用性和弹性伸缩能力,适用于大规模数据处理场景。本汇总囊括了PolarDB使用中用户可能遭遇的一系列常见问题及解答,旨在为数据库管理员和开发者提供全面的问题指导,确保数据库平稳运行和优化使用体验。
|
1月前
|
存储 关系型数据库 MySQL
TiDB与MySQL、PostgreSQL等数据库的比较分析
【2月更文挑战第25天】本文将对TiDB、MySQL和PostgreSQL等数据库进行详细的比较分析,探讨它们各自的优势和劣势。TiDB作为一款分布式关系型数据库,在扩展性、并发性能等方面表现突出;MySQL以其易用性和成熟性受到广泛应用;PostgreSQL则在数据完整性、扩展性等方面具有优势。通过对比这些数据库的特点和适用场景,帮助企业更好地选择适合自己业务需求的数据库系统。
|
1月前
|
Cloud Native 关系型数据库 分布式数据库
**PolarDB IMCI:云原生时代的智能数据库新选择**
**PolarDB IMCI:云原生时代的智能数据库新选择**
26 4