开发者社区> 问答> 正文

Postgres stream replication performance slow

目前有两台postgres db, 使用stream replication 做主从同步,在比较重的写操作时发生了比较重的延迟.

通过对 
pg_xlog_location_diff(pg_current_xlog_location(), sent_location) AS not_sent,
pg_xlog_location_diff(sent_location, write_location) AS not_written,
pg_xlog_location_diff(write_location, flush_location) AS not_flushed,
pg_xlog_location_diff(flush_location, replay_location) AS not_replayed
FROM pg_stat_replication;
这几个参数的监控,我们发现在
pg_current_xlog_location() - (sent_location)有比较重的延迟,延迟的size将近在100MB 甚至更大.
网络的吞吐量最大值只达到16MB/s.

本地模拟测试,增加数据表的字段 
一个表将近1300W数据,size 在10G.
我们在观察主从两边的wal log 的数目时发现,从库远远落后于主库,整个操作会生成104 个wal 文件.
手工对比主从的wal file. 从库将近落后30~50多个wal file.

我也使用了iperf去测试了本地网络情况

Client connecting to 192.168.6.55, TCP port 5001

TCP window size: 125 KByte (default)

[ 3] local 192.168.6.56 port 54328 connected with 192.168.6.55 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 1.09 GBytes 939 Mbits/sec

1GB 已经达到了网卡的极限.

我们数据库所用的包为官网的包.Max_send_size = xblocksize * 16 (xblocksize = 8k default value)

问题是:理论上stream replication 可以达到我网卡的极限值,即1G/s,所以这次同步的延迟应该保持到1s以内.
有没有其他参数会影响postgres的stream replication.
期待高手的答复.

展开
收起
jaywu 2016-03-22 17:38:06 2889 0
1 条回答
写回答
取消 提交回答
  • 公益是一辈子的事, I am digoal, just do it. 阿里云数据库团队, 擅长PolarDB, PostgreSQL, DuckDB, ADB等, 长期致力于推动开源数据库技术、生态在中国的发展与开源产业人才培养. 曾荣获阿里巴巴麒麟布道师称号、2018届OSCAR开源尖峰人物.

    把从库的fsync关掉

    2019-07-17 18:35:17
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Ream-time analytical query 立即下载
Three steps to clustering your MySQL Environment——MNC、MGC与MIC 立即下载
Dynamic DDL Adding Structure to Streaming Data on the Fly 立即下载