PostgreSQL Oracle 兼容性 - Oracle 19c 新特性在PostgreSQL中的使用-阿里云开发者社区

背景

《PostgreSQL 覆盖 Oracle 18c 重大新特性》

Oracle 19c 新特性摘自盖老师《Oracle 19c 新特性及官方文档抢鲜下载》文章，其中有一些特性在PostgreSQL中很早以前已经支持。本文旨在介绍PG如何使用这些特性。

1.Data Guard 备库DML自动重定向

在使用 ADG 作为备库进行读写分离部署时，可能因为应用的原因，会有偶然的DML操作发送到备库上，在 19c 中，Oracle 支持自动重定向备库 DML，具体执行步骤为：

更新会自动重定向到主库；
主库执行更新、产生和发送Redo日志到备库；

在Redo备库应用后，ADG会话会透明的看到更新信息的落地实施；

这一特性可以通过在系统级或者会话级设置参数 ADG_REDIRECT_DML 参数启用，通过这种方式，ADG 会话的 ACID 一致性得以保持，同时透明的支持『多数读，偶尔更新』应用的自然读写分离配置。

这个特性的引入，将进一步的增加 ADG 的灵活性，帮助用户将备库应用的更加充分。

PostgreSQL 如何支持

1 修改内核支持

PostgreSQL standby与primary通信采用流复制协议

https://www.postgresql.org/docs/11/protocol-replication.html

如果要让PG支持只读从库转发DML到上游节点，首先需要协议层支持。

digoal@pg11-test-> psql  
psql (11.1)  
Type "help" for help.  
  
postgres=# select pg_is_in_recovery();  
 pg_is_in_recovery   
-------------------  
 t  
(1 row)  
  
postgres=# create table a (id int);  
ERROR:  cannot execute CREATE TABLE in a read-only transaction  
postgres=# \set VERBOSITY verbose  
postgres=# create table a (id int);  
ERROR:  25006: cannot execute CREATE TABLE in a read-only transaction  
LOCATION:  PreventCommandIfReadOnly, utility.c:246  
  
postgres=# insert into a values (1);  
ERROR:  25006: cannot execute INSERT in a read-only transaction  
LOCATION:  PreventCommandIfReadOnly, utility.c:246

当前写操作报错，判定为如下SQL请求类型时，直接报错。

/*  
 * check_xact_readonly: is a utility command read-only?  
 *  
 * Here we use the loose rules of XactReadOnly mode: no permanent effects  
 * on the database are allowed.  
 */  
static void  
check_xact_readonly(Node *parsetree)  
{  
        /* Only perform the check if we have a reason to do so. */  
        if (!XactReadOnly && !IsInParallelMode())  
                return;  
  
        /*  
         * Note: Commands that need to do more complicated checking are handled  
         * elsewhere, in particular COPY and plannable statements do their own  
         * checking.  However they should all call PreventCommandIfReadOnly or  
         * PreventCommandIfParallelMode to actually throw the error.  
         */  
  
        switch (nodeTag(parsetree))  
        {  
                case T_AlterDatabaseStmt:  
                case T_AlterDatabaseSetStmt:  
                case T_AlterDomainStmt:  
                case T_AlterFunctionStmt:  
                case T_AlterRoleStmt:  
                case T_AlterRoleSetStmt:  
                case T_AlterObjectDependsStmt:  
                case T_AlterObjectSchemaStmt:  
                case T_AlterOwnerStmt:  
                case T_AlterOperatorStmt:  
                case T_AlterSeqStmt:  
                case T_AlterTableMoveAllStmt:  
                case T_AlterTableStmt:  
                case T_RenameStmt:  
                case T_CommentStmt:  
                case T_DefineStmt:  
                case T_CreateCastStmt:  
                case T_CreateEventTrigStmt:  
                case T_AlterEventTrigStmt:  
                case T_CreateConversionStmt:  
                case T_CreatedbStmt:  
                case T_CreateDomainStmt:  
                case T_CreateFunctionStmt:  
                case T_CreateRoleStmt:  
                case T_IndexStmt:  
                case T_CreatePLangStmt:  
                case T_CreateOpClassStmt:  
                case T_CreateOpFamilyStmt:  
                case T_AlterOpFamilyStmt:  
                case T_RuleStmt:  
                case T_CreateSchemaStmt:  
                case T_CreateSeqStmt:  
                case T_CreateStmt:  
                case T_CreateTableAsStmt:  
                case T_RefreshMatViewStmt:  
                case T_CreateTableSpaceStmt:  
                case T_CreateTransformStmt:  
                case T_CreateTrigStmt:  
                case T_CompositeTypeStmt:  
                case T_CreateEnumStmt:  
                case T_CreateRangeStmt:  
                case T_AlterEnumStmt:  
                case T_ViewStmt:  
                case T_DropStmt:  
                case T_DropdbStmt:  
                case T_DropTableSpaceStmt:  
                case T_DropRoleStmt:  
                case T_GrantStmt:  
                case T_GrantRoleStmt:  
                case T_AlterDefaultPrivilegesStmt:  
                case T_TruncateStmt:  
                case T_DropOwnedStmt:  
                case T_ReassignOwnedStmt:  
                case T_AlterTSDictionaryStmt:  
                case T_AlterTSConfigurationStmt:  
                case T_CreateExtensionStmt:  
                case T_AlterExtensionStmt:  
                case T_AlterExtensionContentsStmt:  
                case T_CreateFdwStmt:  
                case T_AlterFdwStmt:  
                case T_CreateForeignServerStmt:  
                case T_AlterForeignServerStmt:  
                case T_CreateUserMappingStmt:  
                case T_AlterUserMappingStmt:  
                case T_DropUserMappingStmt:  
                case T_AlterTableSpaceOptionsStmt:  
                case T_CreateForeignTableStmt:  
                case T_ImportForeignSchemaStmt:  
                case T_SecLabelStmt:  
                case T_CreatePublicationStmt:  
                case T_AlterPublicationStmt:  
                case T_CreateSubscriptionStmt:  
                case T_AlterSubscriptionStmt:  
                case T_DropSubscriptionStmt:  
                        PreventCommandIfReadOnly(CreateCommandTag(parsetree));  
                        PreventCommandIfParallelMode(CreateCommandTag(parsetree));  
                        break;  
                default:  
                        /* do nothing */  
                        break;  
        }  
}

2 修改内核支持

利用fdw，读写操作重新向到FDW表（fdw为PostgreSQL的外部表，可以重定向到主节点）

例如

create rule r1 as on insert to a where pg_is_in_recovery() do instead insert into b values (NEW.*);

这个操作需要一个前提，内核层支持standby可写FDW表。

并且这个方法支持的SQL语句有限，方法1更加彻底。

3 citus插件，所有节点完全对等，所有节点均可读写数据库

《PostgreSQL sharding : citus 系列7 - topn 加速(count(*) group by order by count(*) desc limit x) (use 估值插件 topn)》

《PostgreSQL sharding : citus 系列6 - count(distinct xx) 加速 (use 估值插件 hll|hyperloglog)》

《PostgreSQL sharding : citus 系列5 - worker节点网络优化》

《PostgreSQL sharding : citus 系列4 - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)》

《PostgreSQL sharding : citus 系列3 - 窗口函数调用限制与破解之法(套用gpdb执行树,分步执行)》

《PostgreSQL sharding : citus 系列2 - TPC-H》

《PostgreSQL sharding : citus 系列1 - 多机部署（含OLTP(TPC-B)测试）》

2.Oracle Sharding 特性的多表家族支持

在Oracle Sharding特性中，被分片的表称为 Sharded table，这些sharded table的集合称为表家族（Table Family），表家族之中的表具备父-子关系，一个表家族中没有任何父表的表叫做根表（root table），每个表家族中只能有一个根表。表家族中的所有Sharded table都按照相同的sharding key(主键)来分片。

在12.2，在一个SDB中只支持一个表家族，在 19c 中，SDB 中允许存在多个表家族，每个通过不同的 Sharding Key进行分片，这是 Sharding 特性的一个重要增强，有了 Multiple Table Families 的支持，Sharding 才可能找到更多的应用场景。

PostgreSQL 如何支持

PostgreSQL sharding支持非常丰富：

1、plproxy

《PostgreSQL 最佳实践 - 水平分库(基于plproxy)》

《阿里云ApsaraDB RDS for PostgreSQL 最佳实践 - 4 水平分库(plproxy) 之节点扩展》

《阿里云ApsaraDB RDS for PostgreSQL 最佳实践 - 3 水平分库(plproxy) vs 单机性能》

《阿里云ApsaraDB RDS for PostgreSQL 最佳实践 - 2 教你RDS PG的水平分库(plproxy)》

《ZFS snapshot used with PostgreSQL PITR or FAST degrade or PG-XC GreenPlum plproxy MPP DB's consistent backup》

《A Smart PostgreSQL extension plproxy 2.2 practices》

《使用Plproxy设计PostgreSQL分布式数据库》

2、citus

《PostgreSQL sharding : citus 系列7 - topn 加速(count(*) group by order by count(*) desc limit x) (use 估值插件 topn)》

《PostgreSQL sharding : citus 系列6 - count(distinct xx) 加速 (use 估值插件 hll|hyperloglog)》

《PostgreSQL sharding : citus 系列5 - worker节点网络优化》

《PostgreSQL sharding : citus 系列4 - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)》

《PostgreSQL sharding : citus 系列3 - 窗口函数调用限制与破解之法(套用gpdb执行树,分步执行)》

《PostgreSQL sharding : citus 系列2 - TPC-H》

《PostgreSQL sharding : citus 系列1 - 多机部署（含OLTP(TPC-B)测试）》

3、pg-xl

https://www.postgres-xl.org/

4、antdb

https://github.com/ADBSQL/AntDB

5、sharding sphere

http://shardingsphere.apache.org/

6、乘数科技出品勾股数据库，使用fdw支持sharding

7、pg_pathman+FDW支持sharding

https://github.com/postgrespro/pg_shardman

《PostgreSQL 9.5+ 高效分区表实现 - pg_pathman》

3.透明的应用连续性支持增强

在Oracle RAC集群中，支持对于查询的自动切换，当一个节点失效，转移到另外一个节点，在19c中，Oracle 持续改进和增强了连续性保持，数据库会自动记录会话状态，捕获用于重演的信息，以便在切换时，在新节点自动恢复事务，使DML事务同样可以获得连续性支持：

在事务提交后自动禁用状态捕获，因为提交成功的事务将不再需要在会话级恢复；

在事务开始时，自动重新启用状态跟踪；

PostgreSQL 如何支持

要将一个会话内的请求转移到另一个节点，需要支持同样的快照视角，否则会出现查询不一致的情况。PostgreSQL支持快照的导出，分析给其他会话，使得所有会话可以处于同一视角。

《PostgreSQL 共享事务快照功能 - PostgreSQL 9.2 can share snapshot between multi transactions》

这个技术被应用在：

1、并行一致性逻辑备份

2、会话一致性的读写分离

《PostgreSQL 10.0 preview 功能增强 - slave支持WAITLSN 'lsn', time;用于设置安全replay栅栏》

为了能够支持透明应用连续性，1、可以在SQL中间层支持(例如为每个会话创建快照，记录快照信息，转移时在其他节点建立连接并导入快照)，2、SQL驱动层支持，3、也可以在内核层支持转移。

会增加一定的开销。

4.自动化索引创建和实施

对于关系型数据库来说，索引是使得查询加速的重要手段，而如何设计和创建有效的索引，长期以来是一项复杂的任务。

在 Oracle 19c 中，自动化索引创建和实施技术被引入进来，Oracle 通过模拟人工索引的思路，建立了内置的专家系统。

数据库内置的算法将会通过捕获、识别、验证、决策、在线验证、监控的全流程管控索引自动化的过程。

这一特性将会自动帮助用户创建有效的索引，并通过提前验证确保其性能和有效性，并且在实施之后进行监控，这一特效将极大缓解数据库索引维护工作。

自动化还将删除由新创建的索引（逻辑合并）废弃的索引，并删除自动创建但长时间未使用的索引。

PostgreSQL 如何支持

1、EDB PPAS版本，支持自动建议索引

《PostgreSQL 商用版本EPAS(阿里云ppas(Oracle 兼容版)) 索引推荐功能使用》

2、PG社区版本，根据统计信息，top SQL，LONG SQL等信息，自动创建索引

《PostgreSQL SQL自动优化案例 - 极简，自动推荐索引》

《自动选择正确索引访问接口(btree,hash,gin,gist,sp-gist,brin,bitmap...)的方法》

PG 虚拟索引

《PostgreSQL 索引虚拟列 - 表达式索引 - JOIN提速》

《PostgreSQL 虚拟|虚假索引(hypothetical index) - HypoPG》

PostgreSQL 优势

PG 支持9种索引接口(btree, hash, gin, gist, spgist, brin, bloom, rum, zombodb)，同时PG支持索引接口扩展，支持表达式索引，支持partial索引。以支持各种复杂业务场景。

5.多实例并行重做日志应用增强

在Oracle Data Guard环境中，备库的日志应用速度一直是一个重要挑战，如果备库不能够及时跟上主库的步调，则可能影响备库的使用。

自Oracle 12.2 版本开始，支持多实例并行应用，这极大加快了恢复进度，在 18c 中，开始支持 In-Memory 列式存储，在 19c 中，并行应用开始支持 In-Memory列式存储。

PostgreSQL 如何支持

对于逻辑从库，支持一对一，一对多，多对一，多对多的部署方法。PG 逻辑订阅每个通道一个worker process，可以通过创建多个订阅通道来实现并行。

对于物理从库，异步STANDBY的WAL APPLY延迟通常是毫秒级。

6.Oracle的混合分区表支持

在 19c 中，Oracle 增强了分区特性，可以将外部对象存储上的文件，以外部表的方式链接到分区中，形成混合分区表，借助这个特性，Oracle 将数据库内外整合打通，冷数据可以剥离到外部存储，热数据在数据库中在线存储。

这个特性借助了外部表的特性实现，以下是一个示例：

CREATE TABLE orders ( order_idnumber,  
  
order_dateDATE, … )  
  
EXTERNAL PARTITION ATTRIBUTES  
  
( TYPE oracle_loaderDEFAULTDIRECTORY data_dir  
  
ACCESS PARAMETERS (..) REJECT LIMIT unlimited)  
  
PARTITION BY RANGE(order_date)  
  
( partition q1_2015 values less than(‘2014-10-01’)  
  
EXTERNAL LOCATION (‘order_q1_2015.csv’),  
  
partition q2_2015 values less than (‘2015-01-01’),  
  
partition q3_2015 values less than (‘2015-04-01’),  
  
partition q4_2015 values less than (‘2015-07-01’));

PostgreSQL 如何支持

PostgreSQL 的fdw为外部存储（可以是外部任意数据源，包括文件，DB，WWW，S3，OSS等）。

使用PG继承技术，即可完成分区的混合存储（本地存储，外部存储混合），甚至SHARDING。

《ApsaraDB的左右互搏(PgSQL+HybridDB+OSS) - 解决OLTP+OLAP混合需求》

《PostgreSQL 9.6 sharding based on FDW & pg_pathman》

7.在线维护操作增强

在不同版本中，Oracle 持续增强在线维护操作，例如在 12.2 开始支持的Online Move、在线修改普通表为分区表等特性。

在19c 中，持续增强了智能的、细粒度的游标失效控制，将DDL操作对于游标失效的影响降至最低，例如，在 19c 中，comment on table的操作，将不会引起游标的失效。

针对分区维护的操作，例如Truncate分区等，Oracle 将进行细粒度的控制，和DDL操作无关的SQL将不受DDL失效影响。

PostgreSQL 如何支持

PostgreSQL 设计之初就支持了DDL事务，可以将DDL与DML混合在一个事务中处理。

begin;  
insert into tbl values (...);  
drop table xx;  
create table xx;  
alter table xx;  
insert xx;  
end;

又例如切换表名，可以封装为一个事务。

另外对于普通表转分区表，可以这样操作：

《PostgreSQL 普通表在线转换为分区表 - online exchange to partition table》

8.自动的统计信息管理

随着表数据的变化，优化器表数据统计数据将近实时刷新，以防止次优执行计划

统计的在线维护内置于直接路径加载操作中

当数据显着变化时运行自动统计信息收集作业，例如。，自上次收集统计信息以来，表中超过10％的行被添加/更改

第一个看到需要重新编译SQL游标的会话（例如，由于新的优化器统计信息）执行重新编译

其他会话继续使用旧的SQL游标，直到编译完成

避免因重新编译而导致大量会话停顿

PostgreSQL 如何支持

PostgreSQL autovacuum 设计之初就是采用的动态统计信息收集，并且支持到了集群、TABLE级别可设置，用户可以根据不同表的负载情况，设置自动收集统计信息的阈值。

9.自动化的SQL执行计划管理

在 19c 中，数据库缺省的就会启用对于所有可重用SQL的执行计划捕获（当然SYS系统Schema的SQL除外），然后进行自动的执行计划评估，评估可以针对AWR中的TOP SQL、SGA、STS中的SQL进行。

如果被评估的执行计划优于当前执行计划（一般是要有效率 50%以上的提升），会被加入到执行计划基线库中，作为后续的执行选择，而不佳的执行计划则会被标记为不可接受。

有了这个特性，SQL执行计划的稳定性将更进一步。

PostgreSQL 如何支持

PostgreSQL 自适应执行计划插件AQO，支持类似功能。对于复杂SQL尤为有效。

https://github.com/postgrespro/aqo

Adaptive query optimization is the extension of standard PostgreSQL cost-based query optimizer. Its basic principle is to use query execution statistics for improving cardinality estimation. Experimental evaluation shows that this improvement sometimes provides an enormously large speed-up for rather complicated queries.