PostgreSQL、Greenplum DML合并操作 最佳实践

  1. 云栖社区>
  2. 阿里云数据库ApsaraDB>
  3. 博客>
  4. 正文

PostgreSQL、Greenplum DML合并操作 最佳实践

德哥 2017-02-14 11:07:37 浏览2622
展开阅读全文

标签

PostgreSQL , Greenplum , 合并删除 , 合并更新 , 合并DML


背景

在很多场景中会涉及到数据的合并,比如

1. 某业务系统的总用户有1亿,每天的活跃用户有100万,新增用户10万,每天需要将新增、活跃用户的数据(比如他们的余额变化、等等)合并到数据仓库的用户信息表。

2. 物化视图,某个表被用户不断的增、删、改。需要将这个表(基表)的某些字段或者某部分数据提取到一个物化视图中。这个物化视图不需要对每一笔基表的DML都实施操作,比如对单条记录的操作,合并成一次操作。

3. 数据同步,将OLTP的数据,同步到OLAP系统,由于OLAP系统的事务处理能力没有TP系统强,所以也必须采用合并的方法,同一条记录被多次更新时,需要将多次更新合并成一次更新。

4. 基于REDO日志的逻辑数据复制,优化手段除了并行复制,还有一种

网友评论

登录后评论
0/500
评论
德哥
+ 关注
所属云栖号: 阿里云数据库ApsaraDB