Replica small data to PostgreSQL from Oracle's Big table

  1. 云栖社区>
  2. 博客>
  3. 正文

Replica small data to PostgreSQL from Oracle's Big table

德哥 2016-03-30 16:14:41 浏览1033
展开阅读全文
有时候会遇到从Oracle同步数据到PostgreSQL数据库的需求, 当Oracle那边的表是大表的时候, 
即使同步到PostgreSQL的数据量很小也可能很慢.
原因可能是
1. Oracle那边的执行计划可能不优. 比如走全表扫描了. 或者走的索引不对. 
2. 条件没有正确的转换给Oracle, 那就惨了, 数据全部取过来然后在PostgreSQL中过滤.

例如我们需要同步的是前一天的数据, 实际上走分区的全表扫描可能比走索引快. 但是又不好写HINT.
那么怎么来解决这种问题呢? 来看个例子 : 
例如我们要从Oracle的tbl表同步前一天的数据, 这个表做了按月分区.  一个月大概5000W记录. 10GB左右.
我们要同步的数据条件是cond1 = '1' and cond2 in( '10','15'). 这个取出来每天只有几



网友评论

登录后评论
0/500
评论
德哥
+ 关注