增量同步ODPS数据解决方法

解决方法
目前ODPS到分析型数据库之间的数据同步是离线批量同步的，不支持实时同步增量的情况。如果用户有增量同步的需求，可以考虑以下方案：
1、如果用户的数据是不更新只累加的数据，比如日志数据，可以在分析型数据库里创建表的时候设置二级分区。每次增量的数据导入到分析型数据库的一个二级分区里。
2、用户可以在ODPS里就把增量更新后的结果数据放在一个表(分区)里。这样同步只处理结果数据的全量同步，增量操作在ODPS里已经做好了。
3、用户使用实时更新的功能，自己使用SQL更新数据。这样相当于用户完全绕过了ODPS，自行实现了数据的同步。另外这样做，需要在创建表的时候设置为实时更新表。
原理解读
如果一个表是实时写入的表，则分析型数据库会支持对该表的单条数据进行Insert/Delete操作，不过由于分析型数据库不支持事务，对于Insert/Delete命令，有一些限制。
在分析型数据库中Insert语句的语法是：
INSERT [IGNORE]
INTO tbl_name (col1,col2...)
VALUES (value1, value2...), (value1, value2...)....
在分析型数据库中，能够实时插入的表一定要定义主键或组合主键，和MySQL有一个非常大的不同是，分析型数据库在进行数据插入时，若发现同主键的数据时，默认执行覆盖行为。若使用insert ignore语法，则在发现有同主键的数据时，丢弃新插入的数据，保留原有数据。但是无论如何，在主键冲突时分析型数据库无法直接返回错误给insert的执行方。
在分析型数据库中的Delete语句的语法是：
DELETE FROM tbl_name WHERE where_definition
where_definition中暂不支持函数定义。
对分析型数据库是数据插入和删除操作，原则上在分析型数据库操作返回成功后一分钟内可查（但不保证一定是一分钟的数据可见延迟），不过在表刚刚创建时的十分钟内，数据可能无法查询。
Delete语句执行后，数据会不可查询到，但不会在物理上立刻删除，原则上24小时内会自动清除掉，如果删除了大量数据想立刻生效，可以执行：
optimize table ;
执行成功一段时间后，物理上数据会被删除。
关于最终一致性：对于主键相同的数据的多次变更，分析型数据库会遵循分析型数据库返回语句执行成功的顺序进行；对于主键不同的数据的两次变更，分析型数据库不保证先执行的变更会比后执行的变更更优先的查询到。但是当业务端暂停数据写入的若干时间后，分析型数据库会保证数据的最终一致。
若希望达成数据写入速率的最大化，建议：
（1）每条insert插入多条数据，具体条数视数据列数决定。若需要极限性能，每条insert插入的数据需拥有相同的一级分区号；