datastage 配置 增量抽取

简介: 1 三个控件:   TRANSFORMER:对于任何需要转换的数据集合进行转化并负责传入到其他活动的STAGE SELECT XM XM_BM,XB XB_BM, F_15TO18(SFZH) SFZH,AGE AGE_BM FROM XXX   ORACLE CONNECTOR:连接Oracle数据,传送或者被写入数据。

1

三个控件:

 

TRANSFORMER:对于任何需要转换的数据集合进行转化并负责传入到其他活动的STAGE

SELECT XM XM_BM,XB XB_BM, F_15TO18(SFZH) SFZH,AGE AGE_BM

FROM XXX

 

ORACLE CONNECTOR:连接Oracle数据,传送或者被写入数据。

INSERT 

UPDATE

SELECT 

DELETE

 

 

AGGREGATOR:对于单一的输入数据进行分组并且计算每一组的合计和总计

ASH:最好自定义,这样子数据就比较全面

SELECT MAX(AGE_BM) ,ASH FROM XXX GROUP BY ASH;

 

A经过转换出来 将符合的字段传入B中,其中在转换过程中,取出A的最大时间戳并将其传入到时间戳表中。

 

A下次活动时取出时间戳之后的值将其存入到B

 

这样的话就需给A赋值

 

右击方案的PROPERTIES

添加时间戳类型一般默认为STRING


 

 

上面的方案主要解决存入数据并将最大时间戳存入到数据库中

现在如何将变量传送进去

 

2

 

HASH FILE:可以认为是一个txt文件存储关键字和时间戳

 

A的时间戳值存入到HASH_FILE

 

3

 

JOB ACTIVITY:类似Oraclejob

 

HASH_FILE读取数据并传入1

目录
相关文章
|
数据采集 机器学习/深度学习 算法
②数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
583 0
②数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
|
9月前
|
SQL
过配置数据集的增量同步任务
过配置数据集的增量同步任务
75 1
++i(前增量) 和 i++(后增量)的区别
++i(前增量) 和 i++(后增量)的区别
72 0
|
数据采集 SQL 关系型数据库
【笔记】最佳实践—如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。
102 0
|
数据采集 SQL 关系型数据库
最佳实践—如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。
208 0
|
存储 分布式计算 DataWorks
如何正确的做增量加工
回到十多年前,增量加工这个方法并不是一种需要特别需要提出的方法,因为关系数据库的存储与计算性能十分有限(即便是MPP数据库平台也不是全都是做全量加工),增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。
1113 3
如何正确的做增量加工
|
9月前
|
Java 关系型数据库 MySQL
mysql连接池DataSource,DruidDataSource的理解及其使用
mysql连接池DataSource,DruidDataSource的理解及其使用
683 0
|
11月前
|
分布式计算 Hadoop 大数据
Shell脚本-修改/etc/hosts文件
在学习大数据配置hadoop集群使用虚拟机的时候,每次开机集群各个机器的ip都可能发生变化,但修改静态ip又不太会操作,写个脚本来操作
|
数据采集 数据库 调度
数据抽取清洗转换加载工具ETL
应用场景 当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。
2434 0
|
SQL 存储 运维
OceanBase 3.2 正式发布 | 更硬核的 HTAP,TPC-H 性能提升6倍!
OceanBase 数据库将持续围绕打造硬核原生分布式 HTAP 数据库,在兼容性、稳定性、混合负载 HTAP、透明扩展等方面进行持续提升,把复杂留给数据库、把简单留给客户,打造满足客户真实业务诉求和场景的硬核数据库。
481 0
OceanBase 3.2 正式发布 | 更硬核的 HTAP,TPC-H 性能提升6倍!