DTS开发记录(4)-- 映射列

简介: 在DTS开发记录(1)--系统总体结构 一文中,我们介绍到映射列:“参与了数据映射的源列或目标列。注意,并不是所有的列都会参与映射,这是常见的情况。”1.映射列分为:源映射列和目标映射列。    public interface IMappingColumn    {        str...
    在DTS开发记录(1)--系统总体结构 一文中,我们介绍到映射列:“参与了数据映射的源列或目标列。注意,并不是所有的列都会参与映射,这是常见的情况。”

1.映射列分为:源映射列和目标映射列。
     public   interface  IMappingColumn
    {
        
string  ColumnName {  get ; set ;}
    }

    
public   interface  IDestMappingColumn : IMappingColumn
    {       
    }

   
public   interface  ISourceMappingColumn : IMappingColumn
    {
        ITransformRule TransformRule { 
get ; set ;}
        
object  EmitFiledValue(DataRow row);  // 经过ITransformRule后的值
    }

    对应的类图如下:


2.ITransformRule
    经常有这样的需求,我们需要把源列经过一定的运算变形后赋值给目标列,这是通过ITransformRule体现的。
    public   interface  ITransformRule
    {
        
object  Transform( object  columnVal);
    }

    最常用的TransformRule包括:
(1)字符串替换:比如,将源列中所有的“China”替换为“Chinese”之后赋值给目标列
(2)数值运算表达式:比如,将源列经过四则运算后赋值给目标列
(3)字符串连接:比如,将源列的字符串值衔接上“Good”后赋值给目标列
    针对源列的类型(字符串、数值)不同,能够采用变形的规则也不相同,这通过ITransformRule的派生类解决。



    在介绍了ITransformRule后,我们回过头来看ISourceMappingColumn的EmitFiledValue方法,EmitFiledValue方法接受一个DataRow参数,它的含义是,从DataRow中取出本列对应的field的值,然后使用ITransformRule在该值上作变换并返回结果。

3.源列分裂
    有时候,我们需要将一个源列依据一定的规则分裂为多个源子列,然后在源子列与目标列之间进行映射。常见的分裂规则包括:
(1)按指定长度分裂
(2)按分隔符分裂
    被分裂的源列称为IBreakupSourceMappingColumn,它从ISourceMappingColumn继承:
    public   interface  IBreakupSourceMappingColumn : ISourceMappingColumn
    {
        IBreakupRule BreakupRule { 
get ; set ;}

        
object  GetSubColumnValue(DataRow row,  string  subColumnName);
    }
    BreakupRule 属性表名该列采用的分裂规则;GetSubColumnValue是获取某个子列的在指定的DataRow中的值。
    分裂规则IBreakupRule的定义如下:
   public   interface  IBreakupRule
    {
        
string [] SubColumnNames {  get ; set ;}
        
object [] Breakup( object  filedVal);
    }
    Breakup方法将源列值依据分裂规则分裂为多个子列值。

    源子列也是从ISourceMappingColumn继承:
     public   interface  ISubSourceMappingColumn : ISourceMappingColumn
    {
        IBreakupSourceMappingColumn Parent { 
get ; set ; }
    }

    ISubSourceMappingColumn的Parent属性反映了该子列从哪个源列分裂而来。

    注意,从ISubSourceMappingColumn继承了ISourceMappingColumn的事实我们可以想到,所有能对源列采用的变形规则都可以运用于子列。
    我们的原则是,当一个源列被分裂为几个子列后,我们就可以将子列与源列同等对待。有一点除外,那就是,子列不能再次被分裂(再将子列进行分裂几乎是没有任何实际意义的)。
    
4.源列合并 
    将多个源列(包括子列)按指定的规则进行合并后赋值给目标列的需求也非常常见,比如,将MathScore与ChineseScore相加后赋值给目标的TotalScore列。
    由多个源列合并而成的目标列称为MergedDestMappingColumn。


    MergeExpression属性是合并表达式,MergeExpressionComputer将依据目标列的类型(数值、字符串等)自动解析合并表达式和进行计算。对于表达式的解析,是一项稍微有点复杂的工作,大家可能还记得在学习数据结构的时候曾遇到过“使用堆栈求表达式的值”的题目:)
    目前我们的表达式支持:+、-、*、/、log、^、(、)
    大多数情况下,这已经够用了。

    本文讲述了参与映射的源列和目标列,在下面一篇文章中,我们将讲述数据映射,这是DTS系统的核心概念,它完整地描述了所有的映射源列(包括子列)和映射目标列之间的映射细节。


转到:DTS开发记录(序)

目录
相关文章
|
数据库 数据可视化 SQL
DTS开发记录(序)
(原文发表于2006-06-27 ,修正于2006-07-03)    目前手头上正在负责一个DTS(这里的DTS是Data Transfer System的缩写)系统的开发,我打算写一系列的文章来记录这个开发的全过程,这个记录可以说是实时的--每当遇到一个重要问题或解决一个重要问题,我将记录之。
1135 0
|
数据库 监控 数据库连接
DTS开发记录(1)--系统总体结构
(原文发表于2006-06-28 ,修正于2006-07-03)    在DTS开发记录(序)一文中,我们已经明白了当前这个Data Transfer System的主要目标和存在的难点与挑战。
1003 0
|
数据库 数据处理
DTS开发记录(2)-- 数据管道及插件
通过前面两篇文章(已于2006-07-03修正)的介绍,我们已经大致明白了系统的目标的总体结构,从这篇文章开始,我们将逐渐深入到系统内部。    本文讲述数据管道,数据管道是用于在数据源/数据目标与DataTable之间进行数据传递的组件,它是与数据库类型和文件类型相关的,数据从数据源经过数据管道后,就变成与数据源类型无关的数据了,这样映射编辑和数据引擎便能对它们进行一致的处理。
772 0
|
数据库 关系型数据库 Oracle
DTS开发记录(3)-- 连接与连接对
在 DTS开发记录(2)-- 数据管道及插件 一文中,我们介绍了数据管道,IDataPipeFactory的CreateDataPipe方法需要一个IConnection参数,这个参数就表示一个连接。
855 0
|
数据库 关系型数据库 Oracle
DTS开发记录(5)-- 挑战增量导出
增量导出恐怕是DTS系统中最艰难的部分了,我们曾考虑过很多方案,最后都因为需要表大纲做一定的假设而不具备通用性而放弃。有很多效率较高的方案,由于为了追求通用性而无法实现,因为现实的情况比我们理想的要复杂许多。
1016 0
|
数据库
DTS开发记录(6)-- 数据映射
在DTS开发记录(4)-- 映射列一文中,我们详细的讨论了参与映射的源列和目标列,在拥有了映射列的基本概念的基础上,我们可以讨论数据映射DataMapping了。    数据映射主要由一组映射项(MappingItem)组成,它包含了源数据大纲到目标数据大纲的详细的完整的映射关系。
1022 0
|
容器
DTS开发记录(7)-- 灵活的引擎 IAgileEngine
数据引擎是数据传递系统(DTS)的核心,正如游戏引擎是PC游戏的核心一样。    IAgileEngine从目前手上的DTS系统中不断的重构完善出来,虽然IAgileEngine已经不局限于在本DTS系统中使用,但是,我还是打算在这个系列文章中来介绍它。
882 0
|
数据库
DTS开发记录(8)-- 主键的影响
对于数据源向同一数据目标导出(我们称之为“数据汇集”)和增量导出来说,对主键的处理也是一个大的挑战。    我先定义一下在本DTS系统中主键(PrimaryKey)的含义:PrimaryKey 表示主键或联合主键,PrimaryKey并不是针对某个数据库表的,而是针对某个特定的DataMapping而言的,它用于在数据迁移过程中来唯一确定数据源或数据目标中每条记录。
858 0
|
数据库
DTS开发记录(9)-- 数据迁移任务 DataTask
在DTS开发记录(1)--系统总体结构 一文中,我们已经看到,一次数据传递任务基于一个连接对和一个数据映射进行。但是之前,我们并没有提到“数据迁移任务”这个元素。随着设计的演化,我们发现一个数据任务已经不再仅仅是一个连接对加上一个数据映射了。
1007 0
|
数据可视化 关系型数据库 数据库
DTS开发记录(10)-- 可视化的流程编辑
在将数据从数据源导出到数据目标的过程中,我们通常需要对数据进行一些检查、验证、加工、转换等操作,而这个加工转换的流程可能是非常复杂的,DTS通过可视化的拖拽的方式对数据加工转换流程进行自定义编辑。
1054 0