本节书摘来自华章出版社《大数据集成(1)》一书中的第2章，第2.2节，作者 [美] 董欣（Xin Luna Dong）戴夫士·斯里瓦斯塔瓦（Divesh Srivastava），更多章节内容可以访问云栖社区“华章计算机”公众号查看
2.2 应对多样性和高速性的挑战
一个数据集成系统极大地依赖于数据源和中间模式之间的模式映射来完成查询重写。但是，众所周知创建和维护这些映射并不容易，需要大量的资源、前期投入的经历以及专业技术等。虽然已经有帮助生成模式映射的工具；但是，仍然需要领域专家来改进自动生成的映射。因而，模式对齐成为建立一个数据集成系统的主要瓶颈之一。在大数据情况下，有巨大数量的数据源而且数据的模式可能会不断变化，要生成完美的模式映射并且使它们能随着不断演化的数据源模式而更新是不可能的。
[Franklin et al. 2005]提出一种数据空间支持平台，通过按需集成的数据管理方式来解决数据的多样性和高速度：最初提供一些服务，然后按需逐步发展不同数据源之间的模式映射。给定一个查询，这样一个平台会从那些不存在完美模式映射的数据源中生成最好可能的近似答案。当它发现在某些数据源上存在大量复杂查询或数据挖掘的应用时，它会指导用户投入额外的经历更精确地集成这些数据源。
这一节将讲述数据空间系统的一些关键技术。2.2.1节讲述如何通过构建概率中间模式和概率模式映射来提供最好可能近似查询。2.2.2节讲述如何在按需集成方式中征求用户反馈来确认候选映射的对错。
2.2.1 概率模式对齐
为了在数据空间上提供最好可能的查询服务，系统必须处理各种级别的不确定性。第一，当数据源的数目非常大时，如何对领域建模就存在着不确定性；因而中间模式的创建中存在不确定性。第二，属性可能具有歧义，一些属性的含义有重叠并且这些含义会随时间发生变化，因而属性匹配中存在不确定性。第三，数据的规模和数据源模式的不断演化使得无法生成和维护精确的模式映射，因而模式映射中存在不确定性。
这些不确定性可以用两种方法解决。第一，可以创建一个概率中间模式来体现领域建模中的不确定性。概率中间模式中的每个可能的中间模式代表源属性的一种聚类方式，同一类中的属性被认为具有相同的语义 [Das Sarma et al. 2008]。
第二，每个数据源模式和概率中间模式的每个可能的中间模式之间可以建立一个概率模式映射。一个概率模式映射包含一组属性匹配，描述数据源属性和中间模式中的属性聚类之间的对应关系 [Dong et al. 2009c]。
本节中我们主要讨论每个数据源仅包含一个关系表的情况，从而模式映射可以简单地从属性匹配中推断出。下面我们详细描述每一部分，并在最后介绍这一新体系结构下的查询问答。
1．概率中间模式
中间模式由一组模式词语（如关系表、属性名等）构成，用于在其上表达查询。它描述了领域中对集成应用重要的部分。考虑从一组数据源自动推断出一个中间模式的问题，其中每个数据源仅包含一个关系表。在这种情况下，中间模式可以被看成源属性的一个“聚类”，相似的属性被聚成一类，从而形成一个中间属性。注意在传统的中间模式中，每个属性都有一个名字，但在上面这样生成的中间模式中，属性名不是必需的。用户可以在查询中使用任一源属性，并且源属性都可以用它所属聚类所对应的中间属性来替换。实际中，当将中间模式呈现给用户时，可以用每个聚类中最频繁的源属性来代表此中间属性。
查询答案的质量关键依赖于聚类的质量。然而，由于被集成的数据源的异构性，通常源属性的语义继而导致聚类的语义都是不确定的，如下例所示。
下面两个源模式都是描述航班的。
S1(Flight Number (FN), Departure Gate Time (DGT), Takeoff Time (TT),
Landing Time (LT), Arrival Gate Time (AGT)) S2(Flight Number (FN), Departure Time (DT), Arrival Time (AT))
在S2中，属性DT可以是离开登机口时间，也可以是起飞时间。类似地，AT可以是到达登机口时间，也可以是着陆时间。
现将S1和S2的属性进行聚类，可以有多种方式，它们分别对应不同的中间模式。下面给出一些例子：
Med1({FN}, {DT, DGT, TT}, {AT, AGT, LT}) Med2({FN}, {DT, DGT}, {TT}, {AT, LT}, {AGT}) Med3({FN}, {DT, DGT}, {TT}, {AT, AGT}, {LT}) Med4({FN}, {DT, TT}, {DGT}, {AT, LT}, {AGT}) Med5({FN}, {DT}, {DGT}, {TT}, {AT}, {AGT}, {LT})
上面列出的中间模式中没有一个是完美的。模式Med1将S1中的多个属性聚成一类。模式Med2看上去不一致，因为出发时间（Departure Time）和离开登机口时间（Departure Gate Time）聚成一类，而到达时间（Arrival Time）和着陆时间（Landing Time）聚成一类。模式Med3、Med4和Med5基本正确，但它们没有体现出发时间（Departure Time）和到达时间（Arrival Time）可以是离开和到达登机口的时间，也可以是起飞和降落的时间。
因此，即使存在完美的模式映射，上面所列的中间模式也没有一个会对所有用户查询返回理想的结果。例如，使用Med1无法正确回答查询条件既包含离开登机口时间（Departure Gate Time）又包含起飞时间（Takeoff Time）的查询，因为它们被视为同一个属性了。又如，如果一个查询包含出发时间（Departure Time）和到达时间（Arrival Time），使用Med3或Med4作为中间模式将不必要地倾向于起飞和着陆时间，或者倾向于离开和到达登机口的时间。而使用Med2作中间模式的系统将错误地返回具有给定离开登机口时间和着陆时间的结果。使用Med5作中间模式的系统或者会错过提供DGT、TT、AGT和LT的数据源中的一些信息，或者会具有和使用Med2～Med4作为中间模式同样的问题。 ?
作为一种解决方法，我们可以将那些非常可能为真的所有聚类创建一个概率中间模式，每种聚类被赋予一个概率值。例如，可以创建一个包含Med3和Med4的概率中间模式，分别被赋予概率值0.6和0.4。
概率中间模式被正式地定义如下。给定一组源模式{S1, …, Sn}，模式Si（i∈[1, n]）中的所有属性记为A(Si)，所有源模式属性的集合记为A，即A=A(S1)∪…∪A(Sn)。一组数据源上的一个中间模式被记为Med={A1, …, Am}，其中每个Ai，i∈[1, m]，称作一个中间属性。每个中间属性是数据源属性的一个集合，即AiA；对任意i, j∈[1, m]，i≠j，有Ai∩Aj=。如前所述，如果一个查询包含一个属性A∈Ai，i∈[1, m]，则在回答该查询时所有出现的A都被替换为Ai。
一个概率中间模式是一个中间模式的集合，其中每个中间模式有一个概率，用以说明该模式正确描述数据源的领域的可能性。
[Das Sarma et al. 2008] 给定一组源模式{S1,…, Sn}，{S1, …, Sn}上的一个概率中间模式（p-med-schema）是如下一个集合
pMed = {(Med1, Pr(Med1)), …, (Medl, Pr(Medl))}
其中
- 对任意i∈[1, l?]，Medi是S1, …, Sn的一个中间模式；对任意i, j∈
[1, l]，i≠j，Medi和Medj分别对应于A中源属性的两个不同聚类。
* Pr(Medi)∈[0,1]，并且。
[Das Sarma et al. 2008]中提出了为数据源模式S1, …, Sn创建一个概率中间模式的算法：首先创建pMed中的多个中间模式Med1, …, Medl，然后给每个中间模式赋一个概率值。
源模式中的两种信息可以为属性聚类提供证据：1）源属性间的两两相似度；2）源属性的统计共现特性。第一种信息指出两个属性什么时候可能相似，被用来创建多个中间模式。很多属性匹配的算法可供选择来计算属性间的两两相似度。两个源属性ai和aj之间的相似度s(ai, aj)衡量这两个属性在表达同一个现实世界中的概念上有多接近。第二种信息指出两个属性什么时候可能不同，被用来给每个中间属性赋一个概率值。
对例2.1中的模式S1和S2而言，计算两两字符串的相似度和字典匹配会得到属性DT可能和DGT与TT都相似，因为它们的属性名相似并且取值相似。然而，由于第一个数据源模式同时包含DGT和TT属性，则这两个属性不可能指代相同的概念。因此，第一个模式显示DGT不同于TT，所以不太可能将DT、DGT和TT都聚成一类。
更具体地，给定数据源模式S1,…, Sn，创建概率中间模式pMed的过程可以分成三步。第一，计算属性间的相似度。将相似度大于阈值τ+ε的所有属性放到同一类里，相似度在[τ-ε,τ+ε]区间内的属性对称作不确定对。第二，为不确定对集合的每个子集创建一个中间模式，把子集中的每对属性放在同一个类中。得到的中间模式的集合构成了概率中间模式的所有可能的中间模式。最后，如果数据源模式Si(i∈[1, n]）中的任何两个属性都没有出现在中间模式Medj（j∈[1, l]）的一个类（代表一个中间属性）中，则称Si和Medj一致。每个可能的中间模式的概率正比于与其一致的源模式的个数。
2．概率模式映射
模式映射描述了数据源的内容和中间数据之间的关系。在许多应用中，不可能预先给出所有的模式映射。概率模式映射可以体现模式间映射的不确定性。我们再从一个说明性的示例出发，然后正式地定义概率模式映射，并在最后描述它们是如何被生成的。
继续例2.1。考虑S1和中间模式Med3之间的映射。一个半自动的属性匹配工具可能生成S1和Med3之间4种可能的映射。由于只考虑单个关系表的模式，每种映射可以被表示为属性匹配的形式，如下所示，其中DDGT={DT, DGT}，AAGT={ AT, AGT}。
尽管4种映射都将S1.FN属性映射到Med3.FN属性，它们映射数据源的其他属性到中间模式的不同属性上。例如，映射M1将S1.DGT映射到Med3.DDGT，而M3将S1.DGT映射到Med3.TT。要体现映射是正确的具有不确定性，不是随意地或按照领域专家的干预舍弃一些可能的映射，而是为查询问答保留所有的映射并赋一个概率值表示每个映射为真的可能性。
类似地，在S1和Med4之间存在着如下一个概率映射，其中DTT={DT, TT}，ALT={AT，LT}。
在定义概率模式映射之前，让我们首先回顾一下非概率模式映射。一个概率映射的目标是说明一个源模式S和一个目标模式T（如中间模式）之间的语义关系。本节中所考虑的模式映射是一种受限的形式：它只包含S和T中属性之间一对一的匹配。
直观地，一个概率模式映射描述一个源模式和一个目标模式之间的一组可能的模式映射的概率分布。
[Dong et al. 2009c] 假设S和T是两个只包含一张关系表的关系模式。在源模式S和目标模式T之间的一个概率映射，pM，是一个集合，pM = {(M1, Pr(M1)), …, (Ml, Pr(Ml))}，其中
- 对任意i∈[1, l?]，Mi是S和T之间的一个一对一的属性匹配，对任意i, j∈[1, l?]，i≠j，Mi和Mj不同。
[Das Sarma et al. 2008]中提出一个创建概率的算法。首先，计算每一对源属性和目标属性之间的加权匹配。一些现有的属性匹配技术可以用来计算这些加权匹配。权重被归一化在[0, 1]区间内。第i个源属性和第j个目标属性之间的加权匹配记作mi,j=((i, j), wi,j)，其中wi,j是匹配(i, j)的权重。
尽管加权匹配给出了每对属性的相似度，它们没有指出一个源属性应该被映射到哪个目标属性。例如，一个目标属性到达时间（Arrival Time）和源属性到达登机口时间（Arrival Gate Time）以及着陆时间（Landing Time）都相似，因而在一个模式映射中将到达时间映射为任何一个都是合理的。事实上，给定一组加权匹配，可能有多个与它一致的概率映射。
（一致的概率映射）[Das Sarma et al. 2008] 一个概率映射pM与一对源属性和目标属性之间的一个加权匹配mi,?j相一致，如果pM中所有包含匹配(i, j)的映射M∈pM的概率之和等于wi,?j，即
我们说一个概率映射和一个加权匹配集合m是一致的，如果它和该集合中的每个加权匹配m∈m都一致。
给定一组加权匹配，可能有无数个与它一致的概率映射，如下例所示。
考虑一个源模式S(A, B)和一个目标模式T(A', B'?)。假设源属性和目标属性之间的加权匹配为wA,A'?=0.6，wB,B'?=0.5（其他为0）。与这组加权匹配一致的概率映射有无数个，下表中列出其中两个。
从某种意义上说，pM1看上去要优于pM2，因为它假设A和A'之间的相似性与B和B'之间的相似性是相互独立的。 ?
一般情况下，在与一组加权匹配m一致的多个概率映射中间，最优的是具有最大熵的那个概率映射，即其概率分布获得的最大值。在例2.3中，pM1具有最大熵。
最大熵背后的直观含义是当从一组互斥事件上的多个可能分布中选择时，不倾向于任何一个事件的分布会被优先选择。因而，不引入未预知的新信息的分布会被优先选择。最大熵原理在其他领域也被广泛使用，如自然语言处理。
综上所述，一个概率映射可以分三步来创建。第一，生成每一对源模式S的属性和目标模式T的属性之间的加权匹配。第二，枚举S和T之间所有可能的包含一组匹配m的一对一的模式映射，记为M1, …, Ml。第三，通过最大化结果概率映射的熵来给每个映射赋一个概率值，即求解下面有约束的优化问题：
3．查询问答
在讨论如何通过概率中间模式和概率映射回答查询之前，我们首先需要定义概率映射的语义。直观地，一个概率模式映射体现了pM中哪个映射是正确的具有不确定性。当一个模式匹配系统生成了一组候选匹配时，有两种方式来解释不确定性：1）pM中的单个映射是正确的，并且它适用于S中的所有数据，或者2）有几个映射是部分正确的，每个只适用于S中所有元组的一个子集，尽管对一个具体的元组而言并不知道哪个映射是正确的。
查询问答被定义在两种解释之下。第一种解释称为概率模式映射的表（by-table）语义而第二种解释称为元组（by-tuple）语义。注意我们不能赞成一种解释而反对另一种；应用的实际需要会决定恰当的语义。下面的例子阐明了两种语义。
继续例2.2，考虑S1的一个实例如下所示。
FN DGT TT LT AGT 49 18:45 18:53 20:45 20:50 53 15:30 15:40 20:40 20:50
记得用户可以使用数据源中的任何属性来构建查询。现在考虑查询Q: SELECT AT FROM Med3（其中Med3如例2.1中给出），以及例2.2中给出的概率映射。在表语义下，每个可能的映射被应用于S1中的所有元组，会生成如下的答案。
表语义答案（AT） 概率 M1 M2 M3 M4 概率映射 20:50 0.64 — 0.16 — 0.64+0.16=0.8 20:45 — 0.16 — 0.04 0.16+0.04=0.2 20:40 — 0.16 — 0.04 0.16+0.04=0.2
相比之下，在元组语义下，不同可能的映射被应用于S1中不同的元组上，生成下面的答案（细节略去）。
元组语义答案（AT） 概率 20:50 0.96 20:45 0.2 20:40 0.2
相对于概率映射的查询问答的定义是相对于一般映射的查询问答的自然扩展，稍后做一回顾。一个映射定义了S的实例和T的与映射一致的实例之间的一种关系。
（一致目标实例）[Abiteboul and Duschka 1998] 假设M是源模式S和目标模式T之间的一个模式映射，DS是S的一个实例。
T的一个实例DT被认为与DS和M相一致，如果对于每个元组tS∈DS，都存在一个元组tT∈DT使得对于每个属性匹配（as,at）∈M都有tS中的属性as值和tT中的属性at值相同。
给定一个关系映射M和一个源实例DS，可能存在无数个与M和DS相一致的目标实例。所有这样的目标实例的集合被记作。一个查询Q的答案的集合是在集合中的所有实例上的答案的集合的交集。
（肯定答案）[Abiteboul and Duschka 1998] 假设M是源模式S和目标模式T之间的一个关系映射，DS是S的一个实例，Q是T上的一个查询。
一个元组t称作Q相对于DS和M的一个肯定答案，如果对每个实例DT∈都有t∈Q(DT)。
这些概念可以被推广到概率映射中，从表语义开始。直观地，一个概率映射pM描述了一组可能世界，每个有一种可能的映射M∈pM。在表语义中，一张源关系表可能属于一个可能世界，即对应于该可能世界的可能映射应用于整张源关系表。顺着这一直观想法，与源实例相一致的目标实例被定义如下。
（表一致实例）[Dong et al. 2009c] 假设pM是源模式S和目标模式T之间的一个概率映射，DS是S的一个实例。
T的一个实例DT被认为与DS和pM表一致，如果存在一个映射M∈pM使得DT与DS和M相一致。
在概率背景中，每个答案会被赋予一个概率。直观地，所有肯定答案相对于每个可能的映射单独被考虑。一个答案t的概率是使其成为一个肯定答案的所有映射的概率之和。表语义答案的定义如下。
（表语义答案）[Dong et al. 2009c] 假设pM是源模式S和目标模式T之间的一个概率映射，DS是S的一个实例，Q是T上的一个查询。
假设t是一个元组，是pM的一个子集，其中每个M∈满足对每个DT∈都有t∈Q(DT)。
设p=，如果p>0，则(t, p)是Q在DS和pM上的一个表语义答案。
在可能世界的概念中，按照元组语义，一张源关系表中的不同元组可能会属于不同的可能世界；即和这些可能世界关联的不同的可能映射会应用于不同的源元组。
正式地，元组语义和表语义的定义之间的关键区别在于一致目标实例是通过一个映射序列将M中（可能不同）的映射赋给DS中每个源元组来定义的。（不失一般性，为了比较这些序列，实例中的元组被赋予一定的顺序。）
（元组一致实例）[Dong et al. 2009c] 假设pM是源模式S和目标模式T之间的一个概率映射，DS是S的一个具有d个元组的实例。
T的一个实例DT被认为与DS和pM元组一致，如果存在一个序列使得d是DS中元组的数目，并且对每一个1≤i≤d，
* M?1∈pM。
- 对DS的第i个元组ti，存在一个目标元组ti'∈DT使得对于每个属性匹配（as, at）∈M都有ti中的属性as值和ti'中的属性at值相同。
给定一个映射序列seq=，所有与DS和seq一致的目标实例的集合记作。注意如果DT与DS和M表一致，那么DT也和DS以及每个映射都是M的映射序列元组一致。
一个映射序列seq=可以被视为一个独立事件，其概率为Pr(seq)=。如果pM中有l个映射，则有ld个长度为d的序列，且它们的概率之和为1。从pM中生成的长度为d的映射序列的集合记为seqd(pM)。
（元组语义答案）[Dong et al. 2009c] 假设pM是源模式S和目标模式T之间的一个概率映射，DS是S的一个具有d个元组的实例，Q是T上的一个查询。
假设t是一个元组，是seqd?(pM)的一个子集，其中每个seq∈满足对每个DT∈都有t∈Q(DT)。
设p=，如果p>0，则(t, p)是Q在DS和pM上的一个元组语义答案。
Q在DS上的表语义答案的集合记为Qtable(DS)，元组语义答案的集合记为Qtuple(DS)。
在表语义的情况下，回答查询相对简单。给定源模式S和目标模式T之间的一个概率映射pM和T上的一个SPJ查询Q，计算出Q在每个映射M∈pM下的肯定答案，并将概率值Pr(M)赋给每个答案。如果一个元组是Q在pM中的多个映射下的答案，则将这些不同映射的概率加起来作为此元组的概率。
若将表语义下的查询问答策略扩展到元组语义，则需要计算从pM中生成的每个映射序列下的肯定答案。然而，映射序列的数目相对于输入数据的大小是指数级的。事实上，已经证明一般情况下，按照元组语义回答模式概率映射上的SPJ查询是困难问题。
[Dong et al. 2009c] 假设pM是一个概率映射，Q是一个SPJ查询。
- 按照表语义来回答pM上的查询Q的时间复杂度相对于数据和映射大小是PTIME的。
- 得到Q在pM上的一个元组答案的概率的时间复杂度相对于数据大小是#P-完全的，相对于映射大小是PTIME的。
证明 PTIME时间复杂度是显然的。在元组语义下相对于数据大小是#P难复杂度可以通过将求满足偶单调2DNF布尔公式的变量赋值的个数问题规约到找查询答案的问题来证明。 ?
最后，考虑在一个概率中间模式和一组概率映射（每个对应一个可能的中间模式）上的查询问答的语义。直观地，要计算查询答案，必须首先在每个可能的中间模式上回答查询，然后每个答案元组的概率是它在所有中间模式上的概率按照各中间模式的概率加权求和。表语义下的正式定义如下；元组语义下的定义类似。
（概率中间模式和概率映射上的查询答案）[Das Sarma et al. 2008] 假设S是一个源模式，pMed={(Med1, Pr(Med1)), …, (Medl, Pr(Medl))}是一个概念中间模式，pM={pM(Med1), …, pM(Medl)}是一组概率映射，其中pM(Medi)是S和Medi之间的概率映射，DS是S的一个实例，Q是一个查询。
假设t是一个元组，Pr(t|Medi)，i∈[1, l]，是t作为Q在Medi和pM(Medi)上的一个答案的概率。设p=，如果p>0，则(t, p)是Q在pMed和pM上的一个表语义答案。
所有答案的集合记为QM,pM(DS)。
考虑例2.4中的S1实例和查询Q：SELECT AT FROM M。在表语义下，查询在例2.1中的pMed和例2.2中的pM上的答案如下所示。
表语义答案（AT） Med3 Med4 最终概率 20:50 0.8 0.2 0.80.6+0.20.4=0.56 20:45 0.2 0.8 0.20.6+0.80.4=0.44 20:40 0.2 0.8 0.20.6+0.80.4=0.44
这样的答案有两个优势：1）离开和到达登机口时间产生的答案与起飞和降落时间产生的答案被平等对待，2）出发和到达时间正确对应的答案被优先选择。 ? ?
4．主要结果
[Das Sarma et al. 2008] 在5个领域内爬取的Web表格上测试了所提出的技术，其中每个领域包含50～800张Web表格（即数据源）。主要结果如下。
1）和一个人工说明模式映射的集成系统相比较，所提出的方法在每个领域的查询问答任务上都获得了大于0.9的F值。
2）所提出的方法在关键词搜索任务中显著地提升了PR曲线（相同查全率下，查准率常常提高了一倍），显示用概率的方式利用结构信息所带来的好处。
3）使用一个概率中间模式比使用一个确定的中间模式得到更好的实验结果。
4）系统设置时间随数据源的数目呈线性增长，对一个包含817个数据源的领域大概花费了3.5分钟。
2.2.2 按需集成用户反馈
一个数据空间系统起始时通过概率模式对齐提供最好可能的服务。当更多的查询到来时，它会发现一些可能的候选匹配，如果是精确映射会获益很大，因而让用户或领域专家人工地确认这些映射。但可能会有太多的候选匹配需要用户反馈，为所有候选匹配进行反馈代价太大而且通常是不必要的。因而关键问题是找到确认候选匹配的最佳顺序。
[Jeffery et al. 2008]提出使用一种决策理论方法来解决这个问题。这里用到的决策理论中的关键概念是完美信息价值（Value of Perfect Information, VPI）[Russell and Norvig 2010]，它用来量化确定一些未知变量的真值可能带来的潜在收益。我们下面详细讨论如何应用VPI概念来确定候选匹配反馈的顺序。
1．确认匹配的收益
假设Ω是一个数据空间，包含一组数据源以及一些属性对、实体对和值对之间的已知匹配Λ是一组没被包含在Ω中的候选匹配。数据空间Ω相对于Λ的有用性记为U(Ω,Λ)。有用性是从查询日志记录的一组查询Q上聚集得到的。每个查询Qi有一个权值wi,由查询的频率或重要性决定。对每个查询Qi，它在Ω和Λ上的结果质量被记为r(Q,Ω,Λ)。则Ω相对于Λ的有用性的计算如下：
假设查询都不包含否定条件并且只有被确认的匹配才会被用来回答查询，则知道更多映射会改善答案的覆盖率。因而，r(Q,Ω,Λ)表示在现有数据空间Ω上得到的答案覆盖范围与在根据用户在Λ上的反馈扩展后的数据空间上得到的答案覆盖范围的比值，其中根据用户反馈扩展后的数据空间记为Ω∪Λp（ΛpΛ是用户反馈确认的正确匹配）。
现在考虑确认一个候选匹配λ∈Λ的收益。用户反馈会造成两种可能的结果：λ或者被确认为真或者被判断为假。两种情况下导致的数据空间分别记为和。假设匹配为真的概率为p；此概率是根据自动匹配结果的置信度计算的。确认λ的收益可以用以下等式计算：
2．近似计算收益
计算确认一个匹配λ的收益需要估计查询覆盖范围，即需要了解在用户反馈Λ之后的数据空间，而它是未知的。我们可以通过假设Λ仅包含一个映射λ来近似计算有用性。则等式（2.2）可以被重写为：
按照收益来对匹配进行排序，则可以首先在高收益的匹配上获得用户反馈。
考虑例2.4中S1的一个实例，记为D(S1)，和例2.1中的Med3。一个候选属性匹配λ=（AGT, AAGT）有0.8的概率为真。假设只观察到两个查询与λ有关。查询Q1：SELECT AT FROM Med3，权重为0.9；查询Q2：SELECT AGT FROM Med3，权重为0.5。
对Q1来说，没有匹配λ则不会从D(S1)得到任何答案；即|Q1(Ω)|=0。一旦λ已知，则可以得到所有的答案，即|Q1(Ω∪{λ})|=1。然而对Q2来说，即使没有匹配λ，依然可以从D(S1)中得到所有的答案；即|Q2(Ω)|=|Q2(Ω∪{λ})|=1。带入等式（2.7），得到λ的收益为
3．主要结果
[Jeffery et al. 2008]用从Google Base（http://base.google.com）导出的一个数据集对所提出的算法进行了实验，得到两个主要结果。
1）所提出的方法是有效的：在确认了前10%的候选匹配之后，它将覆盖范围改进了17.2%，在确认了前20%的候选匹配之后，它已经能得到95%在全部候选匹配上做反馈可以得到的潜在收益。
2）提出的近似算法显著优于一些最基本的方法，即求权重之和、计算被影响的元组的数目，或者随机排序。它的表现接近于假设已知整个查询负载的运行结果的算法表现。
