2.24 结 果
我们将人类、BPL 以及其他模型在 5 个概念学习任务上的结果并列进行对比，检验仅从一个或一些样例得到的不同形式的泛化（见图 5 的样例任务）。所有的行为实验都是通过亚马逊土耳其机器人（Mechanical Turk）进行的，实验的详细流程请参考 S5 章节。主要实验结果总结在图 6 中，额外的残缺分析与控制在 S6 章节中汇报。
单次分类是基于 10 个不同的字符系统的一系列系统内分类任务进行评估的。如图1B i 所示，给定一个新字符的一张图片，参与者需要从来自同一个字符系统的 20 个不同字符中挑选出与给定字符相同的另一个样例。分类性能展示在图 6A 中，随机猜的错误率是 95%。作为一个基准算法，通过计算与中心图片的改进的 Hausdorff 距离进行分类的方法错误率为 38.8%。人类具有非常熟练的单次学习能力，能够达到平均错误率为 4.5%（N=40）。BPL 算法可以达到类似的错误率 3.3%， 超过了深度卷积网络（13.5% 的错误率）和 HD 模型（34.8%的错误率）——两者都是来源于在计算机视觉任务上性能优异的深度学习算法。一个针对该单次学习任务优化的深层连体卷积网络可以达到 8.0% 的错误率，几乎是人类和我们模型错误率的两倍。BPL 算法的优势在于在概念学习时建模了潜在的因果性过程，这种策略是和这里对比的深度学习方法所不同的。BPL 其他关键要素也起到了正面的作用，这可以通过残缺版本 BPL 算法的错误率得到佐证，缺少学会学习（仅记号层次）的 BPL 错误率为 11.0%，缺少组合性的 BPL 算法错误率为 14.0%。通过拆分生成模型学得的超参，我们分别从类型层次和记号层次分析了学会学习的作用。对组合性的评估则是通过将 BPL 与一个只允许单样条笔画的匹配模型进行对比，该模型和早期的手写字符合成式分析模型有类似的局限性。
人类单次学习的能力远不止于进行分类，而是会形成一整套能力，例如产生概念的新样例。我们通过“视觉图灵测试”来对比人类和机器的创造性输出，给定一对人类和机器产生的样例，要求人工评审来识别哪个是机器产生的。在我们最基本的任务里，由 9 个人在看到给定概念的单个样例后画出该概念的一个新样例，同时 BPL 算法产生该概念的 9 个新样例，评审们将对这些新样例进行比较（见图 5）。我们基于评审的准确率来评估各个模型，称该准确率为辨识（ID）水平：理想的模型性能将达到 50% 的辨识水平，意味着模型行为和人类行为无法区分；最坏情况的性能则是 100%。每个评审（N=147）在无反馈的情况下完成了 49 次试验，并对评审结果进行了单独和集成的分析。结果展示在图 6B（new exemplars）中。在区分人类和 BPL 行为上，评审仅达到平均为 52% 的辨识水平。从整体来看，该性能几乎和随机猜相当[t(47)=2.03,P=0.048]，48 个评审中仅有 3 个的辨识水平是可靠地高于随机猜的。我们把评审分成几个不同的组，分别对残缺模型进行视觉图灵测试的评价，以检验 BPL 模型各要素的必要性。如果缺了学会学习（仅记号层次）和组合性，会让图灵测试明显变得简单（分别为 19 个评审中的 17 个达到80% 辨识水平，26 个评审中的 14 个达到 65% 辨识水平），这也说明了该图灵测试并不是一个很容易通过的任务，同时也说明了这两个准则对于 BPL产生类似人类那样的生成能力是有贡献的。为了更直接的评价解析过程（见图 4B），对另外一组评审（N=143）进行了一个动态版本的测试，在每次的试验中会展示一组人和 BPL 写出同一个字符的影片。在这个动态图灵测试上 BPL 性能并不完美（平均 59% 的辨识水平，见图 6B new exemplars（dynamic）），如果把学得的笔画顺序和方向的先验做随机扰动会显著提高辨识水平（71%），这也说明了 BPL 捕捉到正确的因果动态性的重要性。
尽管我们证明了基于 30 个背景字符系统可以有效地学会学习新字符，但人类其实需要的经验可以更少：也许只熟悉一个或几个字符系统，以及一些相关的书写任务即可。为了进一步检验本模型假如使用更有限的经验会表现如何，我们基于两个只包含 5 个背景字符系统的子集合重新训练模型。结果发现，该 BPL 算法可以和基于 30 个字符系统学的模型在单次分类上达到类似的性能（两个集合上分别是 4.3% 和 4.0% 的错误率）；相反，深度卷积网络性能却显著下降（分别为 24.0% 和 22.3%的错误率）。在视觉图灵测试的新样例生成任务上（N=59），BPL 算法基于第一个子集合的性能基本和之前接近（平均为 52% 的辨识水平，和随机猜没有显著的区别 t(26)=1.04，P>0.05）,27 个评审中只有 3 个可靠地优于随机猜，但是基于第二个子集合的性能略微差些（57% 的辨识水平，t(31)=4.35，P<0.001；32 个评审中有 7 个可靠地优于随机猜）。这些结果表明，尽管学会学习对于BPL 的成功很重要，但是是模型的结构使得它几乎充分地利用到了比较有限的背景训练数据。
人类的创造能力远不止于对给定的概念生成几个新样例——人们还可以创造出全新的概念。我们对此也进行了测试，从 10 种外语字符系统中找出一种并展示它的一些字符给参与者，要求参与者能够很快地创造出一个看起来也属于该字符系统的新字符（见图 7A）。BPL 模型也能够捕捉到这种行为，它是通过在类型层面设置一个非参先验，使得模型偏好于重用从字符样例中学得的笔画来产生风格一致的新字符（见 S7 章节）。人工评审基于视觉图灵测试，通过查看一系列如图 7A i 和 iii 展示的字符，对人类和 BPL 进行了对比。评审平均只有 49% 的辨识水平（见图 6B，new concepts（from type）），和随机猜没有 显 著 的 不 同（t(34)=0.45，P>0.05）。单独的看，35 个评审中只有 8 个的辨识水平是显著高于随机猜的。相反，缺了学会学习的模型却可以被另一组评审们在 69% 的视觉图灵测试中成功检测出来（25 个评审中的 18 个高于随机猜），显然比 BPL 模型容易检测得多。在 S6 章节中的进一步比较显示是模型生成合理的新字符的能力，而不是风格一致本身，才是通过这项测试的关键因素。根据评审的辨识水平，我们还发现在比较人类和 BPL在该任务的性能时评审之间差异更明显：35 个评审中有 10 个评审单独的辨识水平显著低于随机猜；相反，在图 6B 所示的其他实验中，对于 BPL 模型仅有 2 个评审有低于随机猜的辨识水平。
最后，评审在一个完全开放的生成新字符概念的任务上（即不需要受限于某个特定的字符系统）对人类和模型进行了对比（见图 7B）。BPL 算法如果基于字符类型 P(ψ) 的先验进行采样能够在视觉图灵测试中达到 57% 的平均辨识水平；如果基于非参先验从背景字符集中重用推断得到的部件，BPL 算法可以达到 51% 的辨识水平（见图 7B 以及图 6B new concepts（uncosntrained）；辨识水平和随机猜没有显著差别 t(24)=0.497，P>0.05；25个评审中的 2 个优于随机猜）。残缺分析揭示了组合性（68%）和学会学习（64%）对于通过该项测试至关重要。
