2.强健的优化
实际上，许多AI 推理问题都可以理解为优化问题。我们来讲课本里的一个简单线性问题，如上图所示，这里面有两个变量，分别是x1、x2，以及两个限制条件（ax1+bx2）≤ r、（cx1+ dx2）≤s。随着绿色箭头的方向，目标是在增长的，因此可以在这个可行区域内找到最佳优化点。
假设对这些限制不确定，那么我们需要使用不确定区间。这个的想法是，我们有常数a、b等，不知道它们确切的值，但是知道它们属于一个不确定区间。比如，a的不确定集合是U。这是对不确定性的另一种表达方式，但是更实用。
现在我们想最大化目标值，那么该如何解决这些不确定区间带来的问题？假设红线是这些常量的替代值，那么这里的交叉点就是最优解决方案。当然这在我们的问题中是不可能出现的，区域优化对新问题来说是不适用的。当限制条件不确定时，规划的解决方案可能不可行，这将导致非常严重的问题。对此我们该怎么办？
其中一个方案是使用极小化极大算法（一种找出失败的最大可能性中的最小值算法）来消除不确定性。我们有adversary，并允许从不确定集合中选择a、b等常量的值。通过这种方案可以得到稳健的解决方案，然而这种方案太过保守。
根据Bertsimas 在MIT 的工作，这里有一个很重要的思想：给adversary 加一个budget。
现在我们可以分类讨论bugdet B。当设置B= 0时，我们会得到最初的线性方程。如果B很大，那么这个我们就有很大的可能性达不到目标。所以，我们可以通过B来预测结果到底如何。这是针对“budget on adversary ”强优化的最新想法。
现在有一些非常有趣理论：现有一些AI 算法是可以被看作稳健性优化。其中一个例子是支持向量机监督学习设置。我们给一些未知函数y=f(x)训练样本，并且给出了一个损失函数L(y(hat)，y)，当正确答案为y时，观察输出y(hat)。然后，我们找到能够将损失总和最小化的h，公式如上图所示。
在Xu，Caramanis ＆Mannor 2009 年的论文中（如上图所示），他们展示了这种正则化的方法相当于强优化。
