Reddit上又炸了，原因是一个无需在数据集上学习和预训练就可以超分辨率、修补和去噪的方法：Deep image prior。

帖子的博主是俄罗斯斯科尔科沃科技研究院（Skoltech）的博士生Dmitry Ulyanov，他介绍了与两名导师 Victor Lempitsky和Andrea Vedaldi共同完成的论文《Deep Image Prior》。

效果惊人

在项目主页上，我们看到了Deep image prior惊人的修复结果。

在这些示例中，研究人员用深度神经网络分析了几个图像恢复问题。值得注意的是，研究人员从来没用数据集来训练或预先训练过它们，而是作为一个结构化的图像整体。

其中蜗牛图的恢复为典型的JPEG压缩图像的盲修复问题，通过不断迭代,这种新方法可以恢复大部分信息同时消除色圈和块效应。

在4x图像超分辨率的演示中我们发现，新方法从使用过任何一张低分辨率的图像，但却生成了更清晰的结果。

△ 4x图像超分辨率结果

在区域修补示例中，尽管没有学习，但新方法可以成功修复大块区域，在这种操作中，超参数的选择很重要。

△ 区域修补结果

此外，研究人员还与Shepard网络了卷积稀疏编码的效果对比，对比一看，还是新方法的效果更好。

△ 上部分为与Shepard网络的对比，下部分为与卷积稀疏编码的对比

论文摘要

深度卷积网络已然成为图像生成和修复最流行的工具。因为它们能从大量示例图像中学习真实的图像先验（image prior），因此在处理图像时效果显著。

与上述思路相反，在这篇文章中，研究人员表明，生成网络能够在开始任何学习前捕获大量low-level的图像统计信息。为了证明这一点，研究人员还展示了一个随机初始化的神经网络可以作为一个手工先验（handcraft prior）,在去噪、超分辨率、图像修复等标准的逆问题上效果很好。

此外，同样的先验可以用来反推深度神经表征进行诊断，并根据输入闪光/无闪光图像对恢复图像。

参考资料

其实，在项目首页上还有更多好玩的对比示例，地址为：

https://dmitryulyanov.github.io/deep_image_prior

论文地址:

https://sites.skoltech.ru/app/data/uploads/sites/25/2017/11/deep_image_prior.pdf

补充材料：

https://box.skoltech.ru/index.php/s/ib52BOoV58ztuPM#pdfviewer

代码地址：

https://github.com/DmitryUlyanov/deep-image-prior/blob/master/README.md

— 完 —