手机照片脑补成超大画幅,这个GAN想象力惊人 | Keras实现

简介: 斯坦福两名学生Mark Sabini和Gili Rusak,在CS230的期末作业里把图像补到了取景框外边。

斯坦福两名学生Mark Sabini和Gili Rusak,在CS230的期末作业里把图像补到了取景框外边。

就像这样:


image

原本像手机拍摄的照片一样小的一幅画,一下子变成了开阔的大图。

机器根据它天才的“脑补力”,将白天和傍晚的竖幅海景图脑补出左右两侧的样子还原出了方形海景图照片。看上去除了左右两侧有种照片被水泡了的模糊感之外,就是完整的一张照片。

Keras实现

最近,印度班加罗尔一位小哥Bendangnuksung(简称Bendang)看中了这种算法,决定把它发扬光大。于是,他根据论文中的训练方法,打造了一个超低门槛的Keras实现,还把可处理的分辨率从128×128提升到了256×256。

一经推出,在Reddit上引起轰动。

大家纷纷表示过于厉害了:

你该不会是用训练集做的测试吧?

牛逼,喜欢这种很实用的东西。

效果太好了,简直不像是真的。

除了能看出原图和生成内容的边界之外,其他简直完美。

甚至还开脑洞想出了应用场景:

4:3画幅的电影可以无暇延伸成21:9的了!还可以把旧电影放大成4k画面!

如果我把我的半个脸给它,能给我恢复过来么?

但是也有不少网友指出了一个小问题:这个模型的训练和测试过程很不规范,Bendang展示的效果图,是训练数据中就包含的。

Bendang解释说这个Keras实现,是用海滩数据集训练的,整个数据集一共就350张图,(你们就理解一下嘛)。

然后,他也给出了一张真正的测试效果:


image

效果勉勉强强。

有了Keras实现,这么cool的想法确实好上手很多,不过在训练和测试这件事上,大家不要学印度小哥。

训练过程

在论文中,这个模型的用到的训练集相当大,有超过3万张图片。不过每张图片只是128×128的小图。


image

首先,按照这个要求准备数据库,找到36500张128×128的照片,保留100张做测试集。


image

处理好的数据,通过这样一个DCGAN构架训练。

后面测试集的结果如下,第一排是输入的窄图,第二排是输出效果,第三排则是这张图的原图。


image

比较一下第二排和第三排看出,结果还不错,除了部分图片有一些明显的边缘之外,还是可以看出图像的连续性的。另外,还有五倍宽度版:


image

彩蛋

这篇论文获得了CS230作业中的Outstanding Posters。在CS230的作业中,还有很多十分有趣的研究,比如说,Final Project Prize Winners第一名的作业,照着卫星图画地图。

image




而且,量子位悄悄LinkedIn了一下几位拿到了第一名作者,貌似都是华人/华裔学霸(亮点自寻)。


image

传送门

Keras实现:
https://github.com/bendangnuksung/Image-OutPainting

相关论文:

Painting Outside the Box: Image Outpainting with GANs
Mark Sabini and Gili Rusak

海报:
http://marksabini.com/files/cs230__Painting_Outside_the_Box_Image_Outpainting_with_GANs__poster.pdf

论文:
http://marksabini.com/files/cs230__Painting_Outside_the_Box_Image_Outpainting_with_GANs__report.pdf

原作者的代码:
https://github.com/ShinyCode/image-outpainting

原文发布时间为:2018-08-01
本文来自云栖社区合作伙伴“量子位”,了解相关信息可以关注“量子位”。

相关文章
|
9月前
|
网络协议
Kali获取手机照片
Kali获取手机照片
146 0
|
10月前
|
机器学习/深度学习 存储 人工智能
【OpenVI-视觉评价系列之MOS评价实战篇】手机存储不够用,清理照片太痛苦?MOS评价帮你挑选“垃圾”照片
MOS(Mean Opinion Score)是一种常用的主观质量评价方法,常用于视频、图像等多媒体领域中的质量评价。MOS视觉评价通常是通过让受试者观看视频/图像,对视频的清晰度、锐度、颜色饱和度、运动模糊、噪声等方面进行评价。然而,MOS视觉评价也存在一些局限,例如需要大量的受试者,评估时间较长等。因此,近年来,研究者们也开始探索使用客观评价方法来替代或补充MOS视觉评价。
301 2
【OpenVI-视觉评价系列之MOS评价实战篇】手机存储不够用,清理照片太痛苦?MOS评价帮你挑选“垃圾”照片
|
存储 算法
照片在手机里面是如何存储的?底层原理是什么?
照片在手机里面是如何存储的?底层原理是什么?
495 0
|
机器学习/深度学习 人工智能 算法
把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统
Facebook研究人员,开发出一个卷积神经网络端到端系统,已经能实现几秒钟内,将任何设备上拍摄的2D图像转换成3D图像。
171 0
把你手机里的照片秒变3D!Facebook训练了一个CNN端到端系统
|
机器学习/深度学习 编解码 算法
Nature:盐粒大小的相机,可以拍出清晰彩色照片,未来或可应用到手机
Nature:盐粒大小的相机,可以拍出清晰彩色照片,未来或可应用到手机
158 0
Nature:盐粒大小的相机,可以拍出清晰彩色照片,未来或可应用到手机
|
算法 芯片
改变输出格式,提高手机照片质量
改变输出格式,提高手机照片质量
80 0
这是阿里人手机里,这一年最舍不得删的照片
年底了,橙子在内网里发起了一个话题, 想带大家一起,通过手机里的一张照片,梳理过去一年。
3482 0
|
安全 计算机视觉
315晚会回顾:手机充电站可控制你的手机、软件合成照片秒破人脸识别
本文讲的是315晚会回顾:手机充电站可控制你的手机、软件合成照片秒破人脸识别,曝光不良企业的同时,也对公众进行安全科普教育,已经成了每年315晚会的惯例。前年是诈骗电话、手机实名制;去年是吸话费恶意程序、公共免费WiFi风险;今年的晚会果不出所料,提到了免费手机充电站安全风险和软件合成照片秒破人脸识别。
1718 0

热门文章

最新文章