Neurons字幕组 | 2分钟看AI通过2D照片设计出面部3D模型(附论文下载)

简介: 来吧,和Neurons一起,玩点不一样的AI! 还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。


1

来吧,和Neurons一起,玩点不一样的AI!
还记得童年的哆啦A梦系列为我们带来的神奇工具“六面相机”吗?当你拍摄物体的时候,获得的不只是物体在一个角度上二维平面的投影,而是6个不同角度的照片。虽然看上去特别不可思议,但仍然限于二维平面的图像。今天的Neurons小视频要介绍的,则是更甚一步的黑科技,用深度神经网络,将二维的人像照片立体化,生成面部的三维模型。
想象一下,如果我们能把代表自己的3D人物放进数字电影或者电脑游戏里是多么炫酷!本期的视频就介绍了通过一张简单的照片生成我们面部3D模型的方法。当然,将我们面部的3D几何模型和反照率分布图数字化显然是件极其费时费力的任务。(反照率图指的就是纹理,即一张彩图。它可以描述我们的皮肤是如何反射和吸收光线的)。

3
从左至右依次是:输入图像、输出反照率图像


4
从左至右依次是:渲染、渲染(局部放大)


5
从左至右依次是:渲染、渲染(局部放大)

显然,捕捉这样一幅图像需要很长时间,而且成本很高。所以,我们开发了这样一种黑科技,这项技术可以用一张简单的照片,生成任何一张脸的全数字化图像。我们甚至可以在数字世界中重现历史人物,而我们需要的,仅仅是一张照片。

6
从左至右依次是:输入2D图像、输出3D面部纹理图像(穆罕默德 阿里)

拿到一张照片后,这项技术能够生成两张反照率分布图:其中一张是图像完整的低频图,它可以记录下整个面部,但只包含大致细节;而另一张图则包含更多的细节,但它却不完整。大家还记得纹理合成的方法吗?输入非常小的一块具有重复结构的图像,在得知这些结构的统计特性后,就可能让它们无限地继续下去。于是,我们就可以以这张不完整的反照图为基础,尽可能地把缺失的细节合成出来!这篇论文Photorealistic Facial Texture Inference Using Deep Neural Networks的作者借助一种经典的机器学习算法,即卷积神经网络实现了这一点。我们所用的神经网络越深层,就有越多的高频细节出现在输出结果当中,即我们得到的图像就会越清晰。

7
从左至右分别是逐层叠加五层后形成的愈加清晰的面部效果图

在这篇论文中,你还能看到一份关于使用者研究的详细描述。这份研究是通过众人协作的方式进行的,旨在验证这项技术,包括用户界面和被问到的问题,还有一些与PatchMatch算法的比较。PatchMatch算法是纹理合成领域里程碑式的技术,也被用来修补那些年代久远的名古画。

8
从左至右依次是:输入、反照率图像、用PatchMatch算法后、最终效果图

看了今天的Neurons小视频,有没有大开眼界呢?通过深度神经网络,AI真正帮我们实现了“脑补”,构建出了人脸虚拟的3D模型,虽然这篇文章里的数据只是应用在人脸的照片上,但是对于其他物体和图像,发展出广阔的应用前景也是指日可待的!
原文发布时间为:2017-10-30
本文作者:Neurons字幕组
本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
24天前
|
机器学习/深度学习 人工智能 算法
AI音乐生成创企发新模型 几秒生成两分钟歌曲
Suno公司推出AI音乐生成模型,基于深度学习和大数据,快速创作符合用户喜好的歌曲,简化音乐创作流程,让业余爱好者也能参与。该模型高度可定制,支持二次创作,引发行业关注。创始人强调,目标是辅助而非取代人类音乐家,旨在促进音乐产业创新与发展。
55 1
AI音乐生成创企发新模型 几秒生成两分钟歌曲
|
28天前
|
机器学习/深度学习 人工智能
谷歌发AI足球教练模型TacticAI 登Nature子刊
【2月更文挑战第30天】谷歌DeepMind与利物浦FC合作开发的TacticAI是一款人工智能足球战术助手,能分析角球战术并提供建议,已在《Nature Communications》发表。利用图机器学习和几何深度学习,TacticAI预测角球战术并在90%情况下优于传统方法。该系统有助于教练制定精准战术,但实际比赛中的适应性和数据隐私限制了其潜力的完全发挥。
36 2
谷歌发AI足球教练模型TacticAI 登Nature子刊
|
29天前
|
人工智能 编解码 物联网
Stability AI推出新的AI图像生成模型Stable Cascade,对比 SD2.1 的算力成本降低了10倍左右!
Stability AI推出新的AI图像生成模型Stable Cascade,对比 SD2.1 的算力成本降低了10倍左右!
|
3天前
|
机器学习/深度学习 编解码 人工智能
Transformer 和扩散模型的生成式 AI 实用指南(预览版)
Transformer 和扩散模型的生成式 AI 实用指南(预览版)
Transformer 和扩散模型的生成式 AI 实用指南(预览版)
|
3天前
|
数据采集 人工智能 编解码
二次元专用超分AI模型APISR:在线可用,入选CVPR
【4月更文挑战第15天】APISR是一款由密歇根大学、耶鲁大学和浙江大学联合研发的AI模型,专攻动漫风格的超分辨率问题。在CVPR会议上发表的这项成果,通过理解动漫制作流程,针对性地收集和处理训练数据,提升了动漫图像的清晰度和视觉效果。APISR引入预测导向的压缩模块和平衡的双感知损失函数,有效恢复手绘线条并减少颜色伪影。此外,模型关注图像复杂性,优化训练数据质量和学习效率。尽管面临处理复杂场景和颜色偏差的挑战,APISR为动漫图像处理开辟了新方向。
7 1
二次元专用超分AI模型APISR:在线可用,入选CVPR
|
12天前
|
Web App开发 人工智能
阿里放大招了!“通义听悟”确实有点新意了,为国产AI大模型打响应用第一枪
阿里放大招了!“通义听悟”确实有点新意了,为国产AI大模型打响应用第一枪
55 3
阿里放大招了!“通义听悟”确实有点新意了,为国产AI大模型打响应用第一枪
|
23天前
|
机器学习/深度学习 人工智能 自然语言处理
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
大模型落地实战指南:从选择到训练,深度解析显卡选型、模型训练技、模型选择巧及AI未来展望---打造AI应用新篇章
|
24天前
|
机器学习/深度学习 人工智能 监控
面向中文大模型价值观的评估与对齐研究:“给AI的100瓶毒药”并解毒,守护AI纯净之心
面向中文大模型价值观的评估与对齐研究:“给AI的100瓶毒药”并解毒,守护AI纯净之心
面向中文大模型价值观的评估与对齐研究:“给AI的100瓶毒药”并解毒,守护AI纯净之心
|
24天前
|
人工智能 文字识别 安全
谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
谷歌DeepMind的SIMA项目旨在创建一个通用AI代理,该代理能在多种3D环境中执行复杂任务,通过语言指令与环境交互。目标是让AI理解并执行600多种动作,包括导航和建造等。使用多样化的3D环境训练,结合零基础训练和预训练模型,如SPARC和Phenaki,以增强语言理解和行动执行。评估方法多角度,包括人类评估,但也面临效率和成本挑战。项目注重伦理安全,但AI在复杂环境中的性能仍有提升空间。DeepMind将继续优化代理的鲁棒性,扩大研究范围,以推动通用人工智能的发展。
21 2
谷歌推出通用AI代理:能自动执行600多种动作,游玩复杂3D游戏
|
25天前
|
存储 人工智能 数据处理
英伟达AI Workbench正式发布,大幅度简化大模型开发流程
英伟达发布AI Workbench,革新大模型开发流程,简化GPU工作站配置,降低AI技术门槛。该工具提供预建AI项目、交互式文档功能及自定义图像生成,支持LLM定制,助力高效开发与协作。虽对新手有一定学习曲线,但已成AI民主化重要一步。
27 4
英伟达AI Workbench正式发布,大幅度简化大模型开发流程