牛津大学最新研究:给我一张照片,就能让你开口讲话

简介:
本文来自AI新媒体量子位(QbitAI)

640?wx_fmt=png&wxfrom=5&wx_lazy=1


这句话你说过没有?不承认?我给你看证据!

于是你就看到一段视频,画面中的你开口说了一段你不曾讲过的话,口型自然、动作流畅。这是怎么回事?

来自牛津大学工程科学系视觉几何组的三位工程师,最近提出了一种生成聊天面部视频的方法。这个方法需要两个输入信息:

  • 一张静止的面部图像
  • 一个语音片段

可以得到的输出,是口型与语音片段同步且匹配的视频。这个方法可以实时工作,并且在运行时,可以应用于未曾见过的面孔和未曾听过的音频,也就是说,不是训练数据的情况下也能工作。

干说不如来段视频,一下就全明白了:


为了实现上述效果,牛津大学的团队提出了一种编码-解码CNN模型,使用面部和音频的联合嵌入,来生成合成的面部聊天视频帧。这个模型经过数十小时未标记视频的训练。

相关Paper在此:

https://arxiv.org/pdf/1705.02966.pdf

【完】

本文作者:若朴
原文发布时间:2017-05-16
相关文章
|
11月前
|
机器学习/深度学习 传感器 存储
为自动驾驶汽车创造「记忆」,上交校友、康奈尔大学博士生三篇论文被CVPR 2022收录
为自动驾驶汽车创造「记忆」,上交校友、康奈尔大学博士生三篇论文被CVPR 2022收录
173 0
《Science》刊登中科院最新突破,用二氧化碳合成淀粉,网友已开始安排诺贝尔奖
《Science》刊登中科院最新突破,用二氧化碳合成淀粉,网友已开始安排诺贝尔奖
154 0
《Science》刊登中科院最新突破,用二氧化碳合成淀粉,网友已开始安排诺贝尔奖
|
人工智能 机器人 语音技术
爷青回!AI“复活”韩国传奇乐队主唱,全息投影合体表演感动无数网友
爷青回!AI“复活”韩国传奇乐队主唱,全息投影合体表演感动无数网友
291 0
|
机器学习/深度学习 人工智能 程序员
AI生成中国山水画!普林斯顿姑娘本科毕业作品,线条笔触骗过半数人类观察者
AI生成中国山水画!普林斯顿姑娘本科毕业作品,线条笔触骗过半数人类观察者
285 0
|
机器人
半鸟半机!斯坦福打造鸽子机器人,原来飞行的秘密藏在羽毛里
我们都知道鸟类的飞行能力,主要靠的是一对翅膀。 但其实,它们的羽毛在飞行过程中,也是起到了至关重要的作用。 这也是人们一直在探索,却困扰良久的问题——无法高度复刻精细的羽毛状翅膀。
现实版《三体》上演,麻省理工研究员要用激光吸引外星人来地球
虽然目前的方法和技术接触的概率很低,但未来几年的进展可能使其成为可能。
339 0
|
人工智能 机器人 测试技术
CMU科学家们带一群机器人开房,并收集了28,000种不同的姿势
来自卡耐基梅隆大学 (CMU) 的四个科学家,在一篇论文里说,他们带着一群机器人去住Airbnb了。
1420 0
|
Web App开发 大数据 机器人
“蜘蛛侠”要完!伯克利、斯坦福的机器人一言不合就爬墙
开门、踢足球、后空翻、杂技表演,这年头还有什么是机器人做不到的!
1197 0
|
人工智能 机器人
不造AI杀人武器当然好,但牛津学者觉得马斯克们忽略了重点
牛津大学的学者Mariarosaria Taddeo (简称玛利亚) 说,他们忽略了一个重点。而且,把万众目光集中在“AI杀手”上,人们就更难注意到那个重点了。
1194 0