日本科学家的AI读心术,解码脑电波,还原人眼所见

简介: 想象一下,如果电脑可以把你心中所想表现出来会怎样。 听起来感觉太遥远?然而最近,四位来自日本京都大学的科学家的研究成果,让这样的想象离落地更进一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上发表了他们利用AI来解码人类思维的研究成果。

想象一下,如果电脑可以把你心中所想表现出来会怎样。

听起来感觉太遥远?然而最近,四位来自日本京都大学的科学家的研究成果,让这样的想象离落地更进一步。Shen Guohua、Tomoyasu Horikawa、Kei Majima 和Yukiyasu Kamitani在BioRxiv上发表了他们利用AI来解码人类思维的研究成果。

机器学习以前就曾被用来研究脑部扫描(MRI,即核磁共振)。给人类看一些简单的图像,比如黑白字母、简单的几何图形,AI能根据脑部活动的信号图还原人眼所见的图像。这一研究成果曾发表在著名刊物Neurons上。

df42c1587d764edf1b490859d2b7405d026250ca

还原效果还不错

不过这次,京都的这些科学家们开发了一种新技术,利用人工智能中的深度神经网络(deep neural networks) 来“解码”思想。这种新技术让科学家们能够解码更复杂的分层图像,即拥有多层颜色和结构的照片(比如一只鸟,或一个戴着牛仔帽的人)。看一下动图。左边是人眼看到的图像,右边是机器还原的图像。

4dca3c5f973fa5b08a43ec0e1affd4e869854f0e

有点恐怖= =

“我们一直在研究通过观察人类大脑活动来重建或重现图像的方法。”其中一位科学家Kamitani表示,“以前我们假设图像是由像素或简单的形状组成的,但众所周知,大脑处理视觉信息时会分层次地提取不同层次上复杂度各不相同的的特征或其他信息。”

新的AI研究成果可以让计算机检测物体,而不仅仅是二进制像素。Kamitani说:“这些神经网络构成的AI模型可以用来表示人脑的层次性结构。”

在这项持续10个月的研究中,研究人员给三位受试人员分别展示一段时间的自然图像(比如鸟或人的照片)、抽象几何形状或字母。

e9f9d2559fafd9085a8d098b018d6116df0c1eb6

第一排是受试者所见到的图片,

后面几排是AI根据3位受试者

对这些图片的不同印象生成的还原图。

在一部分测试中,当正在观看25张图像中的一张时,研究人员会测量记录受试人员的大脑活动。在另一部分的测试中,对大脑活动的记录是在之后受试人员回想图像时进行的。

测量完大脑活动之后,计算机把收集到的信息逆向解码(reverse-engineering)并生成受试人员心中所想的图像。

下面展示的流程图由京都大学Kamitani实验室的研究小组制作,并一步一步分解了这种可视化图像是如何被解码生成的。

92bb89a196306ca94a1407b1d2df5c9ec24d72af

下面两张图显示了受试者观看自然图像或者字母的图像时大脑活动的计算机重建结果。

27aee80629a6de95b1382dc878f2af5103981c2f

用DGN技术生成的其他一些自然景观图像的重建结果。

黑框和灰框的图像分别是原图

和用DNN网络基于VC活动数据重建之后的图像,

三张重建的图片分别来自三位受试人员。

5aa344b539f33081f02a1cde70f8fcf24aaac8df

字母序列的所有重建结果

在另一组受试者观看图片后的回想过程中进行的脑电波测量实验上,科学家们又有了新的突破。

Kamitani说:“和以前不一样的是,采用我们的方法可以重建人类在逐渐回忆过程中脑海里出现的那些模糊的影像。”

如下面的图表所示,当试图解码人们回想图像过程中产生的脑信号时,AI系统重建出的结果就没那么好。那是因为,比起自然图像或字母,人类更难完全确切地记住猎豹或鱼的形象。

8460beb9d67ecde87c933a78d01ff8048a9fde2a

一些含复杂形象的图片的重建结果。

右下角的图片作为空白对照,

是根据测试过程中未被展示图片时受试产生的脑信号重建的。

“出现这样的结果是因为,那个时候大脑的被激活的程度变弱了。”Kamitani解释道。

他还提到,随着技术的精确度正在不断提高,这一研究成果潜在的应用前景无可限量。

人们可以简单地通过想象来绘制图片或进行艺术创作;你的梦想可以被计算机画出来;可以通过形象化精神病患者的幻觉帮助改善对他们的照顾;而脑机接口可能有一天会实现人与人之间进行想法或脑海中的图像的直接交流,而不再限于语言。

虽然电脑读心这种事现在听起来可能来自使用脑电波交流的三体星人,但这些日本研究人员在这一联系大脑与计算设备的前沿研究中并不是孤军奋战。

比如,前GoogleX员工 Mary Lou Jepsen致力于在十年内打造一顶可以实现心灵感应的帽子,而企业家Bryan Johnson正在尝试构建可以植入大脑以改善神经功能的计算机芯片。更不用说Elon Musk的脑机接口公司Neuralink


原文发布时间为:2018-03-22

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”微信公众号

相关文章
|
1月前
|
机器学习/深度学习 人工智能 机器人
Meta首席科学家Yann LeCun:AI毁灭人类的概率为零
【2月更文挑战第22天】Meta首席科学家Yann LeCun:AI毁灭人类的概率为零
14 2
Meta首席科学家Yann LeCun:AI毁灭人类的概率为零
|
11月前
|
机器学习/深度学习 人工智能 算法
新的「AI科学家」结合理论和数据来发现科学方程
新的「AI科学家」结合理论和数据来发现科学方程
|
12月前
|
机器学习/深度学习 人工智能 算法
00 后清华学霸用 AI 打败大气层「魔法攻击」,还原宇宙真面貌
00 后清华学霸用 AI 打败大气层「魔法攻击」,还原宇宙真面貌
|
机器学习/深度学习 人工智能 弹性计算
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
借力函数计算 FC,HEROZ 打造专业级 AI 日本将棋服务
|
机器学习/深度学习 人工智能 算法
|
机器学习/深度学习 人工智能
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:40-11:10金驰《Near-Optimal Reinforcement Learning with Sel》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:40-11:10金驰《Near-Optimal Reinforcement Learning with Sel》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:40-11:10金驰《Near-Optimal Reinforcement Learning with Sel》
|
机器学习/深度学习 人工智能
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
AI:2020年6月24日北京智源大会演讲分享之机器学习前沿青年科学家专题论坛——10:10-10:40鬲融教授《Towards a theoretical understanding of l 》
|
机器学习/深度学习 存储 人工智能
科学家会梦见“贾维斯”吗?AI和科研如何在云端汇合
在《达摩院2022十大科技趋势》报告中,AI for Science被列为年度十大趋势之一,达摩院认为,“人工智能与科研深度结合,将成为科学家继计算机之后的新生产工具”。这意味着,如果科学家拥有超级智能助手“贾维斯”,人类的科学发展将进入新世代。日前闭幕的2022北京智源大会,阿里云基础设施大计算集群部总监曹政,从云端算力供给、科研开发平台入手,探讨云上的“AI for Science”。科学活动
科学家会梦见“贾维斯”吗?AI和科研如何在云端汇合
|
机器学习/深度学习 人工智能 自然语言处理
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
第五届世界互联网大会正在如火如荼的举行。
搜狗翻宝Pro机再次开挂,智能翻译硬件成中国人工智能的新风口
|
机器学习/深度学习 人工智能 自然语言处理
与世界同行 2017中国人工智能大会有感
与世界同行 2017中国人工智能大会有感
1540 0
与世界同行 2017中国人工智能大会有感