每个人都在使用LSTM,主流学术圈却只想让它的发明者闭嘴

简介:

Jürgen Schmidhuber可以说是人工智能研究领域的Rodney Dangerfield(美国喜剧演员,80年代以一句“没人尊重我”而知名),因为他总是认为他在人工智能领域的开拓性研究没有得到重视。

55岁的Schmidhuber高大整洁,留着精心修剪的椒盐色山羊胡。他喜欢从头到脚穿成黑色或白色,身着Nehru夹克和鸭舌帽。

他富有感情的慕尼黑口音,加之昂扬顿挫的停顿与变调,让人想起了昆汀电影《希魔撞正杀人狂》中克里斯托弗·沃尔兹饰演的兰达上校。你总是不禁注意到他语言中诗意与严谨的结合,因为这总让人觉得什么重要且不详的事情正在到来。

e9e5690d4e778cda287a67bb010de7314f3feddb

Inglourious Basterds

其他科技明星身上都有耀眼的光环,他们或作为导师备受尊敬,或作为专家被大公司争夺,或作为时代的先驱被邀请参加各种会议。

而Schmidhuber则游离在主流学术圈之外,不为大众所知。部分原因在于他住在阿尔卑斯山脉深处的瑞士小城卢佳诺(Lugano),地远人偏,但更大的原因是他的同僚并不太喜欢他。

在AI界的一些传闻里,Schmidhuber被描述为一个极端利己、狡猾欺诈的人,“他的存在就是痛苦之源”。

除此之外,Schmidhuber还常常在学术期刊以及大型会议上训斥其他研究者,打断别人的演讲,声称他们借鉴、甚至是窃取了他的想法。这些事迹成为了其他研究者无意嘲讽、甚至是攻击性语言的素材,甚至已经有了一句谚语“他被Schmidhuber了”(Schmidhuber此处为动词)

大多数情况下,Schmidhuber说的都是对的。但是他越是想得到承认,人们就越不把他当回事。AI圈中很多人已经决定忽略Schmidhuber的存在,希望他离得远远的。

“小团队就能创造AGI”

“从少年时代起,我就意识到,一个人可以做到最伟大的事情就是创造出比人类更会学习的机器。物理学是万物之基础,因为它揭示了世界的本质以及世界运转的方式,但你还可以做一件事,那就是创造一个物理学家。”

——Schmidhuber

科技行业很多大牛都投身于开发通用人工智能(AGI)的事业中。与现在很多领先的人工智能软件不同,AGI不需要实际的训练者告诉它怎么将英文翻译为中文,或者怎么在X光照片中识别癌细胞。

理论上,AGI某种程度上能独立于其创造者,自行解决复杂的新问题,充分昭示了人类不如机器时代的到来。

如果人类真的能够发明AGI,我们可能会觉得最初的突破将会出现在加州硅谷、北京或者莫斯科。因为这三个城市都邻近或拥有世界级AI研究大学,并且也有为AGI比赛注入了数十亿美元投资的大型公司。

然而,还有一种可能性。AGI突破口将可能出现在一个意大利边境附近山脉间的田园诗般的瑞士小城卢佳诺——Schmidhuber所在的城市。小城里的Schmidhuber拥有多重身份:教授、研究员以及一家雇有25人的名为Nnaisense的AI公司创始人(公司名寓意人工智能复兴)

Schmidhuber是一个拓荒者。数十年来,Schmidhuber以及其他几个AI专家都在寻找AGI的实现途径,但是直到六年前才开始有足够性能的电脑和足够多的数据供他们进行理论实验。

Schmidhuber无比确定,他的命运就是真正搞清楚人类种族的未来将走向何方。所以即使Google、百度以及亚马逊已经拥有上百亿美元以及上千个员工,他却说:“其实像我们这样小的团队就可以创造出AGI,我们已经找到一些基本的拼图碎片了。”

一个瑞士小城的AI世外桃源

Schmidhuber的AGI之梦始于德国。他出生于一个中产家庭,父母的职业是建筑师和教师。他成长过程中无比崇拜爱因斯坦,并且励志深入科学领域。

他的弟弟Christof还记得他们一家人开车经过阿尔卑斯山脉时,Jürgen在后座上高谈阔论的时光:

“他告诉我们人类可以创造比我们都聪明的智能机器人,人类可以一个个原子地制造大脑,用铜线进行连接,来代替人类缓慢的神经传输。我下意识地反驳他,一个人造大脑是不可能模仿人类的感情以及自由意志的。但最后,我意识到他是正确的。”

46de0a76294263b34cc137eb1bef217d0d631b70

后来,Schmidhuber在慕尼黑TUM大学取得了计算机科学博士学位,并发表了他最早关于AI以及神经网络的论文,主要讲述了如何使用软硬件模仿人类大脑内部神经连接的构造。此前,他只用了4年就完成了本科和硕士学位,而别人一般需要花6年。

2c4b6fce30b88c7273231511e807464a1298bc13

他还特意在简历里提到“曾拒绝加州理工的博士后offer”。

Schmidhuber之所以来到卢佳诺湖和周围的秀丽山峰之间一呆23年,还要感谢一个意大利烈酒进口商Angelo Dalle Molle。

Dalle Molle使用百合酿出了受欢迎的餐前酒,从中大赚了一笔。他同样梦想着建造一个以智能机器为劳动力的世外桃源,所以在1988年,他捐赠了数百亿美元成立卢佳诺Dalle Molle人工智能研究所,也称为IDSIA(研究所意大利名的首字母)

c340c5c2ebafe11326375a1b70db20313430c337

Schmidhuber每年在位于卢佳诺中心的提契诺大学(USI)教授一门课程,同时在位于郊区的IDSIA实验室工作。

IDSIA实验室挤在一个加油站、一条高速公路以及位于山上的农场之间,马、驴以及羊哞声不断。2014年,Schmidhuber和他以前的四个学生在离大学几个街区的地方成立了Nnaisense,希望能够在制造业、健康以及金融领域达成商业合作的同时,进行纯粹的学术研究。

LSTM,AI发展的里程碑

和他那些更受欢迎的AI同僚们一样,Schmidhuber将一生中大部分时间都献给了计算机科学前沿研究。他坚信,机器意识最有可能出现在神经网络中。

这个想法在20世纪50年代非常受欢迎,但当时由于技术限制,导致一直到21世纪才让这个想法重焕生机。

21世纪起,互联网上诞生了大量可以用于训练神经网络的数据集,而受到最新电子游戏驱动迅速发展的图像芯片也完美适用于处理这些数据。Schmidhuber和他的同事们坚持认为他们的算法比传统的编程方式更能解决问题。

到2012年,神经网络成功在图像识别与语音识别中崭露头角,随后在别的领域中也显示出了不俗实力。如今,AI驱动的软件充分发挥它们的优势,存在于我们的办公室、家庭以及口袋中的智能手机里(别忘了Siri和Alexa)。谷歌、亚马逊、Facebook、百度以及微软等巨头都把它们的未来赌在了AI的进一步发展之上。

c48aa9aa5e93967da4381fa9c18db2340553a5b5

Schmidhuber发明的拥有学习所需记忆力的机器

想读完过去所有的AI研究论文几乎是不可能的,但实际上过去几十年内,真正值得读、需要读的论文也就那么几篇。

第一篇在这个领域树立根基的文章需要回溯到1986年,Geoffrey Hinton提出了前馈算法,一个通过对输入数据按照重要进行排序的精准神经网络。

1989年,Yann LeCun写了另外一篇旷世之作,描述了卷积神经网络。这些发现突破了计算机难以解决的问题,譬如从一张照片中找到一只猫。

第三个突破发生在1997年,Schmidhuber发明了长短期记忆网络(LSTM)。“你用五行代码就可以写出来。”

一个神经网络需要进行上百万的计算,而LSTM的代码旨在发现有趣的相关关系:在数据分析中增加时间文本内容,记住之前发生了什么,然后应用于神经网络,观察与神经网络接下来所发生的事情之间的联系,从而得出结论。

如此精巧而又复杂的设计让AI自我发展、独自得出结论、并发展成为一个更大的系统成为现实——基于大量文本的学习,达到语言中细微差别的自我学习。

Schmidhuber将类似的AI训练比作人类大脑的一种筛选模式,即长时记忆会记住重大的时刻,而对于司空见惯的时刻则任之消失。

“LSTM能够学习将重要的事物放在记忆中,然后忽略掉不重要的内容。”他说。

如今,LSTM在很多重要的领域里都能够表现出色,比如最出名的就是语音识别和语言翻译,还包括图片说明,即当你看到一张图像时,你能够写下一段话解释你所看到的内容。

这些都让LSTM毫无悬念地带来了AI最成功的商业应用

2015年起,谷歌开始使用LSTM做语音识别,它将谷歌语音的性能提升了50%。

从各方面来说,Schmidhuber都超越了他所处的时代。

每个人都在用LSTM,但他不被承认

NIPS(Neural Information Processing Systems的缩写),是世界上最具权威的AI会议。它起源于1987年,一开始只是几百个死忠粉的非正式聚会,经过了几年之后,参加人数就从1000人增长到超过6000人。NIPS是世界超级AI巨星们炫耀他们最新、最重要发现的地方,也是他们最容易被Schmidhuber怼的地方。

在2016年巴塞罗那的NIPS大会上,一位名为Ian Goodfellow的后起之秀针对他划时代的论文“生成对抗网络GANs”进行了时长两个小时的演讲。这位来自谷歌的科研工作者率先提出了一种通过网络间相互对抗来加快神经网络求解速度的方法。

0743d8a21d6b507c52b2b8c26c5a3b33b3da0765

2016年NIPS大会上的Goodfellow

Ian Goodfellow留着奇特的发型,戴着眼镜。在演讲开始前,当被介绍为“学术圈内最具创造力和影响力的研究者之一”时,他低着头,双手紧扣站在那里。随后,他走到讲台后面开始他的演讲,脸颊上仍然泛着些许饱受赞美后的红光。

之后的一小时,一切进展得很顺利,Ian Goodfellow不断翻动着充满着各种方程式和AI技术的幻灯片。但当他谈论到噪声对比估计这一话题时,一个熟悉的声音说道:“我能问你个问题吗?”

“你的PPT做得不错,”Schmidhuber先来了一句。随后,Schmidhuber用了近三分钟时间讲述了对抗式神经网络自1992年以来的历史,其中特别指出了他的研究和Goodfellow之间的联系,最后又问道:“我想知道你对这些已有的对抗式神经网络之间的异同有什么看法?”

言外之意就是:“小伙子,这东西不是你发明的!”

这时,Goodfellow的脸上泛起略带愤怒的微笑。“他之所以了解我的研究,是因为我们曾通过电邮交流过,我不想在公开场合争论。”Goodfellow向听众们解释说。很多听众都鼓掌称赞了他。掌声停下后,Goodfellow又补充道,他并不认为他的研究和以往相似。

Schmidhuber并没有就此作罢。他又一次开口,并试图反驳Goodfellow的回应。此时Goodfellow的耐心即将到达极限:“我宁愿用这个时间来讲授生成对抗网络(而不是争论)。”又一轮掌声响起。Schmidhuber再次尝试发言,而Goodfellow直接忽视了Schmidhuber,继续他的演讲。

“对于像Ian这样的天才,Schmidhuber基本上都会站出来说这不是一个有趣的想法,说他几年前就这样想过了。”阿尔伯塔大学的一位AI研究员Kory Mathewson说。他亲眼目睹过多次这样的情况。Schmidhuber怼人似乎成为了一种仪式。

b780ea3889f27c0c8ce3e38490aabce15f6d09aa

Schmidhuber将“重新划分研究者的功劳”这项任务看得比自己本职工作还重。

他的个人网站像一块主板一样复杂,从无人车到所谓的万物理论(该理论认为数学可以正确描述宇宙),各种信息交错排列着。在大多数历史学家将英国人如Charles Babbage和Alan Turing视为现代计算的先驱者的时候,Schmidhubered却唯独认准德国工程师Konrad Zuse。

“每当我看到有人做了一件重要的事情,但没有得到荣誉,而其他人却声称是另一个人先做了这件事,那么我一定是第一个把这个消息公布给给《自然》或《科学》杂志社或其他媒体舆论的人,并且我一定会把它讲出来。你可以通过回溯历史来证明谁,先做了某事,而在他之后的一切充其量只是重塑,甚至是剽窃。”

AI界的许多人认为,Schmidhuber高估了理论的作用,并低估了实际的应用。在起自《自然》杂志并波及整个网络舆论的一场争论中,Schmidhuber迅速将自己的所有同行——AI教父们纳入了吐槽的范围,指责他们扭曲了AI的历史,以此来抹去Schmidhuber和他人的原创想法。

“受害者”之一的LeCun认为,来回地反驳是毫无意义的,人们有自己的看法。“我没有抱怨过,”LeCun说道,“因为科学和技术就是这样进步的。”

AI界同仁们以这种公平交流和竞争的精神而自豪。尽管如此,一些人认为Schmidhuber被排除在历史之外是不公平的。

“我们不应该因为某人的个性而贬低他们所做的工作,”Mathewson说,“科学家的一半工作是传播科学,Schmidhuber做到了这点,即使方式有些脱离常规。”

Schmidhuber清楚地意识到他的这些行为已经危及到他的地位,削弱了他的观点的影响力。他补充说,他对自己的工作已经进入主流感到很满意。

“每个人都在使用LSTM,每个人都在引用它,这很好,生活也很好。”他说道。

根本不愁赚钱!

在二月里一个阳光灿烂的日子,Schmidhuber出门转悠。他的IDSIA实验室从外面看来很不起眼,但内部摆满了各种实验无人机和类人机器人。书桌后的书架上摆放着数百册《自然》与《科学》,以及两大罐乳清蛋白。

c0fee66599c489a7d987de716b33dbe0792a16d2

Schmidhuber从曾任教过的大学旁边走过,然后前往Nnaisense办公室。许多员工都是他以前的学生。他曾向学生们贷款以支持他们参与到这些伟大的项目中来,以此来避免学生去寻找利润更丰厚的公司(比如DeepMind)。DeepMind的联合创始人Shane Legg也曾是Schmidhuber的博士生。

Nnaisense从西班牙投资者Alma Mundi Ventures那里获得了数百万美元的资金,与少数几家公司建立起合作。放在办公室里的三辆微型车曾是用于帮助奥迪完善自助停车软件的。同时,Nnaisense还希望与一家名为Quantenstein的AI股票交易商以及一家金融公司合作开展未来的研究项目。而Schmidhuber说,他的团队也开发过强大的医疗技术,但他不会透露任何客户的信息,以及合作的细节。

这个低调而安静的办公室看起来并不像一个AI超级研发中心,但Schmidhuber的团队却经常能凌驾于拥有更多资金的竞争对手之上。

在2017的NIPS会议上,Nnaisense击败了441名参赛者获得了“学会奔跑Learn to Run”比赛的冠军,这个比赛要求类人型的AI以尽可能快的速度跑过虚拟障碍。

d26132622603f9de63511cea413513eadafe38d5

最初这些“机器人”的动作就像喝醉酒一样,身体由静止,到摇晃,再到跌倒,通过不断学习迭代,慢慢从错误中吸取教训。Nnaisense的作品很不错,看上去甚至像是一个运动员一样,能跑出每秒4.6米的速度,超过了中国一只队伍的每秒4.2米。这场胜利为Ninaisense赢得了一台价值7万美元且功能强大的计算机。

午餐时,Schmidhuber和他的员工谈论到AI目前的形势。“如今AI行业的大部分利润都集中在市场营销上。”Schmidhuber说。而他的团队希望能从中分离开来,旨在真正地提升AI处理不同任务的能力,以便其承担更多的工作。

而这也正是AGI的最终目标。“什么时候机器能够自己制造自己了,并能处理更多复杂的任务了,那时候你根本不愁赚不到钱。毕竟,谁都想有一个能制造iPhone的AI。

要么完全不同,要么退出历史

其实就目前而言,AGI还很遥远,人类距离实现真正可靠的AI技术还有很长的路要走。如今蹩脚的机器翻译,将热狗识别成腊肠狗的视觉系统,发生事故的无人车等等都证明了这一点。

然而Schmidhuber认为,实现AGI只是时间问题。“机器劳动在未来将重塑人类社会。”他说。

“在不远的将来,我们将能够与一个小机器人对话,并教会它做复杂的事情。比如仅仅通过展示和讲述来教他组装智能手机、制造T恤衫等等,并且所有的这一切都能在发展中国家,在恶劣的条件下,由一个贫困儿童来实现。

人类的寿命也将会延长,且生活的更健康,更快乐,更容易,因为现在很多人类的工作未来都将由机器来完成。同时,会涌现出数万亿种不同类型的人工智能,以及形成快速膨胀的AI生态圈”。

Schmidhuber对于AI产品的看法与很多人不同,他并不认为AI的进步会导致大量失业。他认为,一些国家或组织能更快地适应新局面,比如像拥有强大福利体系的北欧国家,在那里,没有工作也可以生存。

女性将比男性更难被取代,因为她们更善于解决一些“普遍性问题”;还有那些“创造工作者们”,比如能唤起人们深度思考的的作家。

794f71980ebc3558185c64846d7b1211e80be707

尽管Schmidhuber有时候也会很浪漫,但是他和大部分的“AI教父”一样,都非常忠于代码。他们确信机器最终会超越人类,也会陶醉于新世界秩序带来的清晰与高效。

Schmidhuber深信AGI一定能实现,这种信念来自于,他相信我们已经生活在了《黑客帝国》式的计算机模拟中。

734d5a279e54e2110da1742ef01d997d376bde68

“这就是我的想法,因为它是对所有事情的最简单的解释。”他说。

在他看来,人类自身所带有的程序要求人类不断进步,并制造更强大的计算机,直到使自己变得过时,或决定与机器合为一体为止。

“你要么变得与人类完全不同,要么会因为怀旧而继续保持人类的样子,”Schmidhuber预测道,“而如果你选择后者,你就永远无法成为一个重要的决策者,也就不会在塑造新世界的过程中发挥任何作用。“

至于为什么觉得有必要实现AGI,他觉得这是人类的天性所致。历史的进程需要有人来不断地打破常规,创造新事物,再超越自己的创造,即便会有部分甚至几十亿人对此感到不安。

“古老的物竞天择法则,这便是人类发展的正常规律。”他说道。


原文发布时间为:2018-05-19

本文作者:文摘菌

本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“大数据文摘”。

相关文章
|
7天前
|
机器学习/深度学习 自然语言处理
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
【4月更文挑战第17天】香港中文大学(深圳)研究团队发表综述论文,探讨大型语言模型(LLMs)与强化学习(RL)结合的四条技术路线:信息处理器、奖励设计者、决策制定者和生成器。LLMs提升RL在多任务学习和样本效率,但处理复杂环境时仍有挑战。它们能设计奖励函数,但预训练知识限制在专业任务中的应用。作为决策者和生成器,LLMs提高样本效率和行为解释,但计算开销是问题。
10 1
“大模型+强化学习”最新综述!港中文深圳130余篇论文:详解四条主流技术路线
|
11月前
|
机器学习/深度学习 人工智能 算法
深度学习能否达到人类推理水平?三位图灵奖得主激辩海德堡论坛
深度学习能否达到人类推理水平?三位图灵奖得主激辩海德堡论坛
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
中山大学HCP Lab团队:AI解题新突破,神经网络推开数学推理大门(一)
中山大学HCP Lab团队:AI解题新突破,神经网络推开数学推理大门
155 0
|
11月前
|
人工智能 算法 安全
让所有人都能做蛋白质结构预测,华为昇思 MindSpore 最新成果将开源
让所有人都能做蛋白质结构预测,华为昇思 MindSpore 最新成果将开源
112 0
|
11月前
|
存储 JSON 人工智能
送给大模型的「高考」卷:442人联名论文给大模型提出204个任务,谷歌领衔
送给大模型的「高考」卷:442人联名论文给大模型提出204个任务,谷歌领衔
126 0
送给大模型的「高考」卷:442人联名论文给大模型提出204个任务,谷歌领衔
|
11月前
|
机器学习/深度学习 算法
搞强化学习还不了解AutoRL,牛津大学、谷歌等十余位学者撰文综述
搞强化学习还不了解AutoRL,牛津大学、谷歌等十余位学者撰文综述
|
11月前
|
机器学习/深度学习 人工智能 算法
国产AI框架支棱起来了!这所211高校凭昇思MindSpore连发10篇顶刊/顶会论文
国产AI框架支棱起来了!这所211高校凭昇思MindSpore连发10篇顶刊/顶会论文
124 0
|
11月前
|
机器学习/深度学习 自然语言处理 算法
「扩散模型」首篇综述!谷歌&北大最新研究
「扩散模型」首篇综述!谷歌&北大最新研究
435 0
|
数据安全/隐私保护
把「醉汉游走」引入「三体问题」,以色列学者新思路登上物理学顶刊
把「醉汉游走」引入「三体问题」,以色列学者新思路登上物理学顶刊
172 0
把「醉汉游走」引入「三体问题」,以色列学者新思路登上物理学顶刊
|
机器学习/深度学习 存储 人工智能
神经网络+量子计算机?华人学者开源首个量子计算协同设计框架
近日,由圣母大学姜炜文博士后,史弋宇教授和 IBM 研究院 Jinjun Xiong 博士开展的研究,实现了首个机器学习和量子计算协同设计框架,QuantumFlow,为神经网络在量子计算机上的实现铺平了道路。
303 0
神经网络+量子计算机?华人学者开源首个量子计算协同设计框架