翻译小组 关注
手机版
  1. 云栖社区>
  2. 翻译小组>
  3. 博客>
  4. 正文

脉冲神经网络——下一代机器学习?

【方向】 2018-01-14 20:12:08 浏览175 评论0 发表于: 翻译小组

云栖社区 性能 神经网络

摘要: 脉冲神经网络是什么?本位对脉冲神经网络做了简要叙述。

每个对机器学习近期发展有所了解的人,都听过现在用于机器学习的第二代人工神经网络。这些神经网络通常完全连接,获取连续值,并输出连续值。这使我们在很多领域取得了突破性的进展,但是由于存在生物准确性,它并没有模仿大脑神经元的实际机制。

7db62e7d3034defd2ab9f91840b7f1ffa2d1de47 

第三代神经网络——脉冲神经网络(SNN),旨在填补神经科学和机器学习间的鸿沟,使用神经元的生物逼真模型计算。脉冲神经网络和机器学习社区中的神经网络有根本性的区别。脉冲神经网络使用脉冲,是基于发生在某些时间点的离散值活动,而不是连续值。一个脉冲的发生是由代表各种生物处理过程的微分方程所决定,其中最重要的是神经元的膜电位。从本质上来说,一旦神经元达到某一电位,就会产生脉冲,那么神经元的电位就会被重置。最常见的模型是LIF模型,另外,脉冲神经网络通常是稀疏连接,并使用专门的网络拓扑结构。

3c241efd7b1bb49a0abde99e4e828f846543ff25 

LIF模型中产生膜电位的微分方程

c6b330c3df47231c2a4729dbc001281d8aa76357 

在一个脉冲中膜电位的形态图

2307fb9edb19eb0504b56567322ec382b2a0824a 

3个神经元的网络脉冲训练图

ea9774bf85414560dd4ba53a0c5f2ca5ccc7b2e6 

完整的脉冲神经网络

乍一看好像是倒退了一步,我们已经将连续输出转化为二进制数字,并且这些脉冲训练并不能做出很好的解释。然而脉冲训练提高了处理时空数据(即现实世界的感官数据)的能力。空间是指神经元只与本地神经元连接,所以这些神经元自然地将输入块分开处理(类似于CNN如何使用过滤器)。时间是指脉冲训练在时间上的推移,获得了脉冲的时间信息,这是在二进制编码中失去的。这使我们能够自然处理时间数据,而不需要额外的增加循环神经网络的复杂性。实际上,事实证明,脉冲神经元比传统人工神经元具有更强的计算能力。

理论上,脉冲神经网络比第二代网络更强大,为什么它们没有得到广泛使用?目前脉冲神经网络的主要问题是训练。虽然我们已经拥有无监督生物学习方法,如Hebbian学习和STDR,但是暂时还没有有效的监督训练方法,使脉冲神经网络具有比第二代网络更高的性能。由于脉冲训练是不可微分的,因此不能使用梯度下降来训练脉冲神经网络,而不丢失脉冲训练中特别精确的时间信息。因此,为了将脉冲神经网络正确地用于实际任务,我们需要开发一种有效的监督学习方法。这是一个非常艰巨的任务,因为这涉及到需要确定大脑是如何真正学习的,给这些网络赋予生物现实意义。

另一个我们亟待解决的问题是,在标准的硬件上模拟脉冲神经网络是计算密集型的,因为这需要模拟微分方程。然而,像IBM的TrueNorth等仿神经硬件解决了这个问题,它旨在是通过使用特定硬件模拟神经元,该硬件可以利用神经元脉冲行为的离散和稀疏特性优势来模拟神经元。

脉冲神经网络的未来尚不明确,一方面,它是循环神经网络的天然继任者;另一方面,对于大多数任务来说,这还不是较为实用的工具。脉冲神经网络在实时图像和音频处理领域得到一些实际应用,但文献仍然较少。脉冲神经网络的大部分论文还停留在理论研究阶段,或者在一种简单且完全连接的第二代网络下展示其性能。但是,现在有很多团队正在从事脉冲神经网络监督学习规则的工作,因此我对其未来发展保持较为乐观的态度。

以上为译文。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

文章原标题《Spiking Neural Networks, the Next Generation of Machine Learning,译者:Mags,审校:袁虎。

文章为简译,更为详细的内容,请查看附件

 

 

附件下载: Spiking ...[【方向】].1515932140.pdf
本文由用户为个人学习及研究之目的自行翻译发表,如发现侵犯原作者的版权,请与社区联系处理yqgroup@service.aliyun.com

用云栖社区APP,舒服~

【云栖快讯】中办国办印发《推进互联网协议第六版(IPv6)规模部署行动计划》加快推进基于 IPv6 的下一代互联网规模部署,计划指出2025年末中国 IPv6 规模要达到世界第一,阿里云也第一时间宣布了将全面提供IPv6服务,那么在全面部署 IPV6 前,你需要了解都在这儿  详情请点击

网友评论

阿里云机器学习是基于阿里云分布式计算引擎的一款机器学习算法平台。用户通过拖拉拽的方式可视化的操作组件来进行试验,...

帮助您基于阿里云构建出一个隔离的网络环境。您可以完全掌控自己的虚拟网络,如选择自有 IP 地址范围、划分网段、配...

CDN
是将源站内容分发至全国所有的节点,缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性,解决网络带宽...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...