中国人工智能学会通讯——神经环路研究最新进展及对类脑计算的启示 1.复杂科学

  1. 云栖社区>
  2. CCAI>
  3. 博客>
  4. 正文

中国人工智能学会通讯——神经环路研究最新进展及对类脑计算的启示 1.复杂科学

行者武松 2017-09-01 15:21:00 浏览1270
展开阅读全文

image

刚才讲到深度学习,脑环路和深度学习可能有一些相似性,但有些是不同的地方。我的演讲有两部分内容,一方面我一直强调复杂科学对整个领域的影响;另外和它相关的话题就是大脑的连接结构。

1.复杂科学

我们是生活在一个复杂的世界里,有空间、时间及时空的复杂性。什么叫复杂性?大家可能知道有个叫复杂性科学的领域90年代比较热,后来冷了一些。但是大家觉得这个领域还处于萌芽期,真正大放异彩的时候是在未来。概括起来说,复杂性有一些共同的特点,在看似复杂的过程中有一些规律,但是规律不是那么清晰,现在更多是统计上的规律。我们能不能把它们提炼出来,像尧老师说的,在发现了很多东西后能不能变成有用的,这是这个领域再往下走可能最重要的事情。大家对复杂性的批判,比如混沌理论是相关理论听了很多,但是哪有根据混沌造的飞机,没有现实能用的例子,不像牛顿力学一发现,人类就能发火箭,虽然相关工程化也经过了很长过程。

为什么我还是觉得这个东西很重要?还是从深度学习说起。有一次作报告他们也问我,这次深度学习为什么能爆发?我觉得最重要的是因为大数据的作用,有了大数据,有了训练算法和计算能力,就有了深度学习,用很复杂的模型就能显著提高功能。但是,世界是复杂的,其数据量呈长尾分布。什么叫长尾分布?就是尾巴特别长,尾巴长就是不常见的事情如果加起来其实很多。对这些常见的事件,我们有大数据,用深度学习就行。但是生活中存在足够多的不常见的事情,让你没法用深度学习全部搞定,总是有足够多不常见的事情。比如现在自动驾驶领域碰到这个问题,总是出现你以前没有想到的情况,而且这种情况还挺多,不能忽略。

大脑是在这么一个世界里进化出来的,所以它对长尾不常见的事情一定有办法,比如用推理、可以猜等很多种办法,这是我们一定要考虑的问题,而不只是迷恋大数据。大脑的特性本身就有复杂性,所以在某种意义上它和这个世界是同构的。

具体来说,大脑中常见的长尾分布有两种,一种叫幂律分布,最经典的就是帕雷多分布,富人总是很少的,但他们总是掌握很多钱。它最大的特点就是具有无尺度性,从哪个尺度看好像都长的差不多,很难说哪个尺度是关键的尺度,分型就是典型例子。这个分布在物理学上和一个叫做混沌边缘的对应起来,这是当年复杂性科学里面一个比较经典的成果。如图所示,当时用了一个非常简单的叫做单元自动机来演示这个现象。用很简单的规则拼起来涌现看发生什么情况。有一个参数,你可以认为是复杂度,当它小时,就是很简单的行为;当复杂度很大时,已经变成完全不可控就是所谓的混沌状态,完全不能预测下一刻会发生什么。但有一个很有意思的参数区间,在混沌的边缘就会出现比较复杂的,有点像分型的东西就出来了。所以有可能大脑就处在中间的状态,这也是为什么出现了很多长尾分布。

image

大家问了,中间的状态是很小的一个区域,其实完全更有可能处于比如完全不可控的发癫痫的混沌区域,或者完全睡觉的,有可以预测节律出现的简单区域。但在工作状态中,日常中处理大脑事物上,大脑处在临界状态。这是怎么做到?这就需要有一个调控机制把大脑控制在这个区域上。这个参数区间很大,大部分情况要么发癫痫了,要么就睡觉。

image

这是北大现在的汤超老师和per Bak在1988年很有名的一个沙堆模型的例子,可以看到大自然中其实大部分状态是处在这个临界的,因为再放沙堆就垮了,垮到临界的状态,有一个自动回归的机制。它解释了为什么大自然中虽然这个参数区域很小,但是大自然中这样的系统是很常见的,有一套方法把它调回去。这是可以借鉴的方法。

在神经学上也有类似的现象发现就是神经雪崩现象,具体来说把神经元的发放看似沙堆垮下来的感觉,它的发放大部分是很小的,偶尔有一个大的发放,如果去统计发放的大小有幂律的分布。

大家想为什么我们大脑会经常处于临界状态?一个可能性是大脑具有兴奋和抑制的平衡,这个好像是现在的人工神经元网络没有太多讨论的。现在人工神经元网络没有把兴奋神经元和抑制神经元分开,它不具有单独的抑制能力。大脑可以通过调控兴奋抑制平衡,尤其是抑制性神经元是可以调控的,比如已知的结果,抑制性神经元功能太强就睡觉。现在有很多研究,大概说在信息传输和记忆学习当网络处于临界态时有一定的好处,我不想仔细说那些内容。我觉得它最大的效果可能是没有完全被搞明白的,这可能跟人思维的方式有关。比如我们创造力的过程,经常是你自己苦思冥想但是你自己不知道在想什么,你的潜意识在不断酝酿可能是小的火花在闪耀,但一旦一个时间它们足够大了以后就会聚成一个大的火花,形成一个创造性的发明。我一直觉得这里好像有些什么重要的规律在里,当然我还没有完全把这个搞明白。

网友评论

登录后评论
0/500
评论
行者武松
+ 关注
所属团队号: CCAI