“深度学习已死,可微编程万岁!”LeCun老师为何又语出惊人?

简介:

Deep Learning est mort. Vive Differentiable Programming!

这句英法混合的话,翻译成汉语,就是“深度学习已死,可微分编程万岁”。说这话的,正是深度学习三巨头之一:Yann LeCun。

纳尼?

无论是上个月Ali Rahimi的“炼金术说”,还是前些天Gary Marcus对深度学习的质疑,LeCun老师都挺身而出强硬回怼,今天何出此言?

嗯……LeCun在Facebook上的文章里,宣称深度学习已死之前还有一句,说“深度学习作为一个流行词活得太久了,已经没什么用了。”

只是换个说法么?“可微分编程”又是什么?

LeCun承认,“可微分编程”只不过是对现代深度学习技术体系的重新命名,和当年给神经网络里有两个以上隐藏层的变体起名叫“深度学习”差不多。

他还说:

但是重点是,人们现在正通过组装参数化功能模块网络,并用某种基于梯度的优化方法训练它们,来构建一类新软件。

越来越多的人正在以一种依赖于数据的方式(用循环和条件)来程序化地定义网络,让它们随着输入数据的动态变化而变化。除了参数化、自动微分和可训练/可优化的特性之外,这非常像一个普通程序。

动态网络已经变得越来越流行(尤其是对于NLP来说),这要归功于PyTorch和Chainer等深度学习框架(注意:以前的深度学习框架Lush,可以处理一种名叫Graph Transformer Networks的特殊动态网络,用于文本识别)。

现在,人们正在积极研究命令式可微分编程语言的编译器,对开发基于学习的AI来说,这是一种非常激动人心的途径。

除了认为深度学习应该改名叫可微分编程之外,LeCun还说他决定将自己最近特别推崇的“预测性学习”,改名叫做“Imputative Learning”,我们暂时叫“归责学习”好了。

他最后还发了个小预告,说稍后会谈更多,不过量子位从早上等到中午,也还没等到……

只好一起持续关注他的Facebook啦~

https://www.facebook.com/yann.lecun

0?wx_fmt=png

对于LeCun的新想法,国外论坛上不少人都嫌弃这个新名字太长太难叫,不过也有人说“编程”的确比“学习”贴切。

你怎么看呢?

转自:http://blog.csdn.net/yH0VLDe8VG8ep9VGe/article/details/78993226

目录
相关文章
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
深度学习十年后是撞墙了吗?Hinton、LeCun、李飞飞可不这么认为
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
Yann LeCun深度学习公开课4万字笔记,125页干货都在这了
Yann LeCun深度学习公开课4万字笔记,125页干货都在这了
107 0
|
机器学习/深度学习 存储 关系型数据库
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习
360 0
【吴恩达课后编程作业】第三周作业 (附答案、代码)隐藏层神经网络 神经网络、深度学习、机器学习
|
机器学习/深度学习 存储 移动开发
【吴恩达课后编程作业】第二周作业 (附答案、代码) Logistic回归 神经网络、深度学习、机器学习
【吴恩达课后编程作业】第二周作业 (附答案、代码) Logistic回归 神经网络、深度学习、机器学习
330 0
【吴恩达课后编程作业】第二周作业 (附答案、代码) Logistic回归 神经网络、深度学习、机器学习
|
机器学习/深度学习 人工智能 编解码
​深度学习先驱Yann LeCun被骂退推特:你们都很懂,从此我不说话了
在长达两周的「骂战」之后,图灵奖得主、Facebook 首席 AI 科学家 Yann Lecun 宣布,自己将退出推特。
145 0
​深度学习先驱Yann LeCun被骂退推特:你们都很懂,从此我不说话了
|
机器学习/深度学习 人工智能 自然语言处理
High&NewTech:重磅!来自深度学习的三位大牛Yoshua、Hinton、LeCun荣获2018年图灵奖
High&NewTech:重磅!来自深度学习的三位大牛Yoshua、Hinton、LeCun荣获2018年图灵奖
|
机器学习/深度学习 计算机视觉 异构计算
|
机器学习/深度学习 人工智能 资源调度
|
机器学习/深度学习 Python
吴恩达《深度学习》第一门课(2)神经网络的编程基础
2.1二分类 (1)以一张三通道的64×64的图片做二分类识别是否是毛,输出y为1时认为是猫,为0时认为不是猫: y输出是一个数,x输入是64*64*3=12288的向量。 (2)以下是一些符号定义(数据集变成矩阵之后进行矩阵运算代替循环运算,更加高效) x:表示一个nx维数据,维度为(nx,1)...
1418 0
|
机器学习/深度学习 人工智能
LeCun最新演讲:深度学习大革命来了,可微分编程潜力巨大
今天上午举行的GMIC大会上,Facebook首席AI科学家Yann LeCun进行了主题演讲。他介绍了当前AI的一些最新进展,FAIR在计算机视觉领域提出的一些最先进的架构。他提到,未来还会出现更多的有关深度学习的变革,比如说更复杂的架构,同时也会出现更多的新理论。
1488 0