1. 聚能聊>
  2. 话题详情

不懂GPU深度学习,何以谈人工智能?

一年半以前,AlphaGo完胜李世乭的围棋赛让深度学习(Deep Learning)这个名词家喻户晓,再度掀起了人工智能的新一波热潮。

其实深度学习背后的神经网络基础理论早在上世纪50年代就已提出,经过几起几落的发展,到了21世纪初,多层神经网络算法也日趋成熟。深度学习理论早在十多年以前就有重要突破,为何直到近年才出现爆发?

这不得不提到2012年的一场竞赛...

2

2012年,Geoffrey E. Hinton(与Yann LeCun 和Yoshua Bengio并称为深度学习三驾马车)的弟子Alex Krizhevsky在ILSVRC-2012的图像分类比赛中使用2块Nvidia GTX 580 GPU训练的多层神经网络(后来被称为AlexNet)以15.3%的top-5测试错误率摘得冠军,而使用传统方法的第二名的成绩是26.2%,整整提高了10多个百分点。这也成为了深度学习发展史上的里程碑事件,从此深度神经网络一炮走红,此后ILSVRC的优胜者一直被深度神经网络霸占。

可以说深度学习爆发有两个主要原因, 一个是像ImageNet这样的大规模数据集的出现,而另一个重要原因就是计算能力的提高,而这主要得益于GPU用于深度学习的加速,尤其是深度学习训练的加速

Alex当时使用的数据集包含120万张高清图片,受限于单块GTX 580 GPU 3GB的内存,他们使用了2块GPU来训练他们包含6000万参数和65万神经节点的网络,当时花了5~6天的时间。可以想象,没有GPU的加速,要完成如此大规模的数据集的多层神经网络训练要花费多长的时间。

随着深度网络层数的增加,训练集动辄以T为单位计算,现在深度学习的训练已经离不开GPU了,而GPU的计算能力也在不断的提升,以满足深度学习训练的计算需求。

所以,对AI开发者来说,掌握GPU深度学习技能几乎是一项必备技术了。在get到这一技能之前,当然得调整姿势了...

前方高能!

你不得不知的:从理论到实践,GPU深度学习的正确打开姿势

当然,大家也不妨聊聊:

TensorFlow、Caffe、MxNet...这些框架哪一款是你最中意的?

如果你是深度学习初学者,希望学习到哪些知识点?

如果你已是老司机,又有哪些经验分享给大家呢?

大家也可以畅谈一下,用GPU进行深度学习时踩过的那些坑!!!

参与互动就有机会获得《多核与GPU编程:工具、方法及实践》、纪念版T恤及阿里云代金券哟!

参与话题

奖品区域 活动规则 已 结束

  • 奖品一

    阿里云代金券 x 2

  • 奖品二

    聆听专属T恤衫 x 1

  • 奖品三

    多核与GPU编程 x 5

113个回答

0

前端羊

深度学习框架很多,目前用的最多的是Caffe,挺好用,应用于图像分类,我们主要用在心电信号分类上,结果还不错;硬件的话真得跟得上,我的笔记本是游戏本,跟其他本比跑的快点儿。想做实际应用的话,可以根据国外的期刊文章跑模型,上手会快一点!

前端羊 回复

想要那本书,求赏赐

仁太 回复

哈哈,打赏!

前端羊 回复
回复@仁太:

谢谢,最近在找工作都没怎么上来,真的很感谢

评论
2

笨笨的粽子妞 已获得多核与GPU编程 复制链接去分享

  • TensorFlow和Caffee都很喜欢,目前使用较多的是TF。
  • 目前是深度学习小白,希望学习一些深度学习常用库,如何利用高性能计算加速深度学习算法以及深度学习在实际场景下的运用。
  • GPU至今还未安装成功,笔记本不支持(泪奔o(>_<)o
  • 如果送我本《CUDA专家手册:GPU编程权威指南》的话,学习完也许我会考虑考虑把遇到的坑说出来哦,哈哈~
姝垚 回复

更正一下哈~这次赠送的是《多核与GPU编程:工具、方法及实践》:)

笨笨的粽子妞 回复

好吧,/(ㄒoㄒ)/~~《多核与GPU编程》

笨笨的粽子妞 回复

本身人工智能、深度学习、GPU是大趋势,多学点儿总是好的,不进步就是退步……

仁太 回复

书已经拿到了,该分享一下你遇到的坑了吧...发一个话题吧!

笨笨的粽子妞 回复
回复@仁太:

OK,多谢~

评论
1

北方的郎 已获得多核与GPU编程 复制链接去分享

如果你是深度学习初学者,希望学习到哪些知识点?
正在学TensorFlow和Caffee,主要是看了吴恩达的讲座和一些资料,希望能精通深度学习对语义分析及图像分析处理。
Caffee开始于2013年底,由UC Berkely的Yangqing Jia老师编写和维护的具有出色的卷积神经网络实现

优点:在计算机视觉和图像处理领域Caffe做的非常好。
缺点: 架构不够灵活且对递归网络和语言建模的支持很差。其扩展性也稍差

TensorFlow:Google开源的其第二代深度学习技术
优点:是一个理想的RNN(递归神经网络)API和实现,TensorFlow使用了向量运算的符号图方法,使得新网络的指定变得相当容易,支持快速开发。
缺点:速度慢,内存占用较大。(比如相对于Torch)

大家也可以畅谈一下,用GPU进行深度学习时踩过的那些坑!!!
最大的坑是前两天媳妇否决了我买1080Ti显卡的要求,现在用的机器实际一点的计算都跑不了,说多了都是泪啊。要是中奖,就给一本《多核与GPU编程:工具、方法及实践》吧。

仁太 回复

恭喜你获得《多核与GPU编程:工具、方法及实践》一本,所以你还不发一个话题庆祝一下么....hah

评论
0

整不明白 已获得阿里云代金券 复制链接去分享

其实我自己在阿里云买的产品都不懂,大部分连用来做什么怎么用都不知道,就觉得未来肯定会需要用到

仁太 回复

真爱粉啊,那就给你一张代金券吧!哈哈

若梦无痕 回复

说的太好了

评论
1

浮生递归 已获得多核与GPU编程 复制链接去分享

对GPU的依赖,应该是深度学习的内容,越来越多的与图像有关吧。还有小部分纯文本数据,就主要依靠CPU了,GPU派不上太大用场。
不过这世界毕竟主要由各种实体构成,并不是建立在单纯的逻辑关系之上。所以技术越发展,对图像处理的需求也就越大,最终对GPU依赖也越大。之前公众主要关注CPU,主要还是科技发展的问题。目前的科学水平对于AI来讲,总体还是相当低的。就像马云说的,才刚起步。所以限于科技水平,只能优先注重发展CPU,依赖CPU。现在科学水平开始有点起来了,所以就可以往前迈进一步,更接近现实一点,开始发展GPU。一旦GPU发展起来了,研究人员就能做更多的事情了。比如基于GPU的深度学习,在图像分析方面,会远超基于CPU的深度学习。这是天然的优势。就像单纯的科学计算,以后的量子计算机会远超现在的计算机一样。

比特币的出现,也从另一个方面大力推动了GPU的发展。虽然计算的侧重点不同,但是至少拉动了整个GPU行业的发展。

术业有专攻,将来仍有小部分的深度学习会基于CPU,但是更多的深度学习会依赖于GPU。希望楼主给本《多核与GPU编程:工具、方法及实践》让我也有机会拜读学习下。

仁太 回复

你的愿望已经达成...

浮生递归 回复
回复@仁太:

多谢,又一个小目标实现了,没比一个亿差

评论
0

1172360340188598 已获得聆听专属T恤衫 复制链接去分享

推一下caffe,我是从torch7转到caffe,caffe速度优势很大,学习线也很清晰,就顺着blob、layer、net这个方向走,接触过dl的人跑跑官网的例子很快就能上手,然后单步调试感受一下在网络的传播过程就算入门了,caffe在github上的wiki有不错的教程实现定制化,就按着神经网络的运行过程看保证学会caffe。

仁太 回复

打赏意见霸气的纪念版T恤,哈哈

评论
0

小蚂蚁啃骨头 已获得阿里云代金券 复制链接去分享

最近在使用阿里云机器学习pai上的深度学习框架-tensorflow ,最大的感受就是帮助文档不够详实,刚开始使用可能不太好用,如果能在这方面丰富一下就完美了!现在机器学习pai可以免费开通哦,大家可以加官方群了解QQ:567810612

仁太 回复

给你一张代金券

评论
0

1091416298730474 复制链接去分享

我是一个初学者,对GPU根本不了解,但是我可以学啊!

仁太 回复

大家一起学

评论
0

1176600083864059 复制链接去分享

未来这会发展的越来越完善,人类要接受这个事实,人脑是比不过电脑的,但我们可以控制电脑,所以说它们势必是人类最得力的助手

纸飞机v5 回复

我觉得没错啊,你记忆力有电脑强?

评论
1

ioliver 复制链接去分享

机器学习必是未来的时代,先用阿里云的平台开始学习,如果能获得《多核与GPU编程:工具、方法及实践》将会入门更快,我也会多多分享我的学习过程

1

独步武林 复制链接去分享

看大拿头像先得夸句厉害了!我就是冲你来的请导师转身赐予我本本吧。

1

lincan.wu 复制链接去分享

作为初学者,我更希望能够知道深度学习这个领域需要掌握的核心知识和技能有哪些,以及知识脉络是怎样的

1

1443701082304001 复制链接去分享

代金券滴不要,衣服和书都口以,就说一个,nvidia有个支持caffe的图形化工具叫digits新人上手更容易。

0

爱拼客 复制链接去分享

如何开始在阿里云上实现tensenflow的功能

0

冷狼1 复制链接去分享

礼品还不寄出吗?我等不及了😂😂😂

0

新垣結衣 复制链接去分享

显卡又要涨价了啊呜呜呜~

0

新垣結衣 复制链接去分享

非要gpu吗,我觉得fpga发展前景也不错啊

0

这里的黎明 复制链接去分享

作为初学者,感觉GPU不仅带来了运算速度和效率的提升,更可以说是把代码具象化。

0

1407277655187814 复制链接去分享

随便看看

0

1378202332914580 复制链接去分享

任务

6