深度学习的挑战

简介: 世界上没有完美无缺的技术,深度学习也是如此。本文着重向我们介绍了深度学习发展的六大障碍!

更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 


深度学习已经成为开发人工智能的主要技术支撑。


大多数知名应用(如语音识别、图像处理和自然语言处理)都是深度学习在驱动。

深度学习算法是通过人工神经网络模仿人类大脑逐渐学习并准确解决给定的问题。但是我们必须注意,深度学习并非完美无缺的,深度学习系统中依然存在很大挑战。

用深度学习领域最著名的学者安德鲁(Andrew Ng)的话说:“我相信深度学习是我们实现AI进步的最佳选择。”

如果你自己思考,你可能会意识到安德鲁的上述声明的力量。从Siris和Cortanas到Google Photos,再到Grammarly Spotify的音乐推荐都是深度学习力量的表现。

这些例子说明深度学习深入我们的生活的时代到来了。

但是,随着技术的巨大进步也出现了巨大的困难和障碍。在这篇文章中,我们将讨论深度学习中有哪些突出挑战。

1.庞大的数据需求

深度学习的训练是指使用大量数据进行的。数据越多,才能确保机器传输的结果是我们想要的。

由于人脑需要大量的学习经验推导信息,所以类似的神经网络需要大量的数据。如果你想要的更强大的模型,你就需要更多的参数调整,更多的参数调整的过程就需要更多的数据。

例如,语音识别将需要多种方言的数据,人口统计。研究人员训练用于学习单一语言的算法就需要TB级数据。这是一个非常耗时的过程,同时需要大量的数据处理能力。 在一定程度上,通过深度学习解决问题的优劣程度取决于数据量的大小。

神经网络的复杂性可以通过参数数量表示。在深层神经网络中,参数可以在数百万,数千万甚至数亿。如果参数的数量级用P来表示,那么训练出一个不错的神经网络所需要的数据就需要达到P*P级。

2.神经网络易过度拟合:

有时,在训练数据集和看不见的数据集所遇到的错误中,可能会出现一个明显的错误,它发生在复杂的模型中,例如相对于观察的数量有太多的参数。一个模型的有效性取决于它的能力在不可见的数据集上表现良好,而不是通过它的训练数据进行评判。


一般来说,模型是通过在一个特定的训练数据集上最大化其性能来进行训练的。因此,模型记住了训练案例,但没有学会如何将新情况和数据集一般化。

3.超参数优化:

l.超参数是前面定义的神经网络参数,这些网络参数对神经网络来说非常重要。通过改变这样的参数,就可以在你的模型上引起很大的变化。   

如果仅仅依赖于默认参数,而不执行超参数优化可能对模型性能产生重大影响。而且,拥有太多的超参数并且手动调节它们而不是通过经过验证的方法进行优化,并不是一个好的想法。

4.高性能硬件:

深度学习需要高性能硬件为深度学习解决方案训练大量数据。为了解决现实世界的问题,机器需要具备足够的处理能力,以此确保更好的效率和较少的时间消耗。为了提高数据处理效率,确保数据科学家切换到多核心,效率更低,时间消耗更少,高性能GPU和类似处理单元就成了我们必备的工具。这些昂贵的处理单元也会消耗大量的电力。


工业级的深度学习系统需要高端数据中心而智能设备如无人机,机器人等其他移动设备则需要小而高效的处理单元。对于现实世界来说,部署深度学习解决方案,就变成了一场代价高昂且耗费能源的事件。

5.神经网络本质上是一个黑匣子

我们知道我们的模型参数,我们把已知的数据以及它们是如何组合在一起的反馈给神经系统网络。但是我们不能理解它们是如何解决一个特定的解决方案的。神经网络本质上就是一个黑匣子,研究人员都很难理解它们如何推断结论。


抽象层次上缺乏推理能力的神经网络的能力使高级认知功能变得困难。同时,它们的操作在很大程度上是看不见的,这使它们在重要的验证流程领域不是很适用。

然而,Murray Shanahan,伦敦帝国理工学院认知机器人教授向他的团队提交了一篇讨论深刻的象征性强化学习的论文,展示了解决上述障碍的进步。

6.缺乏灵活性和多任务处理

深度学习模式,经过训练,可以极大的提高效率并准确解决具体问题。然而从当前存在的情形来看,神经网络体系结构是高度专业化且特定的应用程序域。

Google DeepMind的研究科学家Raia Hadsell总结道:

“世界上没有一种神经网络,可以通过训练同时完成识别物体和图像、玩空间、听音乐。”

我们的大部分系统都在这个规则工作的,他们十分擅长解决一个问题。 即使解决一个非常相似的问题也需要再训练和重新评估。 研究人员正在努力工作开发可以同时进行多任务处理的深度学习模型。

虽然,在使用单任务的神经网络这方面有了一些小小的进步。此外在多任务学习(MTL)方面,还有很大的进步空间。来自多伦多大学的谷歌大脑团队的研究人员发表了一篇关于多模型的论文,一种神经系统同时从视觉和语言的成功中汲取的网络架构,音频网络同时跨越多个领域解决了许多问题,包括图像识别、翻译和语音识别。

深度学习是人工智能的主要研究领域之一,但它肯定不是完美无缺的。而探索新的认知技术领域的研究由于深度学习太火而显得很少,遇到一定的障碍和困难也是很正常,任何技术进步都是如此。未来的问题是“深度学习是否是我们接近真正人工智能的最佳解决方案?”作为一个AI领域的研究人员,我会一直关注于此。

本文由北邮@爱可可-爱生活老师推荐,阿里云云栖社区组织翻译。

文章原标题:《Challenges in Deep Learning

作者:Parth Shrivastava  

译者:乌拉乌拉,审校:袁虎。

文章为简译,更为详细的内容,请查看原文

目录
打赏
0
0
0
0
1807
分享
相关文章
深度学习的突破与挑战
随着科技的快速发展,深度学习已经成为人工智能领域的热门话题。然而,在深度学习的应用中,我们面临着许多挑战和问题。本文将探讨深度学习的最新突破和面临的挑战,以及如何克服这些挑战以实现更好的应用效果。
123 0
深入理解深度学习:从基础到前沿
本文将带你走进深度学习的世界,从基础概念到前沿应用,让你对深度学习有更深入的理解。我们将通过简单易懂的语言和生动的比喻,让你轻松掌握深度学习的核心知识。同时,我们还会分享一些实用的技巧和方法,帮助你更好地运用深度学习解决实际问题。无论你是初学者还是有一定基础的学习者,这篇文章都将为你提供有价值的参考和启示。让我们一起探索深度学习的奥秘吧!
291 1
未来深度学习技术的发展趋势与挑战
随着人工智能的快速发展,深度学习作为其核心技术之一,正面临着多样化和复杂化的挑战。本文探讨了未来深度学习技术的发展趋势,分析了当前面临的技术挑战,并提出了应对策略。 【7月更文挑战第10天】
269 0
深度学习的未来趋势与挑战
本文探讨了深度学习的最新进展和未来发展方向,并分析了当前面临的主要挑战。通过具体案例和研究数据,揭示了深度学习在多个领域的应用前景及其潜在问题。
基于深度学习的认知架构的AI
基于深度学习的认知架构的AI是一类模仿人类认知过程的人工智能系统,旨在模拟人类感知、学习、推理、决策等复杂的认知功能。认知架构的目的是创建一个能够理解和处理复杂环境、实现自我学习和适应的AI系统
121 3
探索人工智能的未来:深度学习的突破与挑战
【8月更文挑战第17天】本文将深入探讨人工智能的一个关键分支——深度学习,揭示其背后的原理、当前的研究热点以及未来可能遇到的挑战。我们将从深度学习的基础概念出发,逐步展开讨论,最后提出一个开放性问题,引发读者对未来技术发展的思考。
95 12
深度学习的特点及未来发展趋势
深度学习是人工智能关键技术,通过多层神经网络自动学习数据特征,尤其擅长处理高维复杂信息。其核心在于多层结构、自动特征提取、强大的非线性表征能力和数据驱动特性。已在计算机视觉、自然语言处理、语音识别等领域取得突破,如CNN在图像识别上的应用,RNN在文本分析中的表现。未来,深度学习将持续拓展应用范围,同时面临提高模型可解释性和保障数据安全等挑战。
WK
286 1
深度学习中的迁移学习应用与挑战
在现代深度学习应用中,迁移学习作为一种有效的模型训练技术,逐渐成为研究和实践中的热门话题。本文探讨了迁移学习的基本原理、常见应用领域以及面临的挑战。通过详细分析现有文献和实例,揭示了在不同领域应用迁移学习的潜力与限制,并探讨了未来可能的发展方向。 【7月更文挑战第15天】
204 4
探索人工智能的未来:深度学习的奥秘与挑战
【8月更文挑战第21天】人工智能技术正以前所未有的速度发展,其中深度学习作为其核心推动力之一,正在引领一场科技革命。本文将深入探讨深度学习的基本概念、发展历程以及面临的主要挑战,同时展望其在未来的发展趋势和应用前景。通过浅显易懂的语言,让读者对这一复杂而迷人的领域有一个全面的认识。
未来深度学习技术的前景与挑战
深度学习技术的快速发展已经引领了人工智能领域的革新,但其未来面临着诸多挑战与机遇。本文探讨了深度学习技术在不同领域的应用现状,分析了其面临的技术瓶颈及解决方案,并展望了未来深度学习技术的发展方向。 【7月更文挑战第9天】
129 1
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等