《深度学习:Java语言实现》一一2.2机器学习中的训练需求

简介: 本节书摘来自华章出版社《深度学习:Java语言实现》一 书中的第2章,第2.2节,作者:[日]巣笼悠辅(Yusuke Sugomori) 著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2机器学习中的训练需求
你已经知道机器学习是一种模式识别方法。它对给定数据中的模式进行识别和分类,进而找到合适的答案。仅仅只看字面的描述,它似乎相当简单,然而,事实并非如此,机器学习需要花费相当漫长的时间才能挖掘出未知数据,换句话说,它需要很长的时间才能构造出恰当的模型。为什么会这样呢?对数据进行分类整理有那么困难吗?它至少应该在各种处理之间安排一个“学习”阶段吧?
答案是:这当然很复杂。要想对数据进行恰当的分类是极其困难的。问题越复杂,越难找到一个完美的数据分类方法。这是因为,当你只是简单地提起“模式分类器”,它指的是几乎无穷的分类模式。我们看看下面这幅图片,它是一个非常简单的例子:

image

这幅图中有两种类型的数据,圆圈和三角形,以及一种未知的数据:正方形。你不知道该把正方形划归到二维坐标的哪一边去,因此,现在的任务就是找出正方形到底该属于哪一组。
你可能马上就意识到,应该要一个边界去划分这两种数据类型。如果知道如何设定这个边界,那你就知道该把这个正方形放到哪一组里了。很好,那么让我们先来确定这个边界。然而,实际上,清晰地定义这个边界并非那么容易。如果你想要设定一个边界,你需要考虑各种分界线,譬如下面这张图中所展示的那样:
image

此外,你会发现,随着划分边界的变化,正方形可能被分属于不同的群组或者模式。更进一步而言,我们可能还需要考虑边界非线性的情况。
机器学习中,机器在训练时所做的就是从这些可能的模式中选择最合适的边界。当逐个处理大量数据的时候,机器就是在自动学习模式的归类。换句话说,它要调整数学模型的参数,并最终决定边界是什么。由机器学习选择的边界被称之为“决策边界(Decision Boundary)”,它可能是线性的,也可能是非线性的。如果超平面对数据进行了最优分类的话,决策边界还有可能是超平面(Hyperplane)。数据的分布越复杂,决策边界越可能是非线性的,甚至是超平面的。一个典型的例子就是多维分类问题。我们在处理这样简单的一个问题时就面临了这样的困难,所以不难想象,解决更加复杂问题时将会消耗多长的时间。

目录
打赏
0
0
0
0
1408
分享
相关文章
Java机器学习实战:基于DJL框架的手写数字识别全解析
在人工智能蓬勃发展的今天,Python凭借丰富的生态库(如TensorFlow、PyTorch)成为AI开发的首选语言。但Java作为企业级应用的基石,其在生产环境部署、性能优化和工程化方面的优势不容忽视。DJL(Deep Java Library)的出现完美填补了Java在深度学习领域的空白,它提供了一套统一的API,允许开发者无缝对接主流深度学习框架,将AI模型高效部署到Java生态中。本文将通过手写数字识别的完整流程,深入解析DJL框架的核心机制与应用实践。
48 3
MT-MegatronLM:国产训练框架逆袭!三合一并行+FP8黑科技,大模型训练效率暴涨200%
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架,支持多种模型架构和高效混合并行训练,显著提升 GPU 集群的算力利用率。
96 18
DistilQwen2.5蒸馏小模型在PAI-ModelGallery的训练、评测、压缩及部署实践
DistilQwen2.5 是阿里云人工智能平台 PAI 推出的全新蒸馏大语言模型系列。通过黑盒化和白盒化蒸馏结合的自研蒸馏链路,DistilQwen2.5各个尺寸的模型在多个基准测试数据集上比原始 Qwen2.5 模型有明显效果提升。这一系列模型在移动设备、边缘计算等资源受限的环境中具有更高的性能,在较小参数规模下,显著降低了所需的计算资源和推理时长。阿里云的人工智能平台 PAI,作为一站式的机器学习和深度学习平台,对 DistilQwen2.5 模型系列提供了全面的技术支持。本文详细介绍在 PAI 平台使用 DistilQwen2.5 蒸馏小模型的全链路最佳实践。
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
阿里云PAI发布DeepRec Extension,打造稳定高效的分布式训练,并宣布开源!
Java+机器学习基础:打造AI学习基础
随着人工智能(AI)技术的飞速发展,越来越多的开发者开始探索如何将AI技术应用到实际业务场景中。Java作为一种强大的编程语言,不仅在企业级应用开发中占据重要地位,在AI领域也展现出了巨大的潜力。本文将通过模拟一个AI应用,从背景历史、业务场景、优缺点、底层原理等方面,介绍如何使用Java结合机器学习技术来打造一个AI学习的基础Demo。
121 18
|
3月前
如何看PAI产品下训练(train)模型任务的费用细节
PAI产品下训练(train)模型任务的费用细节
110 6
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Diff-Instruct 是一种从预训练扩散模型中迁移知识的通用框架,通过最小化积分Kullback-Leibler散度,指导其他生成模型的训练,提升生成性能。
119 11
Diff-Instruct:指导任意生成模型训练的通用框架,无需额外训练数据即可提升生成质量
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
阿里云的人工智能平台 PAI,作为一站式、 AI Native 的大模型与 AIGC 工程平台,为开发者和企业客户提供了 Qwen2.5-Coder 系列模型的全链路最佳实践。本文以Qwen2.5-Coder-32B为例,详细介绍在 PAI-QuickStart 完成 Qwen2.5-Coder 的训练、评测和快速部署。
Qwen2.5-Coder 系列模型在 PAI-QuickStart 的训练、评测、压缩及部署实践
Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧
本文介绍了Python在深度学习领域的应用,重点讲解了神经网络的基础概念、基本结构、训练过程及优化技巧,并通过TensorFlow和PyTorch等库展示了实现神经网络的具体示例,涵盖图像识别、语音识别等多个应用场景。
153 8