关于机器学习算法 你需要了解的东西(机器学习入门第二篇)

简介: 对学习算法进行分类是基于构建模型时所需的数据:数据是否需要包括输入和输出或仅仅是输入,需要多少个数据点以及何时收集数据。根据上述分类原则,可以分为4个主要的类别:监督学习、无监督学习、半监督学习和强化学习。

我们上次已经讨论了机器学习能够影响的业务类型。参见:机器学习能为你的业务做什么?(机器学习入门系列第一篇)

现在,让我们来回顾一下你需要了解的技术术语,这样你才能高效地与数据科学团队进行合作,并协助他们,让他们的工作成果可以对你的业务产生尽可能大的影响(或至少让你知道他们在说什么)。

算法、模型和数据

从概念层面上来讲,我们正在构建一个机器,给这个机器一组输入数据,然后通过找到数据中的模式并从中学习,能够产生某种预期的输出。

一种非常常见的情况就是让机器在一组输入数据中查找,然后产生相对应的输出数据。机器在输入数据中识别出模式,并创建一组复杂的规则,然后将其应用于以前从未见过的输入并产生所需的输出。例如,给定房屋的面积、地址和房间数(输入),我们来预测房屋的销售价格(输出)。假设我们有10000组这样的数据,包括房屋的面积、地址、房间数量,以及销售价格。则机器会基于这些数据“训练”自己,即识别出房间面积、地址、房间数影响房屋价格的模式,这样,只要我们给出一个从未见过的房子的3个输入项,就可以预测出房子的价格了。

数据科学家的作用是找到给定输入并能够获得预期输出的最佳机器。她有多个模板,对于机器来说,称之为算法。从这些模板中生成的解决具体问题的机器被称为模型。模板有各种不同的选项和设置,可以通过调整这些选择和设置来从同一模板生成不同的模型。还可以使用不同的模板或调整相同模板的设置来生成多个模型,以便测试出哪个模型能提供最佳结果。

请注意,模型输出只是在一定概率上对决策是正确的或者有用的。模型并不是100%正确的,而是根据模型所看到的大量数据而进行的“最佳猜测”。模型看到的数据越多,提供有用输出的可能性就越大。

数据科学家用来“训练”机器的已知输入和输出集合(即让模型识别数据中的模式并创建规则)叫做“训练集”。该数据用于与一个或多个“模板”一起创建用于解决问题的一个或多个模型。记住,即使只使用了一个“模板”(算法),也可以通过调整某些选项来从同一模板生成多个模型。

在得到了几个“训练过”的模型之后,就必须对它们进行检查,看看它们是否能正常工作,哪一个最有效。用来检查的一组新的数据称为“验证集”。将验证集作为输入,然后运行模型,查看哪一个模型输出的结果最接近验证集的输出。在我们上面的例子中,就是看哪一种模型预测出来的房屋的价格与实际售价最接近。在这个阶段中,需要有一组新的数据来作为验证集,因为这些模型是根据训练集创建的,所以它们在训练集上能够工作得很好,不会给出真实的结果。

一旦验证了哪种模型性能最佳并选择了最优者,我们的数据科学家就需要确定该模型的实际性能,也就是说,这个最好的模型在解决问题方面到底好到什么程度。再一次,我们需要另外一个新的数据集,因为模型在训练集和验证集上都能表现良好!这最后一个数据集称为“测试集”。在我们的例子中,系统会检查对于用测试集作为输入预测出来的房价有多接近测试集的实际价格。

“学习”的类型

应用于解决机器学习问题的算法类型取决于你所拥有的数据。对学习算法进行分类是基于构建模型时所需的数据:数据是否需要包括输入和输出或仅仅是输入,需要多少个数据点以及何时收集数据。根据上述分类原则,可以分为4个主要的类别:监督学习、无监督学习、半监督学习和强化学习。

监督学习

我们在上一节中详细讨论的案例描述了我们所说的“监督学习”。这种学习类型需要有大量标记数据示例,即由输入和相应的输出组成的数据。在我们的房屋价格示例中,“标记”是指用模型预测的结果来对输入进行标记。

在监督学习算法中可以看到标记数据(也称为“参考标准”数据),从这些数据中学习并根据这些实例进行预测。他们需要大量的标记数据:虽然数据的数量取决于用例,但几百个数据点是最起码的。

使用监督学习解决的两个经典问题是:

  • 回归。根据其他明显的数据集对变量产生的影响来推断未知变量的值。在时间预测中有两个常见用途。例如,我们之前的那个根据位置和面积等变量来预测住宅价格的例子,以及预测未来价格,例如,根据历史和目前的价格数据,预测房屋从现在到一年以后的价格。回归是一种统计方法,它用于确定自变量(你已拥有的数据)与其所需预测值的因变量之间的关系。
  • 分类。确定实体属于多个类别中的哪一个类别。这可以是一个二元分类,例如,确定某个帖子是否会像病毒一样传播(是/否);也可以是多标签分类,例如,在产品照片上标记合适的类别(可能有数百个类别)。

无监督学习

在无监督学习中,算法在试图识别数据中模式的时候,无需使用预期结果来标记数据集。数据是“未标记的”,即没有附加任何有意义的标记。通过无监督学习方法可以解决一些经典问题:

  • 聚类给定某个相似性标准,找出哪些与其他另外一个更相似。使用聚类的一个领域是文本搜索,例如,返回的搜索结果包含了很多非常相似的文档。聚类可用来将它们进行分组,让用户更方便地识别出差异较大的文档。
  • 关联。根据某种关系将对象分类到不同的桶中,这样,桶中某个物体的存在预示着另一个物体也存在。比如类似于“买了xxx的人也买了yyy”这样的推荐问题:如果对大量的购物车进行分析,则可以看出,购物车中商品xxx的存在很有可能暗示着产品yyy也在购物车中,那么,你可以立即向将产品xxx放入购物车的人推荐产品yyy。
  • 异常检测在需要标记和处理的数据中识别意外模式。标准的应用范围包括了对复杂系统的欺诈检测和健康监测。

半监督学习

这是监督学习和无监督学习混合的结果,在这种“学习”中,算法需要一些训练数据,但是比监督学习的要少很多(可能要差一个数量级)。其算法可以是在监督学习和无监督学习中使用的方法的扩展:分类、回归、聚类、异常检测等等。

强化学习

算法以有限的数据集开始,在学习的同时,还可以获得更多关于其预测的反馈信息,以进一步改善学习效果。

正如你所看到的,除了要解决的问题类型外,你所拥有的数据量也会影响到你所能使用的学习方法。这也适用于另一种方式:你需要使用的学习方法可能需要比你现在拥有的更多的数据,这样才能有效地解决你的问题。我们稍后再讨论这个。

其他常见的“流行语”

在你的工作中,还会遇到其他一些术语。了解他们与我们今天谈论到的类别之间的关系很重要。

深度学习与上面的那些定义并没有什么关系。它只是应用特定类型的系统来解决学习问题,其解决方案可以是监督的,也可以是无监督的,等等。

人工神经网络(ANN)是一种学习系统,它试图通过不同层上的“神经”网络来模拟我们大脑的工作方式。神经网络至少有一个输入层(即数据被摄入网络的一组神经元),一个输出层(将结果传递出来的神经元)以及两者之间的一个或多个层,称为“隐藏层”(真正做计算工作的层)。深度学习只是使用具有多个隐藏层的神经网络来完成学习任务。如果你曾经使用过这样的网络,恭喜你,你也可以合理地扔掉这个时髦术语了!

集合方法综合学习是使用多个模型来获得结果,这样比利用单个模型获得的结果要更好。这些模型可以采用不同的算法,或是使用不同参数的相同算法。比如,对于某种类型的预测,你有一组模型,每一个模型都能产生一个预测,有一些处理方法能够平衡不同的预测结果,并决定应该输出什么样的组合。集合方法通常用于监督学习(它们在预测问题中非常有用),但也可以用于无监督学习。你的数据科学团队可能会测试这些方法,并在适当的时候使用它们。

自然语言处理(NLP)是计算机科学领域的一门研究机器理解语言的学科。不是所有类型的NLP都使用机器学习。例如,如果我们生成一个“标签云”(一个词出现在文本中的次数的视觉表示法),这就不涉及学习。对语言和文字的更加复杂的分析和理解往往需要机器学习。这里有一些例子:

  • 关键字生成。理解正文的主题并自动为其创建关键字。
  • 语言歧义。从一个词或一句句子的多种可能的解释中确定相关的含义。
  • 情绪分析理解在文字中表达出来的情绪的积极或者消极的程度。
  • 命名实体提取在文本中识别公司、人员、地点、品牌等等;当这些名称并不特殊时,要提取出来就会特别困难(例如,公司“微软”比公司“目标”更容易识别,因为“目标”是英文中的一个单字)。

NLP不仅用于机器学习领域里面向语言的应用,例如chatbots,它也被广泛用于准备和预处理数据,这样,这些数据才能成为许多机器学习模型的有用输入。我们稍后在讨论这个。

请注意:上面的定义是为了表达其主要思想,让大家更易理解;对于详细的科学定义,请参考其他来源。

问题如何影响解决方案(另外还有一些关键的机器学习概念)

用机器学习来实现的战略目标将决定许多下游决策。为了确保你的数据科学团队能为业务生成正确的解决方案,了解一些基本的机器学习概念及其对业务目标的影响是非常重要的。

算法的选择

在问题定义上的一个小变动可能需要有一个完全不同的算法来解决,或者至少要使用不同的数据输入来构建不同的模型。一个能够为用户识别照片类型的约会网站可以使用无监督学习技术(比如聚类)来识别常见的主题。而如果要向特定的某个人推荐潜在的约会对象,则网站可能要使用基于输入的监督学习,输入数据需具体到个人,例如他们已经看过的照片。

特征的选择

机器学习模型识别数据中的模式。输入到模型中的数据被组织成特征(也称为变量或属性):这些特征都是相关的、大部分独立的数据片段,描述了你想要预测或识别的现象的某些方面。

以前文提到的那家希望优先考虑贷款申请人外展服务的公司为例。如果我们将问题定义为“根据客户转换的可能性优先考虑”,我们将会得到包括类似客户对公司各种外展活动的响应率等特征。如果我们将问题定义为“优先考虑最可能偿还贷款的客户”,我们就不会得到这些特征,因为它们与评估客户的可能性无关。

目标函数的选择

目标函数是你要优化的目标,或者是模型试图预测的结果。例如,如果你向用户推荐他们可能感兴趣的商品,则模型的输出可能是用户在看到商品时点击该商品的概率,也可能是用户购买商品的概率。目标函数的选择主要取决于业务目标,在这个例子中,你对用户的参与感兴趣(目标函数可能是点击或停留的时间)还是对营业收入感兴趣(目标函数是购买)?另一个要考虑的关键因素是数据的可用性:对于要学习的算法,你必须提供大量“标记”为正(用户看到并点击的产品)或负(用户看到的产品,但没有点击)的数据点。

文章原标题《What You Need to Know About Machine Learning Algorithms and Why You Should Care》,作者:Yael Gavish,译者:夏天,审校:主题曲哥哥。

文章为简译,更为详细的内容,请查看原文

相关文章
|
2天前
|
机器学习/深度学习 自然语言处理 语音技术
【Python 机器学习专栏】Python 深度学习入门:神经网络基础
【4月更文挑战第30天】本文介绍了Python在深度学习中应用于神经网络的基础知识,包括神经网络概念、基本结构、训练过程,以及Python中的深度学习库TensorFlow和PyTorch。通过示例展示了如何使用Python实现神经网络,并提及优化技巧如正则化和Dropout。最后,概述了神经网络在图像识别、语音识别和自然语言处理等领域的应用,并强调掌握这些知识对深度学习的重要性。随着技术进步,神经网络的应用将持续扩展,期待更多创新。
|
2天前
|
机器学习/深度学习 运维 算法
【Python机器学习专栏】异常检测算法在Python中的实践
【4月更文挑战第30天】本文介绍了异常检测的重要性和在不同领域的应用,如欺诈检测和网络安全。文章概述了四种常见异常检测算法:基于统计、距离、密度和模型的方法。在Python实践中,使用scikit-learn库展示了如何实现这些算法,包括正态分布拟合、K-means聚类、局部异常因子(LOF)和孤立森林(Isolation Forest)。通过计算概率密度、距离、LOF值和数据点的平均路径长度来识别异常值。
|
2天前
|
机器学习/深度学习 数据可视化 算法
【Python机器学习专栏】t-SNE算法在数据可视化中的应用
【4月更文挑战第30天】t-SNE算法是用于高维数据可视化的非线性降维技术,通过最小化Kullback-Leibler散度在低维空间保持数据点间关系。其特点包括:高维到二维/三维映射、保留局部结构、无需预定义簇数量,但计算成本高。Python中可使用`scikit-learn`的`TSNE`类实现,结合`matplotlib`进行可视化。尽管计算昂贵,t-SNE在揭示复杂数据集结构上极具价值。
|
2天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】关联规则学习:Apriori算法详解
【4月更文挑战第30天】Apriori算法是一种用于关联规则学习的经典算法,尤其适用于购物篮分析,以发现商品间的购买关联。该算法基于支持度和置信度指标,通过迭代生成频繁项集并提取满足阈值的规则。Python中可借助mlxtend库实现Apriori,例如处理购物篮数据,设置支持度和置信度阈值,找出相关规则。
|
2天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】层次聚类算法的原理与应用
【4月更文挑战第30天】层次聚类是数据挖掘中的聚类技术,无需预设簇数量,能生成数据的层次结构。分为凝聚(自下而上)和分裂(自上而下)两类,常用凝聚层次聚类有最短/最长距离、群集平均和Ward方法。优点是自动确定簇数、提供层次结构,适合小到中型数据集;缺点是计算成本高、过程不可逆且对异常值敏感。在Python中可使用`scipy.cluster.hierarchy`进行实现。尽管有局限,层次聚类仍是各领域强大的分析工具。
|
2天前
|
机器学习/深度学习 算法 数据挖掘
【Python 机器学习专栏】K-means 聚类算法在 Python 中的实现
【4月更文挑战第30天】K-means 是一种常见的聚类算法,用于将数据集划分为 K 个簇。其基本流程包括初始化簇中心、分配数据点、更新簇中心并重复此过程直到收敛。在 Python 中实现 K-means 包括数据准备、定义距离函数、初始化、迭代和输出结果。虽然算法简单高效,但它需要预先设定 K 值,且对初始点选择敏感,可能陷入局部最优。广泛应用在市场分析、图像分割等场景。理解原理与实现对应用聚类分析至关重要。
|
2天前
|
机器学习/深度学习 算法 前端开发
【Python机器学习专栏】集成学习算法的原理与应用
【4月更文挑战第30天】集成学习通过组合多个基学习器提升预测准确性,广泛应用于分类、回归等问题。主要步骤包括生成基学习器、训练和结合预测结果。算法类型有Bagging(如随机森林)、Boosting(如AdaBoost)和Stacking。Python中可使用scikit-learn实现,如示例代码展示的随机森林分类。集成学习能降低模型方差,缓解过拟合,提高预测性能。
|
2天前
|
机器学习/深度学习 算法 Python
【Python 机器学习专栏】随机森林算法的性能与调优
【4月更文挑战第30天】随机森林是一种集成学习方法,通过构建多棵决策树并投票或平均预测结果,具有高准确性、抗过拟合、处理高维数据的能力。关键性能因素包括树的数量、深度、特征选择和样本大小。调优方法包括调整树的数量、深度,选择关键特征和参数优化。Python 示例展示了使用 GridSearchCV 进行调优。随机森林广泛应用于分类、回归和特征选择问题,是机器学习中的重要工具。
|
2天前
|
机器学习/深度学习 算法 数据可视化
【Python机器学习专栏】决策树算法的实现与解释
【4月更文挑战第30天】本文探讨了决策树算法,一种流行的监督学习方法,用于分类和回归。文章阐述了决策树的基本原理,其中内部节点代表特征判断,分支表示判断结果,叶节点代表类别。信息增益等标准用于衡量特征重要性。通过Python的scikit-learn库展示了构建鸢尾花数据集分类器的示例,包括训练、预测、评估和可视化决策树。最后,讨论了模型解释和特征重要性评估在优化中的作用。
|
2天前
|
机器学习/深度学习 算法 数据挖掘
【Python 机器学习专栏】Python 机器学习入门:基础概念与流程
【4月更文挑战第30天】本文介绍了Python在机器学习中的重要性,机器学习的基础概念和分类,包括监督学习、非监督学习和强化学习。Python因其丰富的库(如Scikit-learn、TensorFlow、PyTorch)、简单易学的语法和跨平台性在机器学习领域广泛应用。文章还概述了机器学习的基本流程,包括数据收集、预处理、特征工程、模型训练与评估等,并列举了常用的Python机器学习算法,如线性回归、逻辑回归、决策树和支持向量机。最后,讨论了Python机器学习在金融、医疗、工业和商业等领域的应用,鼓励读者深入学习并实践这一技术。