教你在Python中用Scikit生成测试数据集(附代码、学习资料)

简介:

测试数据集是一个小型的人工数据集,它可以让你测试机器学习算法或其它测试工具。

测试数据集的数据具有定义明确的性质,如线性或非线性,这允许您探索特定的算法行为。

scikit-learn Python库提供了一组函数,用于从结构化的测试问题中生成样本,用于进行回归和分类。

在本教程中,您将发现测试问题以及如何在Python中使用scikit学习。

完成本教程后,您将知道:

  • 如何生成多分类预测问题
  • 如何生成二分类预测问题
  • 如何生成线性回归预测测试问题

让我们开始吧

教程概述

本教程分为三个部分,分别是:

  • 测试数据集
  • 分类测试问题
  • 回归测试的问题

测试数据集

开发和实现机器学习算法遇到的问题是,您如何知道是否正确地实现了机器学习算法。

即使存在bug有些算法还是能执行。

测试数据集是一个较小的人为设计问题,它允许您测试和调试算法和测试工具。

它们还能帮助更好地理解算法的行为,以及超参数是如何在相应算法的执行过程进行改变的。

下面是测试数据集的一些理想属性:

它们可以快速且容易地生成。

它们包含“已知”或“理解”的结果与预测相比较。

它们是随机的,每次生成时都允许对同一个问题进行随机变量的变化。

它们很小,可以很容易在两个维度中进行可视化。

它们也可以被简单地放大。

我建议在开始使用新的机器学习算法或开发新的测试工具时使用测试数据集。

scikit-learn是一个用于机器学习的Python库,它提供了生成一系列测试问题的功能。

在本教程中,我们将介绍一些为分类和回归算法生成测试问题的例子。

分类测试问题

分类是把标签分配给观测样本的问题。

在这一节中,我们将讨论三种分类问题:斑点、月亮和圆圈。

  • 斑点分类问题

make_blob()函数可用于生成高斯分布的点。

您可以控制生成多少个斑点,以及生成的样本数量,以及其他一些属性。

如果这些斑点有线性可分的性质,那么这个问题适用于线性分类问题。

下面的例子生成一个带有三类斑点的二维数据集,作为一个多类分类预测问题。

每个观察都有两个输入和0、1或2个类值。

1b96104dfdc64bc326fe06066e57855dd7075e82

完整代码如下

f787e9690b3d66453ec514e477c480d811cf83db

运行这个示例会生成问题的输入和输出,然后创建一个方便的2D绘图,用不同的颜色显示不同的类。

注意,由于问题生成器的随机特性,您的特定数据集和结果图将会有所不同。

这是一个特性,而不是一个bug。

928748e48ed41c40e1186fbb59097868d875543b

测试分类问题的散点图


我们将在下面的示例中使用这个相同的示例结构。

  • 卫星分类问题

make_moons()函数是用于二分类问题的的,它将生成像漩涡一样,或者像月亮形状一样的数据集。

你可以控制月亮的形状和产生的样本数量。

这个测试问题适用于能够学习非线性类边界的算法。

下面的例子产生了一个带有中等噪声的月球数据集。

2ad5a0e8eddad77020d3ae0941cb4c8d07f3d8be

完整的代码如下

0c61f1f1062e34429019be6caed2bd65dc2aab9a

运行该示例将生成并绘制用于检查的数据集,再次为其指定的类着色。

7d3ab05c448943b7d0b26085a477a93f0dcf76ad

卫星测试分类问题散的点图

  • 圈分类问题

make_circles()函数会产生一个二分类问题,这个问题会出现在一个同心圆中。

再一次,就像卫星测试的问题一样,你可以控制形状中噪音的大小。

该测试问题适用于能够学习复杂非线性曲线的算法。

下面的示例生成一个带有一些噪声的圆形数据集。

4209c2a763a010b27b1389de99ebd24c695b65db

完整的代码如下

133c78798efdc875d276328e355d5bb0130f17f8


运行该示例将生成并绘制用于检查的数据集。

b61343020d02f48487f043414da8433003d86764

圆试验分类问题的散点问题

回归测试的问题

回归是预测某个观测量的问题。

make_regression()函数将创建一个带有输入和输出之间线性关系的数据集。

您可以配置示例的数量、输入特性的数量、噪声级别,等等。

这个数据集适用于能够学习线性回归函数的算法。

下面的示例将生成100个示例,其中包含一个输入特性和一个输出特性,它的噪声很低。

034b5224052f7ebe7143373b473c768b42401f8e

完整的代码如下。

f6f5074b899bca298f59ab572c9f0edbd9cf9d7e

运行该示例将生成数据,并绘制X和y关系图,由于该关系是线性的,因此非常无趣。

112c6365c1b0bb98408bc549e45ad99e39ce209f

回归测试问题的散点图

延伸

本节列出了一些扩展您可能希望探索的教程的想法。

比较算法

选择一个测试问题,并对问题的算法进行比较,并报告性能。

扩大的问题

选择一个测试问题,并探索扩大它的规模,使用改进的方法来可视化结果,或者探索给定的算法的模型技巧和问题深度。

额外的问题

这个库提供了一系列额外的测试问题;

为每个人编写一个代码示例来演示它们是如何工作的。

如果您探究这些扩展的任何一个,我很想知道。

进一步的阅读

如果您希望深入研究,本节将提供更多关于主题的参考资料。

  • 学习用户指南:数据集加载实用程序(http://scikit-learn.org/stable/datasets/index.html)
  • scikit-learn API:sklearn - 数据集(http://scikit-learn.org/stable/modules/classes.html#module-sklearn.datasets)

总结

在本教程中,您发现了测试问题,以及如何在Python中使用scikit库。

具体来说,你学会了:

  • 如何生成多分类预测问题
  • 如何生成二分类预测问题
  • 如何生成线性回归预测测试问题

原文发布时间为:2018-01-30
本文作者:Jason Brownlee
本文来自云栖社区合作伙伴“ 数据派THU”,了解相关信息可以关注“ 数据派THU”微信公众号
相关文章
|
3天前
|
机器学习/深度学习 分布式计算 物联网
【Python机器学习专栏】联邦学习:保护隐私的机器学习新趋势
【4月更文挑战第30天】联邦学习是保障数据隐私的分布式机器学习方法,允许设备在本地训练数据并仅共享模型,保护用户隐私。其优势包括数据隐私、分布式计算和模型泛化。应用于医疗、金融和物联网等领域,未来将发展更高效的数据隐私保护、提升可解释性和可靠性的,并与其他技术融合,为机器学习带来新机遇。
|
3天前
|
机器学习/深度学习 自然语言处理 搜索推荐
【Python机器学习专栏】迁移学习在机器学习中的应用
【4月更文挑战第30天】迁移学习是利用已有知识解决新问题的机器学习方法,尤其在数据稀缺或资源有限时展现优势。本文介绍了迁移学习的基本概念,包括源域和目标域,并探讨了其在图像识别、自然语言处理和推荐系统的应用。在Python中,可使用Keras或TensorFlow实现迁移学习,如示例所示,通过预训练的VGG16模型进行图像识别。迁移学习提高了学习效率和性能,随着技术发展,其应用前景广阔。
|
3天前
|
机器学习/深度学习 算法 UED
【Python 机器学习专栏】A/B 测试在机器学习项目中的应用
【4月更文挑战第30天】A/B测试在数据驱动的机器学习项目中扮演关键角色,用于评估模型性能、算法改进和特征选择。通过定义目标、划分群组、实施处理、收集数据和分析结果,A/B测试能帮助优化模型和用户体验。Python提供工具如pandas和scipy.stats支持实验实施与分析。注意样本量、随机性、时间因素和多变量分析,确保测试有效性。A/B测试助力于持续改进机器学习项目,实现更好的成果。
|
3天前
|
机器学习/深度学习 算法 前端开发
【Python机器学习专栏】集成学习中的Bagging与Boosting
【4月更文挑战第30天】本文介绍了集成学习中的两种主要策略:Bagging和Boosting。Bagging通过自助采样构建多个基学习器并以投票或平均法集成,降低模型方差,增强稳定性。在Python中可使用`BaggingClassifier`实现。而Boosting是串行学习,不断调整基学习器权重以优化拟合,适合弱学习器。Python中可利用`AdaBoostClassifier`等实现。示例代码展示了如何在实践中运用这两种方法。
|
3天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】关联规则学习:Apriori算法详解
【4月更文挑战第30天】Apriori算法是一种用于关联规则学习的经典算法,尤其适用于购物篮分析,以发现商品间的购买关联。该算法基于支持度和置信度指标,通过迭代生成频繁项集并提取满足阈值的规则。Python中可借助mlxtend库实现Apriori,例如处理购物篮数据,设置支持度和置信度阈值,找出相关规则。
|
3天前
|
机器学习/深度学习 算法 前端开发
【Python机器学习专栏】集成学习算法的原理与应用
【4月更文挑战第30天】集成学习通过组合多个基学习器提升预测准确性,广泛应用于分类、回归等问题。主要步骤包括生成基学习器、训练和结合预测结果。算法类型有Bagging(如随机森林)、Boosting(如AdaBoost)和Stacking。Python中可使用scikit-learn实现,如示例代码展示的随机森林分类。集成学习能降低模型方差,缓解过拟合,提高预测性能。
|
5天前
|
测试技术 Python
python运行集成测试
【4月更文挑战第22天】
7 1
|
5天前
|
测试技术 Python
python编写集成测试
【4月更文挑战第22天】
4 1
|
6天前
|
Python
【Python21天学习挑战赛】- 错误和异常
【Python21天学习挑战赛】- 错误和异常
|
6天前
|
容器
【Python21天学习挑战赛】-迭代器 & f-格式化 & 模块
【Python21天学习挑战赛】-迭代器 & f-格式化 & 模块