备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】可扩展性机器学习的特征哈希

2017-02-19 2138
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Nick Pentreath在Spark Summit East 2017上的演讲，主要介绍了特征哈希是用于处理高维特性的一个功能强大的机器学习技术，特征哈希快速、简单、并且节约内存，而且适合在线学习场景，演讲中分享了特征哈希的基本功能，以及如何使用特征哈希在机器学习中的所有功能类型，并介绍了一个在Spark ML管道中使用的更加灵活和强大的转化器。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Nick Pentreath在Spark Summit East 2017上的演讲，主要介绍了特征哈希是用于处理高维特性的一个功能强大的机器学习技术，特征哈希快速、简单、并且节约内存，而且适合在线学习场景，演讲中分享了特征哈希的基本功能，以及如何使用特征哈希在机器学习中的所有功能类型，并介绍了一个在Spark ML管道中使用的更加灵活和强大的转化器。


4c47a30bf53e244879410367dba7d4b96d26fd38

51006ed9f0ac8634c6e3be6f44f7c72949660e07

ffe21491b8b056d767bd293cc643a46c67a556a2

97279c7133e157bc1f8adc78554329f1cfd09f07

6c8950498f42c1187d0d3a482462349139763433

c5a961681d45a23099dc3a1a5e3c9b878c1bb83a

e89e7093c9c47cb7762cc2042d12cb53e1b5281d

e8426653aef15bd7c22e9419ef7f7f9d78db5dc8

a6b92b8992da05e816cc6c7e6ce3443aa8f57a15

2c71163d12c37cf889c7631f613e67d466b4bbb9

a1e095ff3920f6e014b631967d6a00c154c1ed1c

8db43c12c24130e6bb7e317eee1be4e38acc9056

48baed7bfdd213ec8983cce4f920fe720efa952f

2f14c073dfdf52ed1c1ebcc20508cedb96e923b4

1224bb58376be4c888ba41f2fdc8610b643d7283

44714fa98d68e2671e7123d2ec3c577ae2356d83

0dc6394383173166c1e24b78cd99de9caf4e82c6

62d8065ae3375d60457c589b618463ba691629ff

04721b3d39f589cba870a87e1cf817fb047e2bd1

590f9b39a107f37369cccdc73ca964670ccb03a8

49972e3ea839e590e148ce4e58b1c375eac1b93a

3fbe2e2c7e10d93a3c8b2c6c16e4061ee8bc79d7

f6c87d1dba6a72854c6a4ee652db0a3a6a555a12

f319399092b770f89e5bdeaf1213765ce2b9baf7

07a7a8072f99721c14daa9271c4fcd3f85aa4d9d

0f30ee6efd8321d185ef7823dc48910590c9df44

743438124ba496e1fbce225141fd39ae5b862529

20c6567136cbc53c7f074f7ce420894055fbabdc

8c890ee147d69d77b1463ad1b2352101b5bdd582

33c7256b4047c6ddd70ee2fed5c1ed7af7f41efb

9d8e091b8fc636e352245d296c3df0f00b277f02



文章标签：
大数据
分布式计算
机器学习/深度学习
Spark
关键词：
人工智能平台 PAI特征
机器学习平台 PAI特征
apache spark机器学习
机器学习平台 PAIspark
apache spark特征
小猫吃鱼569
目录
相关文章
极客李华
|
3月前
|
机器学习/深度学习 分布式计算 算法
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
Spark中的机器学习库MLlib是什么？请解释其作用和常用算法。
极客李华
37 0
豌豆射手^
|
1月前
|
机器学习/深度学习 Python
【机器学习】包裹式特征选择之递归特征消除法
【机器学习】包裹式特征选择之递归特征消除法
豌豆射手^
153 4
java菌
|
1月前
|
机器学习/深度学习 数据采集 监控
机器学习-特征选择：如何使用递归特征消除算法自动筛选出最优特征？
机器学习-特征选择：如何使用递归特征消除算法自动筛选出最优特征？
java菌
68 0
米码收割机
|
16天前
|
机器学习/深度学习 数据可视化 算法
【python】Python大豆特征数据分析 [机器学习版一]（代码+论文）【独一无二】
【python】Python大豆特征数据分析 [机器学习版一]（代码+论文）【独一无二】
米码收割机
36 1
豌豆射手^
|
1月前
|
机器学习/深度学习 数据采集 数据可视化
【机器学习】样本、特征、标签：构建智能模型的三大基石
【机器学习】样本、特征、标签：构建智能模型的三大基石
豌豆射手^
209 0
java菌
|
1月前
|
机器学习/深度学习 数据挖掘 Python
机器学习-特征选择：如何使用互信息特征选择挑选出最佳特征？
机器学习-特征选择：如何使用互信息特征选择挑选出最佳特征？
java菌
31 1
java菌
|
1月前
|
机器学习/深度学习 算法
机器学习-特征选择：如何使用交叉验证精准选择最优特征？
机器学习-特征选择：如何使用交叉验证精准选择最优特征？
java菌
38 0
xleesf
|
1月前
|
存储 机器学习/深度学习 Apache
Apache Hudi与机器学习特征存储
Apache Hudi与机器学习特征存储
xleesf
29 0
豌豆射手^
|
1月前
|
机器学习/深度学习 算法 数据挖掘
【机器学习】包裹式特征选择之递归特征添加法
【机器学习】包裹式特征选择之递归特征添加法
豌豆射手^
63 5
cuicuicuic
|
2月前
|
机器学习/深度学习 人工智能 异构计算
人工智能平台PAI问题之Tag类型特征等长如何解决
人工智能平台PAI是指阿里云提供的机器学习平台服务，支持建模、训练和部署机器学习模型；本合集将介绍机器学习PAI的功能和操作流程，以及在使用过程中遇到的问题和解决方案。
cuicuicuic
45 0

热门文章

最新文章

  • 1
    机器学习PAI常见问题之运行报错如何解决
  • 2
    Machine Learning机器学习之贝叶斯网络(BayesianNetwork)
  • 3
    基于机器学习的用户行为分析与个性化推荐系统
  • 4
    机器学习库：numpy
  • 5
    机器学习第11天：降维
  • 6
    机器学习PAI常见问题之export DEBUG=ON 后编译不过如何解决
  • 7
    机器学习实战第3天：手写数字识别
  • 8
    构建高效机器学习模型：从特征工程到模型调优
  • 9
    构建高效机器学习模型：从数据预处理到模型优化
  • 10
    大模型开发：描述一个典型的机器学习项目流程。
  • 1
    Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
    5
  • 2
    【Flink】Flink跟Spark Streaming的区别？
    36
  • 3
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
    31
  • 4
    Paimon与Spark
    25
  • 5
    bigdata-36-Spark转换算子与动作算子
    4
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117491
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    393
  • 8
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    84
  • 9
    安装Spark
    34
  • 10
    Spark环境搭建与使用
    36

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 推荐系统入门之使用ALS算法实现打分预测
  • 零基础入门Serverless：基于函数计算快速搭建基于人工智能的目标检测系统
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）