【Spark Summit EU 2016】使用参数服务器在Spark上扩展因式分解机

简介: 本讲义出自Nick Pentreath在Spark Summit EU 2016上的演讲,主要介绍了什么是因式分解机(Factorization Machines)以及使用Spark和Glint构建的分布式因式分解机过程中使用到的Spark线性模型、参数服务器以及分布式因式分解机等内容,除此之外讲义中还介绍了目前的研究成果以及面对的挑战和未来的研究发展方向。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Nick Pentreath在Spark Summit EU 2016上的演讲,主要介绍了什么是因式分解机(Factorization Machines)以及使用Spark和Glint构建的分布式因式分解机过程中使用到的Spark线性模型、参数服务器以及分布式因式分解机等内容,除此之外讲义中还介绍了目前的研究成果以及面对的挑战和未来的研究发展方向。


dfd535037aef02cd982ea617d242e56dc24565e6

e41b81a309267c36363f2b76053277db0f2f640e

4e9e60bb16a99a6f8a5833ead52fb670c535e57b

45e7e13a863cd59cf21f83e8cb94f5c5a8a57242

c31888912bb1279a75de30e5658531edee4bb4e7

8b7ddeb9a26996a8225187fca840744bde0118de

ea228cd0e1ace20d32e6cb28aaca3da35d8fdba9

b10a45ca2a3f733c1243ed5050274301171ce679

61595e55f56faca74f87f563275ef671d49f7161

52c188df567fd5ebab766a45d2521fbde0a8c665

7907a7c587b441da2f58dd50ed6841206e0e5226

9c86dc1b19bdce81f83fa5d1ff3c5c90fb753cf2

fd028c11cee9d33796db7925c6c66fa5c128a090

efb8a20c7206ba5116d5215cd978e5436247ef7d

99599a72357c5e8e4fa41dc37aec2de80202c9ce

ab120b5473aba3d6ca2a6e2a21b41dfc55bda98e

4177cc672a788913f7f523da565b4cc5cc2a1637

93c419c7ea67f8a24a50b6d01dd1bfe73fb36fef

92b205008d92de7793de183aa386c08b34ea8dcf

e9084e95f91c48ae2ae857d88fac5870290ca298

38c26053e4f57315cde6698c7246d0341854bb17

f74ecece1711a73d19cf41cf61faa0c9a2c9e470

3bce368ccec91545fdd2babff48ea3fc40a9018d

4dc15f47aaaffbd22e2fcbcee3b8c162db389057

0f074d946b27f03658796f18d0e3d8268ac40e47

cffb5651a217aa2c5e2ee1b86a8c3b60deeefe58

c89e62efd0b0da77a3a0e9ad85d723aab6b72648

87698156bd4c51211bf3a350d418d3f30f41401d

0d1b30f30a5507ff5f58fcd1c9b041b182a997e1

4674a44bd447bdda4da0a16e22b6ed6d738ca808

f11529e6d00c533c104eab1c5ccb4b5f367ce77e

相关文章
|
6月前
|
分布式计算 API 流计算
22MyCat - Spark/Storm 对join扩展(简略)
22MyCat - Spark/Storm 对join扩展(简略)
30 0
|
3月前
|
SQL 分布式计算 测试技术
使用UDF扩展Spark SQL
使用UDF扩展Spark SQL
|
9月前
|
分布式计算 Spark
Spark重要参数详解
Spark重要参数详解
61 0
|
SQL 存储 分布式计算
Spark强大的函数扩展功能
Spark强大的函数扩展功能
|
分布式计算 资源调度 Kubernetes
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
快速学习 Spark 集群搭建_Spark 集群结构_扩展
129 0
Spark 集群搭建_Spark 集群结构_扩展|学习笔记
|
分布式计算 Java 大数据
docker下的spark集群,调整参数榨干硬件
调整docker-compose编排的参数,充分发挥硬件信息能运行spark集群
245 0
docker下的spark集群,调整参数榨干硬件
|
存储 机器学习/深度学习 分布式计算
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
介绍如何利用持久化内存与高性能RDMA 网络来加速Spark Shuffle。
10月29日社区直播【Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析】
|
SQL 分布式计算 运维
技本功|Hive优化之Spark执行引擎参数调优(二)
影响Hive效率的主要有数据倾斜、数据冗余、job的IO以及不同底层引擎配置情况和Hive本身参数和HiveSQL的执行等因素。 本文主要结合实际业务情况,在使用Spark作为底层引擎时,通过一些常见的配置参数对报错任务进行调整优化,主要包含以下两个方面:
1107 0
技本功|Hive优化之Spark执行引擎参数调优(二)
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料