备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】迈向实时：为个性化创建不断更新频率的数据集

2017-02-18 1685
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Shriya Arora在Spark Summit East 2017上的演讲，主要介绍了NETFLIX使用Spark处理个性化数据集空间的经验，并分享了使用流处理大规模的个性化数据集的案例，对于从批处理到流计算的转型意识以及这一过程中必须要面对的技术挑战。


ef5aa6b24e7d89f946cba4ea1ec2be3beba97954

0450b512d9e07066a01f98781ef9afa1f25867fe

693d186e287f070efa3641bb4b0bfb6f5a458436

111ba2d55f77fc08251ae63c87540cf9a163f044

dd6a55294799e8079188d10d4623551f3f930916

fa8e5461fc7f4c92c2062a456ac91d1468c05f81

fb5b54216f46c010225e2f4377bb430be6844719

18c63745ae30171a9b9f667489a7087854bcbec5

daef65c4686de2e47476850cbe4457179a75da20

dfa2593110ff2aa04fab05a781e4d420870abdb6

1d14eb2710c7a99cb603d5d0c4681dec7a875b82

9b397018eba53be2de059cfb13ac50956a3c6770

6ec8e7670dd7a11fdd79650c24e8eb0a5776f279

a5731ff37733f4aac1165119975cdd2012f684a1

2db1dc72db084aa114d99fb3093c0c06bb55c0d8

ebe943a5dfda0c0a88eb3ef61be923699e556986

文章标签：
大数据
分布式计算
搜索推荐
Spark
关键词：
apache spark数据集
apache spark创建
apache spark summit
apache spark创建数据集
apache spark summit east
小猫吃鱼569
目录
相关文章
yuanzhengme
|
1月前
|
存储 缓存 分布式计算
Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
【2月更文挑战第13天】Spark【基础知识 02】【弹性式数据集RDDs】（部分图片来源于网络）
yuanzhengme
34 1
晓之以理的喵~~
|
3月前
|
分布式计算 大数据 数据处理
Spark RDD（弹性分布式数据集）
Spark RDD（弹性分布式数据集）
晓之以理的喵~~
42 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 搜索推荐
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习协同过滤电影推荐实战（附源码和数据集）
热烈的马
78 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 前端开发
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习线性回归、逻辑回归预测胃癌是否转移实战（附源码和数据集）
热烈的马
35 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 大数据
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
【大数据技术】Spark MLlib机器学习特征抽取 TF-IDF统计词频实战（附源码和数据集）
热烈的马
27 0
热烈的马
|
4月前
|
存储 分布式计算 搜索推荐
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
【大数据技术Hadoop+Spark】MapReduce之单词计数和倒排索引实战（附源码和数据集 超详细）
热烈的马
46 0
热烈的马
|
4月前
|
机器学习/深度学习 分布式计算 大数据
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
【云计算与大数据技术】Spark实战项目之判别西瓜好坏（附源码和数据集）
热烈的马
46 0
萌狼蓝天
|
分布式计算 Scala Spark
【Spark】【RDD】从内存（集合）创建RDD
【Spark】【RDD】从内存（集合）创建RDD
萌狼蓝天
113 0
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从本地文件系统创建RDD
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
103 0
【Spark】【RDD】从本地文件系统创建RDD
萌狼蓝天
|
分布式计算 Spark
【Spark】【RDD】从HDFS创建RDD
【Spark】【RDD】从HDFS创建RDD
萌狼蓝天
85 0
【Spark】【RDD】从HDFS创建RDD

热门文章

最新文章

  • 1
    【Flink】Flink跟Spark Streaming的区别？
  • 2
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 3
    Paimon与Spark
  • 4
    Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    Spark 源码分析 -- BlockStore
  • 8
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 9
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 10
    Spark中分布式使用HanLP（1.7.0)分词示例
  • 1
    Spark【环境搭建 01】spark-3.0.0-without 单机版（安装+配置+测试案例）
    5
  • 2
    【Flink】Flink跟Spark Streaming的区别？
    35
  • 3
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
    29
  • 4
    Paimon与Spark
    25
  • 5
    bigdata-36-Spark转换算子与动作算子
    4
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117490
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    392
  • 8
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    84
  • 9
    安装Spark
    34
  • 10
    Spark环境搭建与使用
    36

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 基于Hologres+PAI+计算巢，5分钟搭建企业级AI问答知识库
  • 基于阿里云E-HPC平台的WRF气象预报实验
  • 利用大模型大规模分发技术，实现AIGC在线应用秒级弹性
  • Lindorm AIGC：十分钟搞定智能问答 + 多模态检索
  • 通过计算巢快速构建的企业专属Chatbot
  • 基于 ACK Serverless 解锁你家萌宠的 AI 形象
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）