备案控制台
开发者社区 数据库 文章 正文

【Spark Summit EU 2016】使用Redis模型为Spark-ML加速

2017-02-13 3030
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云数据库 Redis 版，社区版 2GB
推荐场景：
搭建游戏排行榜
简介： 本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Shay Nativ与Dvir Volk在Spark Summit EU上的演讲，主要介绍了支持网络、可基于内存也可持久化的日志型、开源的Key-Value数据库Redis，并介绍了Spark与Redis的集成方式，还介绍了为了使Redis能够实现更多的功能对其模型进行进一步研发并将其用于Spark-ML的相关内容。


9784e4cd578ee4b1428563bfb85ca4e9d24000b0

f5a1e97246024b2ff4dbfc9a2e694f21e4961fd3

7d7a7a24b98c903e15a1acc006fa49490889bb1d

8e86d01a0e56a155ab141111408f20dc2646611c

8e86d01a0e56a155ab141111408f20dc2646611c

03a1dcc114b3339397e0fa7045ca588b9e1edae3

5e24eea502230e0d3f6b59c901d0652e9a59201d

710e1cf3cc29446f07d13a3e2745e596d70e59fc

80e137315486e5aea4928109c7e71d1df15ff6d9

f75c790a0cd6091216907167a844e05ceef6f5fc

ff7dfedf974fc70c68a23cbbc1ccaae250b62f59

fa00a4f2def72713a9f8167089755fe953670e04

0d42a719433d00854637f4b7812e9f249a144c4f

600ff1e8a58bf8afb1f8a5b8032f130a2d142393

46dce0f0e16a2ceda02c3945af8c8ee502c599da

d011d62df00a5b939270f2e7287b90f7ee5d76e6

de04c56de09f6cb288ca4d926d0346b19d07ecf6

40bc48f77e03d2d2ea1f49c111d5b7b7ed167d84

36b3a449e12a8400664f4ddc3e5a88b98b58a01e

70646be1d4029ffbe3f2ceed9615900d7d8a4b28

d494ffc4df0adfedf4b6d93a1b1a9a9cf983cdde

6962a6726805144277494abe3d665b7ddbfea89e

f6c733ee0c08c703ba28c55839a9db48fbb6aba2

b298c79af4d13a2079fdebe843296e2d154d5ce1

dfb871169cc3be81ea84300b061aac312786369e

972b3166054d930b6bf68e1b900061a390222eb0

f11b6ed4d283b57c5d5e3b80262d87eee6c079d0

8fb7a5d42850d81f2f2584b54ee7f4277fbdcb1f

d3d6f5655dbb76e1ffe246fb3aec47fb66bcc6e9

c24ac00fd44bf46dd6c15133fe0ec4ad73b8a91f

d62ea7bf6c87c0d82afac30619fded606d7251bd

233b608f514f71206da289e7b1dc3def3b937c4f

058c7b40d5e792dac3ce5d5828d20dd1d20468b8

16e56f63951f3dcb92c14e28aec9e26210b48ed8

af451345cfcfda487f85be550ef952325227b1ba

c0cc459918e5f433ddbc4081d35c14c3ba8e6290

90ebb892df46f7a6e315bff590a10952b0354619

文章标签：
云数据库 Redis 版
监控
数据库
分布式计算
NoSQL
Redis
关键词：
云数据库 Redis 版模型
spark云数据库 Redis 版
云数据库 Redis 版spark
apache spark模型
apache spark summit
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务，基于高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求。 产品详情：https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验：数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引，您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接，领取免费ECS&RDS资源，30分钟完成数据库上云实战！https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
小猫吃鱼569
目录
相关文章
山河亦问安
|
4月前
|
NoSQL Linux Redis
Redis原理之网络模型笔记
Redis采用单线程模型，这意味着一个Redis服务器在任何时刻都只会处理一个请求。Redis的网络模型涉及到阻塞I/O（Blocking I/O）、非阻塞I/O（Non-blocking I/O）、I/O多路复用（I/O Multiplexing）、信号驱动I/O（Signal-driven I/O）以及异步I/O（Asynchronous I/O）。
山河亦问安
53 1
我也要当昏君
|
4月前
|
NoSQL Linux Redis
Redis 的网络框架是实现了 Reactor 模型吗？
Redis 的网络框架是实现了 Reactor 模型吗？
我也要当昏君
35 0
洛神灬殇
|
2月前
|
存储 缓存 NoSQL
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）（一）
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）
洛神灬殇
41 0
洛神灬殇
|
2月前
|
存储 NoSQL 算法
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）（二）
【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（字典）
洛神灬殇
54 0
再出发2023
|
4月前
|
存储 NoSQL 网络协议
redis主从同步对象模型学习笔记
redis主从同步对象模型学习笔记
再出发2023
46 0
菜菜的后端私房菜
|
4天前
|
存储 NoSQL Redis
深入浅出Redis（二）：Redis单线程模型与通信流程
深入浅出Redis（二）：Redis单线程模型与通信流程
菜菜的后端私房菜
7 0
俄罗斯刺沙蓬
|
13天前
|
NoSQL Redis
Redis 线程模型
Redis 线程模型
俄罗斯刺沙蓬
16 0
请回答1024
|
18天前
|
存储 NoSQL Linux
Redis入门到通关之Redis5种网络模型详解
Redis入门到通关之Redis5种网络模型详解
请回答1024
32 1
请回答1024
|
18天前
|
NoSQL Ubuntu 关系型数据库
Redis入门到通关之Redis网络模型-用户空间和内核态空间
Redis入门到通关之Redis网络模型-用户空间和内核态空间
请回答1024
22 1
洛神灬殇
|
2月前
|
存储 机器学习/深度学习 NoSQL
作者推荐 |【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（链表）（二）
作者推荐 |【Redis技术进阶之路】「底层源码解析」揭秘高效存储模型与数据结构底层实现（链表）
洛神灬殇
24 0

热门文章

最新文章

  • 1
    阿里云Redis读写分离典型场景：如何轻松搭建电商秒杀系统
  • 2
    redis4.0之Lua脚本新姿势
  • 3
    Redis的Multi的内幕真相
  • 4
    利用redis实现session共享
  • 5
    Redis整合Spring结合使用缓存实例（转）
  • 6
    Redis实践(七)-复制的原理与优化
  • 7
    redis演练(2) 最全redis命令列表
  • 8
    Redis持久化存储
  • 9
    Redis系统性介绍
  • 10
    dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合（三）使用Spring AOP实现mysql的读写分离
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    139
  • 2
    安装Spark
    37
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    42
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    45
  • 5
    实战|使用Spark Streaming写入Hudi
    57
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    108
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    44
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    69
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    34
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    60

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • Tair for Redis数据闪回：任意时间点数据恢复
  • 如何开通Redis的专属集群
  • 基于Redis实现在线游戏积分排行榜
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）