备案控制台
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

10月17日Spark社区直播【Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理】

2019-10-14 790
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本次直播我们邀请了Tablestore存储服务技术专家 朱晓然 ，为大家详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。

主题：
Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理

点击这里是直播间直达链接（回看链接）

时间
10月17日：19：00-20：00

直播介绍：
Tablestore是阿里云自研的云原生结构化大数据存储服务，本议题会详细介绍如何基于Tablestore的CDC技术，将大表内实时数据更新对接Spark Streaming来实现数据的实时计算和处理。最新版本的Connector会随着EMR下个版本的SDK一起开源，场景环节会结合阿里内部的业务介绍用户如何结合Tablestore和Spark来实现实时数据处理。

主讲人：
朱晓然 Tablestore存储服务技术专家

请钉钉扫码至群内观看直播，与嘉宾互动有机会获得社区礼物一份。
Tablestore Spark Streaming Connector -- 海量结构化数据的实时计算和处理.png

文章标签：
开源大数据平台 E-MapReduce
表格存储
实时计算 Flink版
NoSQL
流计算
分布式计算
Spark
关键词：
实时计算 Flink版数据
apache spark数据
apache spark streaming
apache spark结构化
apache spark streaming实时计算
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
孙玉洁-47170
|
3月前
|
SQL 分布式计算 API
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
Spark学习------SparkSQL（概述、编程、数据的加载和保存）
孙玉洁-47170
74 2
aliyun7689123603-22772
|
1天前
|
分布式计算 Java 关系型数据库
spark用于分析数据并将数据保存到数据库中是
5月更文挑战第8天
aliyun7689123603-22772
5 1
拓端数据部落
|
6天前
|
SQL 分布式计算 数据可视化
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
数据分享|Python、Spark SQL、MapReduce决策树、回归对车祸发生率影响因素可视化分析
拓端数据部落
27 4
拓端数据部落
|
16天前
|
新零售 分布式计算 数据可视化
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
数据分享|基于Python、Hadoop零售交易数据的Spark数据处理与Echarts可视化分析
拓端数据部落
31 0
爱吃糖的范同学
|
23天前
|
分布式计算 大数据 数据处理
【Flink】Flink跟Spark Streaming的区别？
【4月更文挑战第17天】【Flink】Flink跟Spark Streaming的区别？
爱吃糖的范同学
65 6
孙玉洁-47170
|
2月前
|
SQL 分布式计算 Java
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
孙玉洁-47170
139 1
xleesf
|
2月前
|
存储 分布式计算 Spark
实战|使用Spark Streaming写入Hudi
实战|使用Spark Streaming写入Hudi
xleesf
56 0
sunrr
|
2月前
|
存储 分布式计算 API
adb spark的lakehouse api访问内表数据，还支持算子下推吗
【2月更文挑战第21天】adb spark的lakehouse api访问内表数据，还支持算子下推吗
sunrr
108 2
听风de歌
|
7月前
|
存储 索引
表格存储根据多元索引查询条件直接更新数据
表格存储是否可以根据多元索引查询条件直接更新数据？
听风de歌
64 3
三分钟热度的鱼
|
2月前
|
分布式计算 DataWorks API
DataWorks常见问题之按指定条件物理删除OTS中的数据失败如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台，支持数据集成、数据开发、数据治理等功能；在本汇总中，我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答，以助用户在数据处理和分析工作中提高效率，降低难度。
三分钟热度的鱼
28 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    现代流式计算的基石：Google DataFlow
  • 2
    JindoFS: 云上大数据的高性能数据湖存储方案
  • 3
    JindoFS解析 - 云上大数据高性能数据湖存储方案
  • 4
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 5
    如何在Aliyun E-MapReduce集群上使用Zeppelin和Hue
  • 6
    首次揭秘|为6.4亿人次出行提供无线网络的技术架构
  • 7
    阿里封神-大数据处理技术漫谈
  • 8
    基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
  • 9
    【译】使用Spark SQL 运行大规模基因组工作流
  • 10
    EMR Spark Relational Cache的执行计划重写
  • 1
    基于阿里云向量检索 Milvus 版和 LangChain 快速构建 LLM 问答系统
    29
  • 2
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    131
  • 3
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    294
  • 4
    EMR Notebook 开启公测，提供交互式数据分析平台
    176
  • 5
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    189
  • 6
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    414
  • 7
    Paimon 与 Spark 的集成（二）：查询优化
    117540
  • 8
    阿里云 EMR Serverless Spark 版免费邀测中
    420
  • 9
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    220
  • 10
    1688API接口推荐：1688口令转换真实链接接口
    36

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 相关实验场景

    更多
  • 通过Lindorm-cli连接并使用宽表引擎
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 基于Flink+Tair搭建实时监控大屏
  • AnalyticDB MySQL海量数据秒级分析体验
  • 基于数据湖架构的网站访问行为分析
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）