备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】基于Elastic Spark Streaming的自动伸缩系统

2017-02-19 1702
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自PhuDuc Nguyen在Spark Summit East 2017上的演讲，主要介绍了不支持开箱即用的在不中断实时Spark Streaming任务的同时能够添加或删除节点的功能。并介绍了Elastic Spark Streaming任务能够自动调整对于数据流的体积和流量的需求。


45fff46c0399f001cac9f2354430f339c9629e03

294c349ad56278f7d577e2043dfeaa190b82141e

6de9f96b6f9f373016f4372d5b4367bf0c21c034

f4fc3e0017c7088b852e685e06f4c276563eb4bf

7c3bc84df5f1680b7a736e01210edbfa3895b324

e0db973e5cc5e39be9169f91302bc11fc2a7d6f6

c7612d2ad0377a47a3e7b47de62fca0a02a67a06

8b54653f9cdd59ceb760efb6b66faf2b7be8c8ac

85ee7d5cfaed7c3b608506b267940c35d4c64373

246f3ab087699ae6d70f01a23dcad9cd4bf935bc

9bff919a1b869468b73bcd488e2a038cc97f1096

032820b734db3ab1d236a61154ac3cecfd9b1c98

ab0dfbac8445ef32e6b5cd6b3c1c612ac344c763

4db63ccb9314f2da6813e6af3fc5704efe7511dd

1e5986c8461dab0f2814b60a33b48ab9b5d34729

文章标签：
大数据
分布式计算
Spark
流计算
MaxCompute
关键词：
apache spark streaming
apache spark系统
apache spark伸缩
apache spark summit
apache spark summit east
小猫吃鱼569
目录
相关文章
xleesf
|
1月前
|
存储 分布式计算 Spark
实战|使用Spark Streaming写入Hudi
实战|使用Spark Streaming写入Hudi
xleesf
39 0
晓之以理的喵~~
|
3月前
|
分布式计算 监控 数据处理
Spark Streaming的容错性与高可用性
Spark Streaming的容错性与高可用性
晓之以理的喵~~
52 0
晓之以理的喵~~
|
3月前
|
分布式计算 数据处理 Apache
Spark Streaming与数据源连接：Kinesis、Flume等
Spark Streaming与数据源连接：Kinesis、Flume等
晓之以理的喵~~
58 0
晓之以理的喵~~
|
3月前
|
消息中间件 分布式计算 Kafka
使用Kafka与Spark Streaming进行流数据集成
使用Kafka与Spark Streaming进行流数据集成
晓之以理的喵~~
159 0
晓之以理的喵~~
|
3月前
|
分布式计算 监控 数据处理
Spark Streaming的DStream与窗口操作
Spark Streaming的DStream与窗口操作
晓之以理的喵~~
37 0
晓之以理的喵~~
|
3月前
|
分布式计算 监控 数据处理
实时数据处理概述与Spark Streaming简介
实时数据处理概述与Spark Streaming简介
晓之以理的喵~~
40 0
晓之以理的喵~~
|
3月前
|
SQL 分布式计算 数据处理
Spark的生态系统概览：Spark SQL、Spark Streaming
Spark的生态系统概览：Spark SQL、Spark Streaming
晓之以理的喵~~
46 0
疯狂的猿
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
157 0
桃李春风一杯酒
|
6天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
20 1
程序猿～厾罗
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
70 0

热门文章

最新文章

  • 1
    Paimon 与 Spark 的集成（二）：查询优化
  • 2
    阿里云 EMR Serverless Spark 版免费邀测中
  • 3
    Paimon与Spark
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    sparkRDD 算子的创建和使用
  • 8
    Spark 源码分析 -- BlockStore
  • 9
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 10
    Spark RDD类源码阅读
  • 1
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
    20
  • 2
    Paimon与Spark
    16
  • 3
    bigdata-36-Spark转换算子与动作算子
    4
  • 4
    Paimon 与 Spark 的集成（二）：查询优化
    117446
  • 5
    阿里云 EMR Serverless Spark 版免费邀测中
    382
  • 6
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    75
  • 7
    安装Spark
    32
  • 8
    Spark环境搭建与使用
    33
  • 9
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 10
    Spark读取变更Hudi数据集Schema实现分析
    35

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云oss简介和使用流程
    为什么选择阿里云什么是云计算全球基础设施技术领先稳定可靠安全合规分析师报告
    产品和定价全部产品免费试用产品动态产品定价价格计算器云上成本管理
    解决方案技术解决方案
    文档与社区文档开发者社区天池大赛培训与认证
    权益中心免费试用高校计划企业扶持计划推荐返现计划
    支持与服务基础服务企业增值服务迁云服务官网公告健康看板信任中心
    关注阿里云
    关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
    阿里云APP阿里云微信
    联系我们：4008013260
    法律声明Cookies政策廉正举报安全举报联系我们加入我们
    阿里巴巴集团淘宝网天猫全球速卖通阿里巴巴国际交易市场1688阿里妈妈飞猪阿里云计算AliOS万网高德UC友盟优酷钉钉支付宝达摩院淘宝海外阿里云盘饿了么
    © 2009-2024 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002 京D3-20220015
    浙公网安备 33010602009975号浙B2-20080101-4