备案控制台

开发者社区

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

请问一下如何能查看spark struct streaming内存使用情况呢

请问一下如何能查看spark struct streaming内存使用情况呢

展开

收起

社区小助手 2019-01-30 14:52:07 2707 0

1 条回答

写回答

取消提交回答

社区小助手

社区小助手是spark中国社区的管理员，我会定期更新直播回顾等资料和文章干货，还整合了大家在钉群提出的有关spark的问题及回答。

event log里的peak execution memory可以参考下。

2019-07-17 23:27:20

赞同展开评论打赏

问答分类：

分布式计算流计算 Spark 实时计算 Flink版

问答标签：

apache spark streaming apache spark内存内存spark apache spark struct

问答地址：

开发者社区 > 大数据与机器学习 > 实时计算 Flink > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

实时计算 Flink版

基于yarn，spark任务可以配置动态资源内存和核数，flink呢？

355

1

0

如何计算spark中的数据集，在加入内存中的大小

579

0

0

流式计算 Spark Streaming 如何应treaming 如何应用？

776

1

0

请教个问题，Spark on MaxCompute是基于内存的吗？会不会比直接用odps sql写要

721

1

0

Flink和Spark Streaming相比有哪些不同？

1060

1

0

当把仅有确定性计算的 Spark Streaming 和 Flink 进行对比时二者的不同点有哪些？

799

1

0

如果 Spark Streaming 存在非确定性的计算，则不能实现端到端一致，原因是什么？

782

1

0

Spark Streaming 原理是什么？

1724

1

0

Spark streaming / Flink 通过通道服务的完整架构是什么样的？

641

1

0

Spark streaming / Flink 通过通道服务实现了什么？

639

1

0

大数据与机器学习

实时计算 Flink

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎，提高作业开发运维效率。

我要提问

热门讨论

热门文章

Flink-CDC 文档网站地址是什么？

FlinkCDC MySQL 中 scan.startup.mode 用的是什么模式啊？

Flink CDC有遇见这个问题的吗？

Flink1.17为什么需要JDK 11呢？JDK8我试了也能运行

flink谁遇到过这种问题嘛？怎么解决啊？

flink cdc，读取datetime类型，全都变成了时间戳，怎么解决？下游是可以解决。但是我想知

各位老师，请教个问题，flink 会在本地 /tmp 目录下产生大量flink-临时文件，目前看好？

哪位大佬有遇到过Flink这个问题呢？同步pg的时候，是不是类冲突了，所以导致抓不到这个类？

flink1.15启动后无法访问webui的问题有人遇到过吗

Flink CDC中Starroks和doris哪个强一点？

展开全部

Flink+Paimon+Hologres 构建实时湖仓数据分析

数据仓库介绍与实时数仓案例

权威详解 | 阿里新一代实时计算引擎 Blink，每秒支持数十亿次计算

分布式Snapshot和Flink Checkpointing简介

独家专访阿里集团副总裁贾扬清：我为什么选择加入阿里巴巴？

Flink SQL 功能解密系列 —— 维表 JOIN 与异步优化

通过Flink实时构建搜索引擎的索引

Flume+Kafka+Flink+Redis构建大数据实时处理系统：实时统计网站PV、UV展示

阿里云实时计算产品案例&解决方案汇总

流计算精品翻译: The Dataflow Model

展开全部

相关课程

更多

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

283

33

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

92

25

去学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第四阶段

106

19

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段

180

21

去学习

大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段

324

9

去学习

大数据实时计算框架Spark快速入门

778

93

去学习

相关电子书

更多

Hybrid Cloud and Apache Spark 立即下载

Scalable Deep Learning on Spark 立即下载

Comparison of Spark SQL with Hive 立即下载