备案控制台
开发者社区 大数据 文章 正文

【Spark Summit EU 2016】从Spark中学会的问题解决秘诀

2017-02-12 1561
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲，在演讲中他们分享了内存空间不足问题（OOM）、该方法不存在问题、大小混乱问题以及安全的流恢复问题，以及如何使用Spark解决相应的问题。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。

本讲义出自Stavros kontopoulos与Justin Pihony在Spark Summit EU 2016上的演讲，在演讲中他们分享了内存空间不足问题（OOM）、该方法不存在问题、大小混乱问题以及安全的流恢复问题，以及如何使用Spark解决相应的问题。


852a5a09cacf5bf42f3670023cfb3d2f9571ad26

756a58df9f2f3d09dc04564166dec87fb3694333

a970fa1ffb228a41770059a524ea18afac770069

c8d4c87495ce14bc6cb320caa8f157be2bf48379

17da206a30ce8ffc1d8e1886d6af0dbca1fe8f21

41295c16522d9533db64693d7e150b2c4d08a190

978af033297b5459442d76e9e48b4f232dc05357

159b4fc6461223dfd02e33a8c720f97fe6fcb100

ceeab560c46e6a35a1e35dd1ca9f18d805788cc6

fdaf8387759c86d287ae2a1af55c27e811ebd527

8ae10648c27f9058bdcc90cf3c2468a0c67797ec

0c76b07f897539eb769d304706f12bb68407cd05

1f59f71d0a866b244694783b9059c4bd7b4f403c

83005e2c4891589d4a363716c65ed122c222c3a8

26fffe4ebf89233b40cbd3e52aaadd781dab8052

fc2b32b6535d82d16bf8fa52ddf951a426a16530

730ba21381239760b8dae4aa51057b742ccd9bb5

91a1f4f43f7b6591bb7098e9a17e03e5f21e2fa2

9965a9315f9be2acb462183ff60866108fbc1a10

14d54f46761751f8e7a280172304e2bfce618ede

4c2030f78c179f22f22262cae20277518ce6726f

e3a8e28c21dc97fd65dd40b55dd31a73b0466428

199cd4926f6c1a7a9906b477edd460815cd290b8

31feb1160fa26284754dff7bc5195d98305970d7

150d5a012c625dc7f7d57d5aac5f64cd0b664023

551014176d88ec7f643703df052e8a6d20ad564b

322fbbd6dd3d5b8e9ec0e1e9312b5a4bc79236f7

aaf9fd083e5cbb85270faada11cdd8299e232cd3

909c344090dede8e3bdd508c9a1c20231de3234b

d7a78ec80da965685c2336c65ccb7134e83b4272

24a44589f58a60b9d569ccae2f49162bac51004e

c3ee5fa2037830992a8a5d21d51a62be96283b68

f8daa32741ecffb8f02ba3dd08ea523bbead6bb7

85158982f7a0c518d0879476d8a12214523bcb89

f226f60d93e0af63b27d4c480b062a101de4d326

08bc26663c33b31e4ef07450f410fc181e8764e4

df9b4377341c3e9dfd8308f48fbbe6de61aa5346

019991d2e7f56b4beb67a9b66d6aa2da6487f05e

261c07ba8d66473067ce386b6cce5c7a3cbe79df

4c4146ae102b5bed5db5ceea20c2a5683a1b14b7

722a07220a56150d3e0a28898f1ef5f66b6f2b23

59328f111cf2cce38187b9d3bd10f28c662a53f7

545b3e02c810fa51a82814e129b5e141648b56c8

eb840635c334b319593e98ba6a18531b9ce7f213

文章标签：
安全
分布式计算
Spark
大数据
MaxCompute
关键词：
apache spark summit
apache spark summit eu
小猫吃鱼569
目录
相关文章
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
22621 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
885 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题介绍
阿里云E-MapReduce团队
1549 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月5日议题
阿里云E-MapReduce团队
|
分布式计算 Prometheus Kubernetes
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题发布
阿里云E-MapReduce团队
2139 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会—7月4日上午议题
阿里云E-MapReduce团队
|
SQL 人工智能 缓存
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
在Spark + AI Summit 2020上， Matei 先生的keynote对 Spark 10 年做了非常精彩的演讲和深情的回顾。SparkSQL 重回巅峰，在性能上大幅超越 Presto。在过去几年，我们见过了太多的 benchmark，大家都在纷纷超越 Spark。Spark 3.0 这一进展可以说大大提振了大家对 Spark 的信心，可谓及时雨。
阿里云E-MapReduce团队
2459 0
Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾，Photon 引擎首次曝光
开源大数据EMR
|
人工智能 分布式计算 大数据
Spark + AI Summit 2020 中文议题有奖征集
北美 Spark + AI Summit 2020 盛会在即，Apache Spark 中国技术交流社区在此诚邀各位，代表国内开发者选择您最希望听到的主题，届时社区将联合国内顶尖技术专家一一展开中文形式分享。
开源大数据EMR
1078 0
Spark + AI Summit 2020 中文议题有奖征集
阿里云E-MapReduce团队
|
机器学习/深度学习 人工智能 分布式计算
Spark + AI summit 2019北美技术峰会华丽落幕
本次SAIC含盖了数据工程与数据科学的内容，包括AI产品化的最佳实践案例分享：超大数据规模下，利用流数据处理确保训练数据更新的时效性，完成数据质量监控，测试以及数据模型服务。也有对流行的软件框架如TensorFlow，SciKit-Learn，Keras，PyTorch，DeepLearning4J，BigDL以及Deep Learning Pipelines等，分别进行深入的主题分享探讨。
阿里云E-MapReduce团队
1202 0
寒凝雪
|
机器学习/深度学习 分布式计算 大数据
Spark Summit EU重头戏：TensorFlow、结构化的流和GPU硬件加速
寒凝雪
1499 0
小猫吃鱼569
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲，主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验，演讲的内容非常简单易懂并且非常有趣，在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
小猫吃鱼569
2469 0
小猫吃鱼569
|
分布式计算 安全 Hadoop
【Hadoop Summit Tokyo 2016】Apache Spark & Apache Zeppelin的安全状态
本讲义出自Vinay Shukla在Hadoop Summit Tokyo 2016上的演讲，主要介绍了 Spark的安全体系、以及YARN AM上的Spark驱动以及Kerberos身份验证等相关内容，最后还介绍了SparkSQL的相关内容。
小猫吃鱼569
2906 0

热门文章

最新文章

  • 1
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 2
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 3
    Spark 源码分析 -- BlockStore
  • 4
    地铁译：Spark for python developers --- 搭建Spark虚拟环境3
  • 5
    Spark RDD类源码阅读
  • 6
    Spark中分布式使用HanLP（1.7.0)分词示例
  • 7
    7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
  • 8
    Spark 分析网站排名热度
  • 9
    MapReduce Shuffle原理 与 Spark Shuffle原理
  • 10
    AnalyticDB MySQL — Spark 助力在OSS上构建低成本数据湖
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    139
  • 2
    安装Spark
    37
  • 3
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    42
  • 4
    Spark读取变更Hudi数据集Schema实现分析
    45
  • 5
    实战|使用Spark Streaming写入Hudi
    57
  • 6
    adb spark的lakehouse api访问内表数据，还支持算子下推吗
    108
  • 7
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    44
  • 8
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    69
  • 9
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    34
  • 10
    Spark【基础知识 03】【RDD常用算子详解】（图片来源于网络）
    60

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）