3.15 小结
回顾本章， Scala与Akka的基于Actor的并发编程模型给人的印象深刻。listenerBus对于监听器模式的经典应用看来并不复杂，希望读者朋友能应用到自己的产品开发中去。此外，使用Netty所提供的异步网络框架构建的Block传输服务，基于Jetty构建的内嵌web服务（HTTP文件服务器和SparkUI），基于codahale提供的第三方测量仓库创建的测量系统，Executor中的心跳实现等内容，都值得借鉴。
深入理解Spark：核心思想与源码分析. 3.15 小结
2017-05-02
1329
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
目录
相关文章
|
Apache
分布式计算
Spark
Apache Spark Delta Lake 事务日志实现源码分析
Apache Spark Delta Lake 事务日志实现源码分析
我们已经在这篇文章详细介绍了 Apache Spark Delta Lake 的事务日志是什么、主要用途以及如何工作的。那篇文章已经可以很好地给大家介绍 Delta Lake 的内部工作原理，原子性保证，本文为了学习的目的，带领大家从源码级别来看看 Delta Lake 事务日志的实现。
1961
0
0
|
分布式计算
Java
Shell
Spark源码分析之Spark Shell（上）
终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。
901
0
0
|
分布式计算
Spark
Hadoop
Spark MapOutputTracker源码分析
## 技能标签
- Spark ShuffleMapTask处理完成后，把MapStatus数据(BlockManagerId,[compressSize])发送给MapOutputTrackerMaster.
1663
0
0
|
分布式计算
搜索推荐
Spark
Spark 源码分析之ShuffleMapTask内存数据Spill和合并
- Spark ShuffleMapTask 内存中的数据Spill到临时文件
- 临时文件中的数据是如何定入的，如何按partition升序排序，再按Key升序排序写入(key,value)数据
- 每个临时文件，都存入对应的每个分区有多少个(key,value)对，有多少次流提交数组，数组中...
1778
0
0
|
分布式计算
Scala
Spark
Spark源码分析之ResultTask处理
ResultTask 执行当前分区的计算，首先从ShuffleMapTask拿到当前分区的数据，会从所有的ShuffleMapTask都拿一遍当前的分区数据，然后调用reduceByKey自定义的函数进行计算，最后合并所有的ResultTask输出结果，进行输出
2275
0
1
|
分布式计算
Shell
Scala
|
分布式计算
Apache
Spark
Spark Master启动源码分析
Spark Master启动源码分析
更多资源
github: https://github.com/opensourceteams/spark-scala-maven
csdn(汇总视频在线看): https://blog.
947
0
0
|
分布式计算
Spark
Spark Worker启动源码分析
Spark Worker启动源码分析
更多资源
github: https://github.com/opensourceteams/spark-scala-maven
csdn(汇总视频在线看): https://blog.
1104
0
0
|
分布式计算
Spark
|
存储
分布式计算
Spark
《深入理解Spark：核心思想与源码分析》2次印刷修订内容清单
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51657146
前言
自从《深入理解Spark：核心思想与源码分析》一书出版以来，陆续收到很多读者的反馈，笔者为此在第1版第2次印刷之前做了一些勘误。
838
0
0
热门文章
最新文章
1
【Flink】Flink跟Spark Streaming的区别？
2
大数据技术与Python：结合Spark和Hadoop进行分布式计算
3
Paimon与Spark
4
bigdata-36-Spark转换算子与动作算子
5
图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
6
Spark 源码分析 -- BlockStore
7
BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
8
地铁译：Spark for python developers --- 搭建Spark虚拟环境3
9
Spark RDD类源码阅读
10
7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】
1
【Flink】Flink跟Spark Streaming的区别？
34
2
大数据技术与Python：结合Spark和Hadoop进行分布式计算
28
3
Paimon与Spark
25
4
bigdata-36-Spark转换算子与动作算子
4
5
Paimon 与 Spark 的集成（二）：查询优化
117487
6
阿里云 EMR Serverless Spark 版免费邀测中
391
7
Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
82
8
安装Spark
34
9
Spark环境搭建与使用
36
10
Spark学习---day07、Spark内核（Shuffle、任务执行）
40