AI平台-Spark引擎架构

  1. 云栖社区>
  2. 博客>
  3. 正文

AI平台-Spark引擎架构

武耀文 2019-05-11 16:38:57 浏览855
展开阅读全文

1. 背景

2.spark内核结构

2.1 重要组成部分

1、Application
2、spark-submit
3、Driver
4、SparkContext
5、Master
6、Worker
7、Executor
8、Job
9、DAGScheduler
10、TaskScheduler
11、ShuffleMapTask and ResultTask
2.2 Spark工作流程简要
image

网友评论

登录后评论
0/500
评论
武耀文
+ 关注