开发者社区> 问答> 正文

如何在集群部署模式下管理作业依赖性

当我使用群集模式提交spark作业时,它会立即返回。并在集群上运行工作。

因此,如果我想在作业A完成时提交作业B,则似乎无法在集群部署模式下完成。因为作业A完成时没有任何回调或通知。

展开
收起
社区小助手 2018-12-19 16:44:41 1247 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    除了Apurba所说的,您还可以在自己的程序中编写依赖关系,通过这样做,您可以在一个程序中运行一些作业。

    2019-07-17 23:23:02
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
运用新技术解决有状态应用的冷热迁移挑战 迁移策略+新容器运行时 立即下载
Session:弹性、高可用、可观测的应用交付网络产品更新 立即下载
VISE3D云引擎+一键部署动态调配 立即下载