《Spark与Hadoop大数据分析》——3.1 启动 Spark 守护进程

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Spark与Hadoop大数据分析》——3.1 启动 Spark 守护进程

华章计算机 2017-09-01 11:20:00 浏览1172
展开阅读全文

3.1 启动 Spark 守护进程

如果你计划使用 Standalone 的集群管理器,则需要启动 Spark 的主机(master)和工作机(worker)的守护进程(daemon),它们是 Spark 架构的核心组件。守护进程的启动/停止在不同的发行版里略有差异。Hadoop 发行版(如 Cloudera、Hortonworks 和 MapR)会把 Spark 作为服务,并把 YARN 作为默认的资源管理器。这意味着在默认情况下所有 Spark 应用程序都会在 YARN 框架上运行。但是,要使用 Spark 的 Standalone 资源管理器,我们就需要启动 Spark 的主机和工作机角色。如果你计划使用 YARN 资源管理器,就不需要启动这些守护进程。请根据你使用的发行版类型,按照以下步骤进行操作。所有这些发行版的下载和安装

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机