Hadoop 基本构造块

简介:

 Hadoop整体架构是 分布式的主/从架构,由一组守护进程和一组宿主程序组成,守护进程有:NameNode,DataNode,Secondary NameNode,JobTracker,TaskTracker

其中NameNode,DataNode,Secondary NameNode被划分为 存储进程类,而JobTracker和TaskTracker被划分为计算进程类。

 

正如如下图所示:

 

 

NameNode:

NameNode是Hadoop分布式存储系统(HDFS)的主节点(master node),它自己不参与I/O任务,而是把这些任务交给它所管理的DataNode去完成。NameNode将文件系统的元数据都存储于内存中。

 

DataNode:

DataNode是Hadoop分布式存储系统(HDFS)的从节点(slave node),他们负责实际读写HDFS块的任务(一个大文件会被分为多个HDFS block),并持续将状态报告给NameNode.

NameNode和DataNode关系如下图:

 

 

Secondary NameNode:

Secondary NameNode 是集群中用来监控HDFS 集群状态的一个辅助进程。它也和NameNode不一样的是它不接受和记录HDFS的任何实时改变。相反,它只和NameNode打交道,并且定期收集HDFS 状态的快照(snapshot) ,它主要用于当NameNode出故障时的恢复工作。

 

Job Tracker:

Job Tracker是我们应用程序和Hadoop的联系人,当我们提交代码到Hadoop 集群时,它会确定执行计划,包括决定处理哪些文件,为每个节点分配不同的任务(实际上是分配给Task Tracker,然后转交),并且监控所有运行的任务。这个进程一般运行在集群的主节点上。

 

Task Tracker:

Task Tracker管理着从节点(slave node)上单个任务的执行,并且它要持续发送“心跳”(heartbeat)给Job Tracker来通知其状态。

Job Tracker和Task Tracker关系如下图:

 





本文转自 charles_wang888 51CTO博客,原文链接:http://blog.51cto.com/supercharles888/875983,如需转载请自行联系原作者

目录
相关文章
|
存储 机器学习/深度学习 分布式计算
Hadoop(HDFS)概述、HDFS产生背景、HDFS定义、HDFS优缺点、HDFS组成架构、HDFS文件块大小(面试重点)
Hadoop(HDFS)概述、HDFS产生背景、HDFS定义、HDFS优缺点、HDFS组成架构、HDFS文件块大小(面试重点)
Hadoop(HDFS)概述、HDFS产生背景、HDFS定义、HDFS优缺点、HDFS组成架构、HDFS文件块大小(面试重点)
|
分布式计算 安全 Java
datenode节点超时时间设置,Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机架感知配置
1.Hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信,namenode不会立即把该节点判定为死亡,要经过一段时间,这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout,则超时时长的计算公式为:          timeout  = 2 * heartbeat.rec
2862 0
|
分布式计算 Hadoop 流计算
【Hadoop Summit Tokyo 2016】像搭乐高一样搭建Storm与Spark Streaming Pipelines块
本讲义出自Arun Murthy在Hadoop Summit Tokyo 2016上的演讲,主要介绍了Arun Murthy与团队的从各种流使用中学习到的最佳实践和经验,演讲的内容非常简单易懂并且非常有趣,在演讲的最后还介绍了像搭乐高一样搭建Storm与Spark Streaming Pipelines块的相应工具。
2467 0
|
7天前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
30 2
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
9天前
|
SQL 分布式计算 Hadoop
利用Hive与Hadoop构建大数据仓库:从零到一
【4月更文挑战第7天】本文介绍了如何使用Apache Hive与Hadoop构建大数据仓库。Hadoop的HDFS和YARN提供分布式存储和资源管理,而Hive作为基于Hadoop的数据仓库系统,通过HiveQL简化大数据查询。构建过程包括设置Hadoop集群、安装配置Hive、数据导入与管理、查询分析以及ETL与调度。大数据仓库的应用场景包括海量数据存储、离线分析、数据服务化和数据湖构建,为企业决策和创新提供支持。
40 1
|
26天前
|
消息中间件 SQL 分布式计算
大数据Hadoop生态圈体系视频课程
熟悉大数据概念,明确大数据职位都有哪些;熟悉Hadoop生态系统都有哪些组件;学习Hadoop生态环境架构,了解分布式集群优势;动手操作Hbase的例子,成功部署伪分布式集群;动手Hadoop安装和配置部署;动手实操Hive例子实现;动手实现GPS项目的操作;动手实现Kafka消息队列例子等
20 1
大数据Hadoop生态圈体系视频课程
|
4月前
|
分布式计算 资源调度 搜索推荐
《PySpark大数据分析实战》-02.了解Hadoop
大家好!今天为大家分享的是《PySpark大数据分析实战》第1章第2节的内容:了解Hadoop。
44 0
《PySpark大数据分析实战》-02.了解Hadoop

相关实验场景

更多