备案控制台
探索云世界
开发者社区 大数据 文章 正文

hadoop各个组件功能

2017-11-27 1624
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

HDFS 分布式文件系统

YARN 资源管理系统

MapReduce 分布式计算框架

ZooKeeper分布式协调服务

Hbase分布式数据库

Flume 日志收集

Sqoop 数据同步工具

Oozie 作业流调度系统

Ambari 安装部署工具

Hive基于MR的数据仓库

Mahout 数据挖掘库

Pig数据分析系统


计算框架：

MapReduce 离线计算

Tez DAG计算

Spark 内存计算

storm 实时计算


数据分析系统

Hive基于MR的数据仓库

Pig数据分析系统


Hadoop作业流调度引擎

Oozie 

Azkaban 




本文转自 corasql 51CTO博客，原文链接：http://blog.51cto.com/corasql/1738114，如需转载请自行联系原作者
文章标签：
分布式计算
Hadoop
数据挖掘
流计算
SQL
资源调度
Spark
HIVE
调度
分布式数据库
关键词：
hadoop组件
技术小阿哥
目录
相关文章
osc_06552749
|
9月前
|
存储 分布式计算 资源调度
Hadoop 三大组件及作用【重要】
Hadoop 三大组件及作用【重要】
osc_06552749
242 0
热烈的马
|
4月前
|
存储 分布式计算 负载均衡
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
【大数据技术Hadoop+Spark】MapReduce概要、思想、编程模型组件、工作原理详解（超详细）
热烈的马
59 0
极客李华
|
3月前
|
SQL 存储 分布式计算
Hadoop生态各个组件的关系
Hadoop生态各个组件的关系
极客李华
20 0
极客李华
|
3月前
|
存储 分布式计算 监控
什么是Hadoop？请简要解释其架构和组件。
什么是Hadoop？请简要解释其架构和组件。
极客李华
34 0
阿甘兄
|
4月前
|
分布式计算 Hadoop Java
hadoop sdk 优化小结（裁剪、集成kerberos组件、定制等)
hadoop sdk 优化小结（裁剪、集成kerberos组件、定制等)
阿甘兄
41 0
阿甘兄
|
8月前
|
分布式计算 Kubernetes Hadoop
hadoop sdk 优化小结（裁剪、集成kerberos组件、定制等)
hadoop sdk优化、裁剪、集成kerberos组件、定制化等
阿甘兄
84 0
故事未完·
|
9月前
|
存储 SQL 分布式计算
Hadoop生态系统中的主要组件及其功能解析
Hadoop生态系统中的主要组件及其功能解析
故事未完·
317 0
uiu
|
消息中间件 SQL 分布式计算
Hadoop生态&组件部署大总结
Hadoop生态&组件部署大总结
uiu
162 1
GoAlaaa
|
SQL 分布式计算 Hadoop
Hadoop大数据生态组件环境安装
首先安装Centos系统修改网络配置 我的三台机器： master 192.168.179.10 slave1 192.168.179.11 slava2 192.168.179.12
GoAlaaa
76 0
天是蔚蓝色的
|
分布式计算 资源调度 安全
大数据组件-Hadoop伪分布式部署
大数据组件-Hadoop伪分布式部署
天是蔚蓝色的
159 0
大数据组件-Hadoop伪分布式部署

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
  • 3
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 4
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 5
    大数据处理架构Hadoop
  • 6
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 7
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 8
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
  • 9
    【Hadoop】HDFS 读写流程
  • 10
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 1
    Hadoop节点资源扩展环境部署
    14
  • 2
    Hadoop节点资源扩展硬件选择
    15
  • 3
    Hadoop的NameNode的监控与副本管理
    13
  • 4
    Hadoop集群节点添加
    15
  • 5
    hadoop的伪分布式搭建-带网盘
    17
  • 6
    Hadoop的运行模式
    8
  • 7
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
    34
  • 8
    Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
    38
  • 9
    Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    37
  • 10
    Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
    26

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 《构建Hadoop生态批流一体的实时数仓》
  • 零基础实现hadoop 迁移 MaxCompute 之 数据
  • CIO 指南:如何在SAP软件架构中使用Hadoop

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）