hadoop各个组件功能

  1. 云栖社区>
  2. 博客>
  3. 正文

hadoop各个组件功能

技术小阿哥 2017-11-27 15:29:00 浏览721
展开阅读全文

HDFS 分布式文件系统

YARN 资源管理系统

MapReduce 分布式计算框架

ZooKeeper分布式协调服务

Hbase分布式数据库

Flume 日志收集

Sqoop 数据同步工具

Oozie 作业流调度系统

Ambari 安装部署工具

Hive基于MR的数据仓库

Mahout 数据挖掘库

Pig数据分析系统


计算框架:

MapReduce 离线计算

Tez DAG计算

Spark 内存计算

storm 实时计算


数据分析系统

Hive基于MR的数据仓库

Pig数据分析系统


Hadoop作业流调度引擎

Oozie 

Azkaban 




本文转自 corasql 51CTO博客,原文链接:http://blog.51cto.com/corasql/1738114,如需转载请自行联系原作者

网友评论

登录后评论
0/500
评论
技术小阿哥
+ 关注