学hadoop需要什么基础

简介:

学hadoop需要什么基础
最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题。
我们目前在用的hadoop版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫DKhadoop。大快搜索推出的一款原生态开发的Hadoop集成生态环境。从使用的效果上看DKhadoop与开源环境是可以做到完全兼容的。准备过段时间抽个空,试着写一下以DKhadoop为切入点关于学习hadoop需要掌握什么基础。image

【DKhadoop基础技术架构图】
关于学hadoop需要什么基础这样的问题,看到一篇关于介绍学习原生hadoop的分享,个人觉得还是很不错的一篇文章。这里也分享给大家,供参考之用。
关于学习hadoop需要具备什么基础知识,首先应该从整体了解hadoop,包括hadoop是什么,能够帮助我们解决什么问题,以及hadoop的使用场景等。在有了整体上的了解后,就可以开始系统的学习hadoop。当然,若是能够结合一些实践性的东西学习会更有助于理解hadoop。
学习hadoop需要什么基础:
Linux:
① 需要能够熟练操作linux常用命令以及网络配置;
② 熟悉用户以及权限管理操作;
③ 需要熟悉软件包以及系统命令管理;
④ 还需要学习一下shell编程。
Java:
⑤ 需要具备一定的javase基础知识;
⑥ 如果懂java web及各种框架知识那就更好了。
虚拟机:
⑦ 需要掌握虚拟机;
⑧ 需要安装linux操作系统
⑨ 需要配置虚拟机网络
除了上述这几个方面,我们还需要了解hadoop的单机模式、伪分布模式和分布式模式的搭建方式。了解MapReduce分布式计算框架、Yarn集群资源管理和调度平台、hdfs分布式文件系统、hive数据仓库、HBase实时分布式数据库、Flume日志收集工具、sqoop数据库ETL工具、zookeeper分布式协作服务、Mahout数据挖掘库等。

相关文章
|
14天前
|
存储 分布式计算 Hadoop
【Hadoop】Hadoop 概述
【4月更文挑战第8天】【Hadoop】Hadoop 概述
|
存储 分布式计算 资源调度
Hadoop1.x 和 Hadoop2.x 的区别|学习笔记
快速学习 Hadoop1.x 和 Hadoop2.x 的区别
265 0
Hadoop1.x 和 Hadoop2.x 的区别|学习笔记
|
存储 分布式计算 资源调度
从 hadoop 1.0 到 hadoop 2.0 的演化
Hadoop 1.0 到 Hadoop 2.0 的演化是怎样的呢,从中我们又能学到什么。。。
1304 0
|
SQL 存储 分布式计算
|
分布式计算 Java Hadoop
学hadoop需要什么基础
最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题。这中间到底经历过什么只怕也就是只有经过的人才会体会到吧。前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题。
1662 0
|
分布式计算 Java Hadoop
学习hadoop需要什么基础
“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础。再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难!
1937 0
|
存储 资源调度 分布式计算
|
存储 分布式计算 Hadoop
《Hadoop实战第2版》——1.1节什么是Hadoop
本节书摘来自华章社区《Hadoop实战第2版》一书中的第1章,第1.1节什么是Hadoop,作者:陆嘉恒,更多章节内容可以访问云栖社区“华章社区”公众号查看
1928 0
|
存储 分布式计算 监控
《Hadoop实战第2版》——1.3节Hadoop体系结构
本节书摘来自华章社区《Hadoop实战第2版》一书中的第1章,第1.3节Hadoop体系结构,作者:陆嘉恒,更多章节内容可以访问云栖社区“华章社区”公众号查看
1582 0

热门文章

最新文章

相关实验场景

更多