10分钟大数据Hadoop基础入门

  1. 云栖社区>
  2. 中生代技术>
  3. 博客>
  4. 正文

10分钟大数据Hadoop基础入门

技术小能手 2018-07-13 10:16:30 浏览1771
展开阅读全文

前言

目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

基础概念

大数据的本质

一、数据的存储:分布式文件系统(分布式存储)
二、数据的计算:分部署计算

基础知识

学习大数据需要具备Java知识基础及Linux知识基础

学习路线

(1)Java基础和Linux基础
(2)Hadoop的学习:体系结构、原理、编程
第一阶段:HDFS、MapReduce、HBase(NoSQL数据库)
第二阶段:数据分析引擎 -> Hive、Pig

数据采集引擎 -> Sqoop、Flume
第三阶段:HUE:Web管理工具

ZooKeeper:实现Hadoop的HA
Oozie:工作流引擎
(3)Spark的学习

第一阶段:Scala编程语言
第二阶段:Spark Core

网友评论

登录后评论
0/500
评论
技术小能手
+ 关注
所属云栖号: 中生代技术