1. 聚能聊>
  2. 话题详情

想入行大数据,如何才能学好Hadoop?

随着大数据在国内的火热,越来越多的开发人员准备入行。但作为外行人员,对大数据的了解并不清晰,不确定自己目前从事的行业、掌握的技能是否能够达到学习大数据的要求。
Hadoop作为大数据行业使用的主要框架,想进入大数据行业学习Hadoop开发是必须的。

image

让Hadoop跑起来大概流程
Hadoop框架自身是由Java语言编写,天生支持使用Java语言编写作业。在实际生产环境中也多使用其他语言如Python,此时需呀借助Hadoop自带的一些工具。
Hadoop运行在Linux环境中,想在本地安装Hadoop需要先安装Linux系统。为了节省学习成本我们使用虚拟机在本地电脑模拟多台硬件搭建集群。

image

应该选择哪种语言进行作业?
Java
Hadoop本身由Java编写,对Java语言支持很好,但使用Java代码写起来非常繁琐冗长。
Python
在大数据的实际生产中,使用Python进行作业开发也非常普遍。Python语法结构清晰、开发迅速、维护成本低是它的优势。
假如使用Python进行作业开发,可借助Hadoop Streaming或者Pydoop。

image

具体需要掌握哪些基础技能?
Linux
1、熟练使用linux常用命令及网络配置;
2、熟悉用户以及权限管理操作;
3、熟悉软件包以及系统命令管理;
4、掌握shell编程。
虚拟机
1、虚拟机的安装;
2、linux系统的安装;
3、虚拟机网络的配置。
1、掌握javaSE的基础技能;
2、不需要掌握java Web及各种框架知识。
掌握Python的基础语句、语法、函数等。
对于java和python的选择上,大家根据自身情况或者目标企业使用的语言来选择。

image

学习Hadoop首先要了解一下这3种搭建方式:单机模式、分布式模式和伪分布式模式,其中伪分布和完全分布要能够熟练掌握。
之后再学习Hadoop生态圈中各个组件的知识,包括MapReduce、Yarn、hdfs、hive、HBase、Flume、sqoop、zookeepe、Mahout等。
当你能完全掌握上述知识技能的时候,也就学会了Hadoop开发。

你是如何学习hadoop的?
在大数据的道路上你是如何规划的呢?
大数据的未来发展您如何看待?
您最看好的未来热门的技术是什么?为什么?
程序员如何选择要学习的技术才能不落伍?

参与话题

奖品区域 活动规则 9天后 结束

  • 奖品一

    阿里云代金券 x 4

  • 奖品二

    云栖定制电脑包 x 3

  • 奖品三

    积极向上淘公仔 x 1

58个回答

3

北方的郎 已获得阿里云代金券

你是如何学习hadoop的?
一开始时自己感兴趣看了一些文章,也在本机用虚机搭了个环境自己自娱自乐。
后来参加一个大数据项目的前期工作,当时几乎所有知名的大数据企业都来了,交流了好多天,我当时借着这个机会把自己平时的各种问题和这些专家都变着法的聊了好几个遍。经过这一轮,感觉豁然开朗了。后来又参与了部分实施,有了实践经验,又把相关论文都重看了一遍,感觉自己算是入了门。
后来又搞云,看了很多阿里云的资料,参加阿里云的培训,通过学习飞天里面的各部分技术,比如盘古,伏羲,女娲等,感觉对于大数据技术又是一次互相印证。
在大数据的道路上你是如何规划的呢?
理论看了不少,未来想多做一些实践应用。
大数据的未来发展您如何看待?
大数据会与云计算深度结合,就像现在阿里云的数加平台。大数据会与人工智能深度结合,强化各种应用能力。
应用方面,以下几条是从别的地方摘来的,感觉说的挺有道理的:
趋势一:数据资源化,将成为最有价值的资产
趋势二:大数据在更多的传统行业的企业管理落地
趋势三:大数据和传统商业智能融合,行业定制化解决方案将涌现
趋势四:数据将越来越开放,数据共享联盟将出现
趋势五:大数据安全越来越受重视,大数据安全市场将愈发重要
趋势六:大数据促进智慧城市发展,为智慧城市的引擎
趋势七:大数据将催生一批新的工作岗位和相应的专业
趋势八:大数据在多方位改善我们的生活
您最看好的未来热门的技术是什么?为什么?
大数据,云计算,容器,人工智能(尤其是机器学习)。大数据,云计算,容器将硬件整合起来形成更廉价,更强大,更方便的平台。人工智能则让人们将这个平台的能力充分的发挥出来,应用出去。
程序员如何选择要学习的技术才能不落伍?
只要你有一颗对新技术的好奇心,就不会落伍。我现在除非是工作中要用到的技术,其他技术的学习都是随心而去,有新东西出来就先玩玩看,只要我喜欢就去学、就去玩,能达到什么效果不说,先图一个乐呵。幸运的是我现在感兴趣的大数据,云计算,容器,机器学习什么的好像还都是热门的东西,应该能让我不落伍。

1

海洋的云 已获得阿里云代金券

你是如何学习hadoop的?
研究生时先是跟着董西成写的Hadoop教程进行学习,同时报了小象学院的一些课程。后面就是拉着师兄师弟,跟他们一起动手实践搭集群。现在是不断的从业务角度出发,去更深入的思考一些技术问题,会坚持浏览一些技术博客来完善不足提升技能。
在大数据的道路上你是如何规划的呢?
先做好数据分析,从最基本的机器学习算法到深度学习,都有所学习了解后,亲自结合业务场景实践。然后进入平台层,对平台的部署优化进行相关学习。
大数据的未来发展您如何看待?
数据是王道,算法、模型、技术的提升都会更好地为数据而服务。
所以,不管是互联网行业,还是传统行业,不管是大到企业社会还是小到家庭个人,都应该尝试着去接受大数据给生活带来的技术变革,都应该尝试着去应迎接大数据。
您最看好的未来热门的技术是什么?为什么?
深度学习。一来是未来的业务场景,更多需要深度学习来解决。二来是深度学习的发展潜能还很大。
程序员如何选择要学习的技术才能不落伍?
首先自身要有学习的意识,不断的利用业余时间,多接触最新的科技,多读一些技术博客,多自己动手实践,多读paper研究技术原理。再就是坚持和沉淀,每一门技术的发展不是一瞬间的事情,都是需要时间来检验的,所以需要不断的坚持学习,沉淀自己的技术技能。

想要小鸡淘公仔,/(ㄒoㄒ)/~~

0

达摩250 已获得积极向上淘公仔

 怎么才能学好Hadoop,进入大数据的世界,这里给几点建议:

1.首先,不管你之前有没有接触过hadoop,或者你在某个方向特别牛逼,你都要有空杯心态,这才是学习的根据。

  1. 你要有编程基础,比如Java,C,python,linux,不一定要在某个方向多么牛逼,有这些基础学起来就会很快上手。

  2. 详细研究,现在大型网站包括Sina,腾讯网(门户),Weibo(微博),天猫,京东(电商)的架构与实现,先从自己的角度去理解,然后去跟实际情况做比对,提升自己对数据和技术的敏感程度。

4.熟悉,理解,并运用Hadoop对于你以后在大型计算机公司任职非常重要(阿里,腾讯,百度内部的系统或多或少都是借鉴于Hadoop的)。

  1. 科班的同学,在学校的以基础为根基,在公司的以业务为导向,这样的技术才不盲目,这样的技术才脚踏实地。

6.不过,Hadoop说到底只是一项分布式系统的工具,学习的本质是:理解分布式系统设计中的原则以及方法,例如负载均衡,故障恢复,并发程序设计,并发数据结构,等等。理解这些设计原理,并走入底层读懂每一行Hadoop的源码更加的重要

      对很多人来说,技术都不是一生的职业导向,那么,提升自己的眼界,站在更高的角度思考问题就显得尤为重要,从自己,到团队,公司,再到整个业界,眼界宽广了,技术也就是你的左膀右臂。

hadoop只是云计算的一隅,任何东西学的深入了都会发生质变。

1

1992203643393714

好东西

1

浮生递归

公仔公仔~~

你是如何学习hadoop的?
还是习惯翻书、看视频教程、然后跟着操作、实践。做项目。遇到问题百度解决方案,哈哈。

在大数据的道路上你是如何规划的呢?
先学数据分析吧,真正了解什么叫数据,才能学好大数据。

大数据的未来发展您如何看待?
大数据应该是未来万物(指机器)的基础,只有基于大数据的机器,才是活的机器。不然只是死的机器,就跟榔头、螺丝刀什么的没什么区别。

您最看好的未来热门的技术是什么?为什么?
机器学习。不过不是指现在的机器学习。现在的还太初级,离人类的期望还很遥远,就像个婴儿。当机器也能像人类一样学习的时候,每个人就会有自己的助学,可以协助自己做很多事情,再一次解放了生产力。人类就可以专心只做创造性的事情了。

程序员如何选择要学习的技术才能不落伍?
这个有点难,如果追求太新的东西,你无法确定将来如何发展。万一你刚学好,他就被淘汰了呢?就像小程序,虽然很简单,但是学下总要花些时间成本。现在小程序的状态时好时坏,将来怎么样也很难看清,万一挂了呢?哈哈

1

1295685971521317

慢慢学

1

幸福的天空

慢慢的就学会了!

1

vrve

阿里云能提供培训教程吗

1

1118202728665153

这个学习大纲可以

1

psunny

先搞懂阿里体系再学开源的

0

1449604252076045

学习前先了解大数据有哪些功能?
有需求,有实践,有动力,不盲目学习。

0

丰盛的云

新人报道,谢谢😜

0

1686404160709245

慢慢学习新知识

0

1335304028275622

最看好的是网络,因为现在是互联网时代,分享经济时代

0

wynnjawoo

在阿里云和腾讯云下成长,用好这两个平台

0

1676672400938214

慢慢学

0

1702203462944049

没有网络安全,就没有我们的安全

0

1053003446246120

慢慢学

0

1258103415310266

好好学

0

飞龙的微笑

大数据的应用最终会回归行业特性,目前的大数据算法和模式都仍然处于初级阶段,希望能有更多机会与大家探讨

3
10280
浏览
0
收藏
邀请他人互动
关注
17
粉丝
80
话题
20

简介:

千年老司机--自虐之旅

专利:

2017年 2月 1

著作:

2003年 2月 1
业内领先的面向企业的一站式研发提效平台,通过项目流程管理和专项自动化提效工具,能够很好地支持互联网敏捷项目的快速...

在云上签发Symantec、WoSign、CFCA证书,实现网站HTTPS化,使网站可信,防劫持、防篡改、防监听...

构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户...

为您提供简单高效、处理能力可弹性伸缩的计算服务,帮助您快速构建更稳定、安全的应用,提升运维效率,降低 IT 成本...