高可用Hadoop平台-答疑篇

  1. 云栖社区>
  2. 博客>
  3. 正文

高可用Hadoop平台-答疑篇

smartloli 2016-04-25 14:28:56 浏览834
展开阅读全文

1.概述

  这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑。最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点:

  1. 我学 Hadoop 后能从事什么岗位?
  2. 在遇到问题,我该如何去寻求解决方案?

  针对以上问题,我在这里赘述下个人的经验,给即将步入 Hadoop 行业的同学做个参考。

2.我学 Hadoop 后能从事什么岗位

  目前 Hadoop 相关的工作大致分为三类:应用,运维,二次开发

2.1 应用

  这方面的主要工作是编写MapReduce作业,利用Hive之类的套件来进行数据分析或数据挖掘,Hadoop在这里只是一个基础平台,仍然 是需要自己编写相应的逻辑去实现对应的业务。从事这方面的工作,你至少要懂一门编程语言,如Java,Shell,Python等。由于Hadoop的源 码是用Java语言编写的,目前业界Java方面的Hadoop社区活跃度相对较高,Shell和Python对应的活跃度较少。目前培训机构都是在这方 面进行培养的比较多,你只需要对Hadoop的框架构造,基本的组织结构有所了解,理解MapReduce的编程框架和模式,懂得代码调优,能够使用 Hadoop的相关套件,如:Hive,Sqoop,Flume等。

 

2.2运维

  这方面主要负责Hadoop集群的搭建,系统的各种参数的调优,集群故障处理和保持集群运行稳定,这部分人才目前市场上是较为奇缺的,也是很多 在Hadoop平台相对成熟的企业所青睐的人才,对于从事这部分工作的人同学来说,他可以不懂Java语言,但是在工作上必须处事冷静,做事严谨认真。如 果由较强的钻研精神,可以通过自己的在实际工作中摸索一些调优的解决方案。同样,也可以参加一些峰会,沙龙之类的互动活动与业界的一些牛人交流工作心得, 从而来获取一些有价值的方案。另外一个能体现Hadoop运维价值的因素,遇到问题能够快速定位并找到解决方案,不过这部分的工作经验都是靠平时工作日积 月累出来的,当然和你运维的集群规模大小也有一定关系,若你由机会进入到拥有大集群的公司进行这方面的工作,你的成长会很快,不单单是运维Hadoop。 Hadoop运维这类工作是没法弄虚作假的,你想随便谷歌点资料去忽悠,很容易被识破。

2.3二次开发

  从事这方面工作的要求较高,而且也不是所有的企业都设有这样的工作岗位,这部分的工作有:按照企业实际需求,对Hadoop的框架本身进行修改 以适用于企业本身业务;研究版本的新特性;规划版本升级等等。这方面就需要你对Hadoop的源码进行深入了解学习和研究,时刻关注Hadoop官网及 Hadoop社区,了解最新版本的特性,把握Hadoop未来的发展前景及房子方向。

  但是并不是所有的企业将这些岗位划分的这么明细的,有些企业根本不涉及二次开发,一个Hadoop工程师同时负责开发和运维,所以,我们不仅要 在Hadoop应用这块烂熟于心,而且,基本的Hadoop运维我们也必须要掌握,至少集群的搭建,基本的集群维护这些我们要会去做。

3.在遇到问题,我该如何去寻求解决方案

  这个问题是很多初入Hadoop的同学会遇到的,在开发时遇到异常,或集群在运行时抛出一些异常,不知所措,下面我给出自己在实际工作中的一些心得体会。

  一般抛出异常,log 文件都会有记录,这些问题很大一部分可能是你首次遇到,遇到问题我得先备份这些信息(log文件,异常操作记录)。然后,我们在仔细分析日志信息,若实在是没有解决思路,则可参考以下方案:

  • Google 关键字

  这里给大家举个例子,异常信息如下所示:

java.io.ioexception could not obtain block blk_

  这个异常信息我只截取了部分,我们首先到Google去搜索对应得关键字,如下图所示:

  然后,Google会列出匹配到得或是相似得问题得结果,我们可以从中筛选出我们想要得结果。

  • Hadoop Jira

  若是在Google后找不到想要得结果,可在Apache的官方Jira上查找关键字,这里有来自世界各地从事这方面的人,他们会把出现的这些现象做详细的描述,有的甚至会给出解决方案,和附上相应的patch。

  

  部分 Comments 截图如下所示:

  通过阅读评论,我们知道出现这种情况大多数是节点断开了,连接不上,原因找到后,我们就好去解决了。

  • 源码

  若以上两中方式都未能解决,查看源码,理解工作原理,初步猜测原因,调试验证。其实解决只是时间问题。如果你想深入了解,阅读官方的Jira,找到你感兴趣的问题去研究。绝对会有不一样的体验。

4.结束语

  这篇答疑博客就和大家分享到这里,如果大家在研究的过程当中,有什么疑问可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!

网友评论

登录后评论
0/500
评论
smartloli
+ 关注