《Hadoop与大数据挖掘》一2.4.3 动手实践:编写Word Count程序并打包运行

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Hadoop与大数据挖掘》一2.4.3 动手实践:编写Word Count程序并打包运行

华章计算机 2017-06-26 10:05:00 浏览1016

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.4.3节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.4.3 动手实践:编写Word Count程序并打包运行

1)打开Eclipse,新建MapReduce工程,如图2-35、图2-36所示。
需要配置Hadoop的安装目录,因为这里的Eclipse安装在Windows系统上,所以这里的Hadoop安装目录就是指Hadoop安装包的解压目录。
建好的工程如图2-37所示(注意,这里还有相关jar包没有列出)。
2)参考上一节的代码编写单词计数程序。


image

3)使用Eclipse的Export中的JAR file工具打包成jar包,如图2-38、图2-39所示。

image


4)获取导出的jar包,通过Linux连接工具把该jar包上传到Hadoop客户端,并使用命令yarn jar的方式运行。


image


5)查看输出结果信息及相关监控信息,并能进行简要分析。
思考:
1)使用yarn jar的方式运行完程序后,终端输出的信息怎么解读?
2)查看相关监控,除了使用浏览器,还可以使用什么方式查询?