《Hadoop与大数据挖掘》——2.4 Hadoop编程开发

  1. 云栖社区>
  2. 华章计算机>
  3. 博客>
  4. 正文

《Hadoop与大数据挖掘》——2.4 Hadoop编程开发

华章计算机 2017-07-03 14:30:00 浏览1734
展开阅读全文

本节书摘来自华章计算机《Hadoop与大数据挖掘》一书中的第2章,第2.4节,作者 张良均 樊哲 位文超 刘名军 许国杰 周龙 焦正升,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.4 Hadoop编程开发

Hadoop框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。本节就MapReduce开发相关内容进行分析,包括HDFS Java API操作、MapReduce原理、MapReduce相关流程组件配置及编程等。最后将给出两个算法:Kmeans算法、Tf-idf算法的动手实践,加深对MapReduce编程的认识和理解。

2.4.1 HDFS Java API操作

Hadoop中关于文件操作类基本上是在org.apache.hadoop.fs包中,

网友评论

登录后评论
0/500
评论
华章计算机
+ 关注
所属云栖号: 华章计算机