《Hadoop与大数据挖掘》一2.7 本章小结

简介:

本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.7节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.7 本章小结

本章首先介绍了Hadoop的基本概念、原理以及Hadoop生态系统各个框架。接着,介绍了Hadoop的安装配置以及开发环境IDE配置。在此基础上介绍了Hadoop常用的集群命令、Hadoop MapReduce编程开发原理,针对MapReduce编程开发,详细介绍了Map-Reduce原理、单词计数源码分析,结合源码分析了MapReduce原理。在本章的最后两个小节,分别介绍了数据挖掘中的经典算法:K-Means算法、TF-IDF算法,并针对其Hadoop MapReduce实现进行了详细分析。同时,本章中包含大量动手实践章节,这些动手实践章节要求读者自行完成(部分有示例代码参考),通过这些动手实践环节,可以加深读者对Hadoop、Hadoop HDFS、Hadoop MapReduce的理解,同时对如何针对经典算法或者单机算法使用Hadoop MapReduce模式来实现肯定会有自己的心得体会。
相信通过本章的学习,读者不仅可以对Hadoop、Hadoop MapReduce的原理有更深入的了解,而且对开发Hadoop MapReduce程序也可以说初窥门径了。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
9月前
|
机器学习/深度学习 存储 分布式计算
Hadoop生态系统中的机器学习与数据挖掘技术:Apache Mahout和Apache Spark MLlib的应用
Hadoop生态系统中的机器学习与数据挖掘技术:Apache Mahout和Apache Spark MLlib的应用
|
机器学习/深度学习 数据采集 分布式计算
BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
BR-MLP是基于大数据BR-ODP的分布式数据挖掘平台,基于Hadoop和Spark技术,支持海量数据挖掘。提供数据源、数据预处理、特征工程、统计分析、机器学习……组件。
990 0
|
消息中间件 分布式计算 大数据
Hadoop大数据挖掘从入门到进阶实战
1.概述   大数据时代,数据的存储与挖掘至关重要。企业在追求高可用性、高扩展性及高容错性的大数据处理平台的同时还希望能够降低成本,而Hadoop为实现这些需求提供了解决方案。面对Hadoop的普及和学习热潮,笔者愿意分享自己多年的开发经验,带领读者比较轻松地掌握Hadoop数据挖掘的相关知识。
1953 0

相关实验场景

更多