1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. M>
  5. mapreduce与hadoop

当前主题:mapreduce与hadoop

mapreduce与hadoop相关的博客

查看更多 写博客

《MapReduce 2.0源码分析与编程实战》一1.4 MapReduce与Hadoop

本节书摘来异步社区《MapReduce 2.0源码分析与编程实战》一书中的第1章,第1.4节,作者: 王晓华 责编: 陈冀康,更多章节内容可以访问云栖社区“异步社区”公众号查看。 1.4 MapReduce与Hadoop 如果将Hadoop比作一头大象的话,

阅读全文

E-MapReduce(Hadoop)10大类问题之集群规划

集群规划类问题 所有的使用Hadoop或者打算使用Hadoop的人肯定会遇到集群规划的问题,我到底使用多大的集群规模呢?有没有一个标准呢? 本篇文章就为你介绍集群规划。 在云环境E-MapReduce中,各种搭配是比较自由的。当前,cpu跟memory的比例

阅读全文

windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu

一、环境介绍 宿主机:windows8 虚拟机:Ubuntu14.04 hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731 Eclipse:eclipse-jee-

阅读全文

《R与Hadoop大数据分析实战》一第2章 编写Hadoop MapReduce程序

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 第2章 编写Hadoop MapReduce程序 在第1章中,我们学习了如何搭建R和

阅读全文

MapReduce&&Hadoop

高能性能计算(High Performance Computing, HPC)和网格计算(Grid Computing)组织多年以来一直在研究大规模数据处理,主要使用类似于消息传递接口(Message Passing Interface, MPI)的API。

阅读全文

直面Hadoop MapReduce问题与复杂性

文章讲的是直面Hadoop MapReduce问题与复杂性,作为最具代表性的大数据技术之一,Hadoop对那些准备探索业务影响力数据的IT部门非常有吸引力。Hadoop的分布式处理方法更适合处理海量非结构化数据,但是Hadoop及其相关的MapReduce编程

阅读全文

《R与Hadoop大数据分析实战》一2.5 在R环境中编写Hadoop MapReduce程序的方式

本节书摘来自华章出版社《R与Hadoop大数据分析实战》一书中的第2章,第2.5节,作者 (印)Vignesh Prajapati,更多章节内容可以访问云栖社区“华章计算机”公众号查看 2.5 在R环境中编写Hadoop MapReduce程序的方式 我们知

阅读全文

Spark与Hadoop MapReduce大比拼,谁实力更强

一提到大数据处理,相信很多人第一时间想到的是 Hadoop MapReduce。没错,Hadoop MapReduce 为大数据处理技术奠定了基础。近年来,随着 Spark 的发展,越来越多的声音提到了 Spark。而Spark相比Hadoop MapRed

阅读全文

mapreduce与hadoop相关问答

查看更多 提问题

大数据平台与Hadoop、HDFS、Mapreduce、YARN之间有何关系呢?

大数据平台与Hadoop之间的关系

阅读全文

hadoop mapreduce与spark,我该如何选择呢?

目前我在使用hadoop emapreduce这个产品,我该怎么选择到底是用mapreduce还是用spark呢?

阅读全文

E-MapReduce与ODPS的区别

E-MapReduce与ODPS有啥区别呢?

阅读全文

hadoop mapreduce遍历的目录含有子目录报错

使用的是e-mapreduce服务,使用的oss当中的文件作为数据源,但是e-mapreduce似乎没有办法读取文件底下的子目录当中的内容,总是会报错,所以想请问一下有什么办法能够让mapreduce能够读取oss当中的数据目录底下的子目录? 16/04/1

阅读全文

hadoop mapreduce运行job task报OutOfMemoryError错误

hadoop mapreduce运行job task报OutOfMemoryError错误 ``` java.lang.OutOfMemoryError: GC overhead limit exceeded at java.lang...

阅读全文

E-mapreduce服务是否支持用Python语言开发的程序

1 针对Hadoop的Mapreduce程序,采用Hadoop Streaming方式(或者mrjob等基于Hadoop Streaming的第三方库),是否支持,如何创建作业,直接提交hadoop-streaming-2.6.0.jar和.py文件还是其他方

阅读全文

E-mapreduce是否提供实时计算的功能

E-mapreduce是否提供实时计算的功能,比如spark streaming等

阅读全文

hadoop mr EOFException的常见原因

java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:180) at java.io.DataInputStream.readFully(DataI

阅读全文