1. 云栖社区>
  2. 全部标签>
  3. #e-mapreduce#
e-mapreduce

#e-mapreduce#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

阿里云E-MapReduce产品简介

产品概述: 阿里云 Elastic MapReduce(E-MapReduce) 是运行在阿里云平台上的一种大数据处理的系统解决方案。E-MapReduce 构建于阿里云云服务器 ECS 上,基于开源的 Apache Hadoop 和 Apache Spark,让用户可以方便地使用Hadoop和Spark生态系统中的其他周边系统(如 Apache Hive、Apache Pig、HBase 等)来分析和处理自己的数据。

阿里云 hadoop HTTPS ECS Apache 数据处理 集群 主机 spark e-mapreduce ScreenShot

使用CopyTable同步HBase数据

CopyTable是Hbase提供的一个数据同步工具,可以用于同步表的部分或全部数据。本文介绍如何使用CopyTable同步HBase数据。针对没有hadoop集群的用户,还介绍了单机运行CopyTable的配置和参数。

hbase hadoop 性能 Apache 配置 集群 同步 e-mapreduce xml 数据同步 html zookeeper Mapreduce

一个助Hadoop集群数据快速上云工具

当前业界有很多公司是以Hadoop技术构建数据中心,所以本文将探讨如何快速的将Hadoop文件系统(HDFS)上的数据迁移到云上。

OSS hdfs hadoop 集群 数据迁移 e-mapreduce

8月2日云栖精选夜读:微服务架构的分布式事务解决方案

分布式事务是一个绕不过去的挑战!微服务架构本质上就是分布式服务化架构,微服务架构的流行,让分布式事务问题日益突出!尤其是在订单业务、资金业务等系统核心业务流程中,一定要有可靠的分布式事务解决方案来保证业务数据的可靠性和准确性。

分布式 安全 架构 阿里云 阿里巴巴 配置 集群 微服务 容器 弹性伸缩 解决方案 e-mapreduce 物联网

E-MapReduce HDFS文件快速CRC校验工具介绍

在大数据应用场景下经常有数据文件的迁移工作,如果保障迁移之后数据的完整性是一个很常见的问题。本文就给大家介绍一下在大数据场景下,如何用工具快速对比文件。

大数据 阿里云 OSS hdfs hadoop 云存储 HASH e-mapreduce 分布式文件系统 file list input

在E-MapReduce集群内运行Spark GraphX作业

Spark GraphX是一个比较流行的图计算框架,如果你使用了阿里云的E-MapReduce服务,可以很方便的运行图计算的作业。 下面以PageRank为例,看看如何运行GraphX作业

阿里云 hadoop 集群 spark scala e-mapreduce

开源大数据周刊-第58期

阿里云E-Mapreduce动态: EMR即将在新的版本中支持本地盘机型,大幅降低集群的存储成本。 资讯 借助亚马逊AWS Sno大数据如何改变垂直电商? 垂直电商仍旧将是平台电商们在未来极其有力的竞争者和合作者。

分布式 大数据 架构 阿里云 HTTPS http 电商 spark 开源大数据 e-mapreduce 编程 数据存储

TCP的backlog导致的HBase超时问题排查

TCP的backlog导致的超时问题排查

linux 服务器 hbase HTTPS TCP e-mapreduce Server slb backlog

存储与计算分离:OSS构建表 + 计算引擎对接

看到标题,可能有用户要问:OSS不是用来存图片、视频、及文件的吗,还可以在上面建表、数仓?计算效率和经济性表现怎么样? 本文先给出基本结论: OSS是什么? 对象存储(Object Storage Service,简称OSS)是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务,是一种面向互联网的大规模、通用存储,提供RESTful API,具备容量和处理的弹性扩展能力。

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

开源大数据周刊-第57期

ECM功能上线北京region,用户可以通过EMR-3.2.0版本创建新集群体验,ECM提供组件的配置修改/起停等操作

深度学习 大数据 阿里云 机器学习 云计算 hbase hadoop 性能 HTTPS Apache http spark 开源大数据 e-mapreduce

搭建Gateway向E-MapReduce集群提交作业

搭建Gateway向E-MapReduce集群提交作业

java jvm hadoop openjdk 安全组 集群 spark e-mapreduce EMR Hive input Gateway

E-MapReduce启动/停止HBase集群

E-MapReduce的HBase集群启动/停止方式

hbase hdfs LOG cluster 集群 e-mapreduce 脚本 Bash

开源大数据周刊-第52期

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制 本文结合EMR集群,讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

云栖社区 编程语言 数据存储与数据库 深度学习 分布式 分布式系统与计算 实时系统 hbase hdfs hadoop spark e-mapreduce EMR Hive yarn

5月9日云栖精选夜读:不断变化下的阿里云:2017阿里云产品和解决方案全向图(5月版)

近四个月,阿里云变化飞快,那反映在产品上是什么样的?5月份,云栖社区又拿出一张阿里云产品全向图,供大家端倪变化。

云栖社区 大数据 java 阿里云 云服务器 人工智能 安全组 集群 解决方案 e-mapreduce

E-MapReduce集群中HDFS服务集成Kerberos

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。

hdfs hadoop 配置 集群 e-mapreduce Server xml EMR Security kerberos

E-MapReduce集群启停HDFS/YARN服务

该文章意在帮助大家,在E-MapReduce环境中停止启动yarn,hdfs服务。

云栖社区 大数据 分布式系统与计算 hdfs hadoop shell cluster 集群 e-mapreduce 脚本 EMR Hive awk Bash

上一页 1 ... 4 5 6 7 8 ... 9 下一页
9
GO