作者: 梅熙 6005人浏览 评论数：0 5年前

背景 使用过hadoop的人基本都会考虑集群里面资源的调度和优先级的问题，假设你现在所在的公司有一个大hadoop的集群，有很多不同的业务组同时使用。但是A项目组经常做一些定时的BI报表，B项目组则经常使用一些软件做一些临时需求。那么他们肯定会遇到同时提交任

阅读全文

作者: 鸿初 4044人浏览 评论数：0 5年前

自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络，确定hdfs参数和要迁移内容，测速，迁移。 网络 需要自建

阅读全文

作者: garygao305 831人浏览 评论数：0 3年前

EMR HDFS Architecture 本文以非HA集群，2个worker的集群为例。 非HA集群，仅有一个Namenode实例，部署在Master节点。 Namenode主要职责： -管理文件系统namespace，包括但不仅限于：开、关文件，文件改名

阅读全文

作者: huangchuang 378人浏览 评论数：0 2年前

对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高可靠的云存储服务，适合存放任意类型的文件；E-MapReduce(EMR)构建于云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，

阅读全文

作者: 鱼跟猫 2547人浏览 评论数：0 5年前

本文档将介绍如何将老集群的EMR-Core升级到最新版本 什么是EMR-Core EMR-Core是E-MapReduce集群上支持Hadoop生态组件读写OSS的依赖包。它提供一种高效地读写OSS数据的实现，并不断地在优化。所以，随着E-MapReduce

阅读全文

作者: 阿里云E-MapReduce团队 3370人浏览 评论数：0 3年前

作者：云魁、连辙 最佳实践概述 应用场景 客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据，或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践

阅读全文

作者: qiaozhou 3547人浏览 评论数：1 5年前

简介 本文将介绍如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输 基本架构 rds -> sls -> spark streaming -> spark hdfs 主要包含3个链路： 1. 怎么把rds的binlog收集到sls

阅读全文

作者: 琸然 3499人浏览 评论数：0 3年前

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展，企业中积累的数据越来越多，数据的背后隐藏着巨大的价值，在双十一这样的节日中，电子商务企业都会在大屏幕上实时显示订单总量，由于订单总量巨大，不可能

阅读全文

作者: 寒沙牧 683人浏览 评论数：0 4年前

HiveServer配置了HA特性，利用zookeeper做dynamic.service.discovery 访问方式如下: !connect jdbc:hive2://emr-header-1:2181,emr-header-2:2181,emr-

阅读全文