1. 1.58元/小时起快速体验 Hadoop & Spark ，为你助力大数据计算
阿里云EMR是基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换，方便用户将数据在存储平台和计算平台之间进行输入输出，以满足不同业务类型的需要，所以对阿里云EMR充满期待。
泰为信息科技（上海）有限公司 基于E-MapReduce的考量与实践
2016-11-15
1162
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《
阿里云开发者社区用户服务协议》和
《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写
侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：
1. 1.58元/小时起快速体验 Hadoop & Spark ，为你助力大数据计算 阿里云EMR是基于 Hadoop 的生态环境来搭建，同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换，方便用户将数据在存储平台和计算平台之间进行输入输出，以满足不同业务类型的需要，所以对阿里云EMR充满期待。
目录
相关文章
|
1月前
|
SQL
分布式计算
关系型数据库
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
本文以云厂商售后技术支持的角度，从客户的需求出发，对于阿里云EMR-Trino集群的选型，外连多引擎的场景、Ldap以及Kerberos鉴权等问题进行了简要的实践和记录，模拟客户已有的业务场景，满足客户需求的同时对过程中的问题点进行解决、记录和分析，包括但不限于Mysql、ODPS、Hive connector的配置，Hive、Delta及Hudi等不同表格式读取的兼容，aws s3、阿里云 oss协议访问异常的解决等。
125
1
2
|
消息中间件
分布式计算
关系型数据库
|
存储
分布式计算
资源调度
|
SQL
数据采集
缓存
实践Hadoop MapReduce 任务的性能翻倍之路
eBay每天产生PB量级的CAL日志，其数据量每天都在增加。对于日益增长的数据量，Hadoop MapReduce job的优化将会大大节省计算资源。本文将分享eBay团队如何对这些Hadoop job进行优化，希望为开发者带来启发，解决Hadoop MapReduce（MR）job实践中存在的问题。
2838
0
0
|
分布式计算
DataWorks
Java
[MaxCompute MapReduce实践]通过简单瘦身，解决Dataworks 10M文件限制问题
用户在DataWorks上执行MapReduce作业的时候，文件大于10M的JAR和资源文件不能上传到Dataworks，导致无法使用调度去定期执行MapReduce作业。
解决方案：
jar
-resources test_mr.
3033
0
0
|
SQL
分布式计算
监控
hive在E-MapReduce集群的实践（一）hive异常排查入门
hive是hadoop集群最常用的数据分析工具，只要运行sql就可以分析海量数据。初学者在使用hive时，经常会遇到各种问题，不知道该怎么解决。
本文是hive实践系列的第一篇，以E-MapReduce集群环境为例，介绍常见的hive执行异常，定位和解决方法，以及hive日志查看方法。
6761
0
0
|
SQL
大数据
HIVE
hive在E-MapReduce集群的实践（二）集群hive参数优化
本文介绍一些常见的集群跑hive作业参数优化，可以根据业务需要来使用。
提高hdfs性能
修改hdfs-site，注意重启hdfs服务
dfs.client.read.shortcircuit=true //直读
dfs.
7511
0
0
|
Web App开发
SQL
大数据
阿里云AnalyticDB数据导出到E-MapReduce实践
阿里云的分析型数据库（AnalyticDB）和E-MapReduce（简称EMR）在大数据场景下非常有用，本文将介绍如何尝试打通两个产品，将通过EMR中自带的开源工具Sqoop来完成这个任务。
4345
0
0
|
安全
大数据
分布式数据库
E-MapReduce大数据安全实践
E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群，即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。
6374
0
0
|
分布式计算
资源调度
Hadoop
MAPREDUCE实践篇（1）
1197
0
0
热门文章
最新文章
1
【Hive】Hive的两张表关联，使用MapReduce怎么实现？
2
bigdata-08-MapReduce原理到实战
3
面经：MapReduce编程模型与优化策略详解
4
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
5
mapreduce 快速入门
6
MapReduce的类型与格式
7
MapReduce设置输出分隔符
8
MapReduce程序开发
9
初识阿里云E-MapReduce ClickHouse，到底有哪些优势？
10
MapReduce编程(三) 排序
1
【Hive】Hive的两张表关联，使用MapReduce怎么实现？
23
2
面经：MapReduce编程模型与优化策略详解
19
3
bigdata-08-MapReduce原理到实战
21
4
阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
125
5
mapreduce 快速入门
25
6
通过比喻理解-MapReduce的数据处理流程
29
7
如何在MapReduce中处理多个输入文件？
50
8
如何在MapReduce中处理非结构化数据？
27
9
MapReduce的优缺点是什么？
66
10
Hadoop的JobTracker和TaskTracker在MapReduce中的作用是什么？
52