1. 云栖社区>
  2. 全部标签>
  3. #EMR#
EMR

#EMR#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

开源大数据周刊-第56期

阿里云E-Mapreduce实践: 使用hadoop restful api实现对集群信息的统计 资讯 全球因Hadoop服务器配置不当导致的数据泄露或达5120TB 网络犯罪分子近期开始针对配置不当的 Hadoop Clusters 与 CouchDB 服务器展开攻击活动。

大数据 阿里云 服务器 云计算 hadoop 性能 HTTPS Apache http 互联网 阿里巴巴 配置 数据挖掘 开源大数据 EMR

使用hadoop restful api实现对集群信息的统计

本文根据hadoop/spark的RESTful API,实现了对集群基本信息的统计功能,包括HDFS文件系统、job情况、资源队列情况的统计。这些API只提供了基础的数据,具体的统计与分析,还需要基于这些基础数据做一些简单的开发。

hadoop Apache http 集群 API EMR type Mapreduce

利用TFRecord和HDFS准备TensorFlow训练数据

本文将介绍如何将数据转化为TFRecord格式,并且将生成TFRecord文件保存到HDFS中, 这里我们直接使用的是阿里云EMR(E-MapReduce)的HDFS服务。

深度学习 大数据 阿里云 阿里云容器服务 hdfs HTTPS http 配置 安全组 集群 容器 aliyun 解决方案 EMR TensoFlow

EMR集群上capacity scheduler的ACL实现

本文接着yarn capacity scheduler的实现原理,介绍了capacity scheduler的设置和其中需要注意的问题,并结合EMR集群做了实际操作实验。

大数据 hadoop 配置 cluster 集群 EMR

开源大数据周刊-第52期

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制 本文结合EMR集群,讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

云栖社区 编程语言 数据存储与数据库 深度学习 分布式 分布式系统与计算 实时系统 hbase hdfs hadoop spark e-mapreduce EMR Hive yarn

利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制

本文结合EMR集群,讲述了如何利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源quota限制与管控。

大数据 hadoop HTTPS 配置 集群 EMR Mapreduce

E-MapReduce集群中HDFS服务集成Kerberos

本文介绍在E-MapReduce集群中HDFS服务集成Kerberos。

hdfs hadoop 配置 集群 e-mapreduce Server xml EMR Security kerberos

E-MapReduce集群启停HDFS/YARN服务

该文章意在帮助大家,在E-MapReduce环境中停止启动yarn,hdfs服务。

云栖社区 大数据 分布式系统与计算 hdfs hadoop shell cluster 集群 e-mapreduce 脚本 EMR Hive awk Bash

开源深度学习库BigDL在阿里云E-MapReduce上的实践

近些年来机器学习中的子领域深度学习成为一个热门的话题。本文要介绍Intel开源的深度学习框架BigDL,它也是在Spark上的一个算法库,提供了全面的深度学习算法支持,包括数值计算(Tensor)和高阶神经网络等。

深度学习 算法 阿里云 hadoop HTTPS http 集群 测试 spark MLlib e-mapreduce EMR github

开源大数据周刊-第45期

阿里云E-MapReduce实践 云HBase助力物联网建设 物联网最大的特点写入量大,要求延迟低,且数据存量巨大。云HBase非常满足物联网存储需求,存储数P甚至百P的空间存储需求,延迟稳定在数毫秒之内,跟Hadoop分析体系有较为深入的结合,满足分析类的需求。

深度学习 分布式 大数据 阿里云 云计算 hdfs hadoop HTTPS Apache http spark 开源大数据 EMR deeplearning tensroflow

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

梨视频由前澎湃新闻掌门人邱兵创立。 在上线之前,它就获得了黎瑞刚华人文化近1亿美元投资,旗下《微辣》栏目总播放量已经超过4亿,并在上线1个月后获得“年度视频新媒体”大奖。 这样一款脱胎于传统媒体的创业型短视频软件,在视频领域异军突起,不仅让内人士在感叹梨视频内容生产力之强大的同时,也诧异于是谁在

大数据 阿里云 日志 模块 数据处理 数据流 集群 排序 数据分析 spark e-mapreduce EMR 云平台 推荐系统 梨视频

梨视频:基于阿里云E-MapReduce搭建视频推荐系统的实践

深度解答:梨视频如何基于阿里云快速搭建一个套推荐系统?

阿里云 日志 模块 数据处理 数据流 集群 排序 spark e-mapreduce EMR 云平台 数据中心 存储 推荐系统

HIVE MapJoin异常问题处理总结

HIVE被很广泛的使用,使用过程中也会遇到各种千奇百怪的问题。这里就遇到的MapJoin Local 内存不足的问题进行讨论,从问题描述、mapjion原理以及产生该问题的原因,解决方案做一下介绍,最后对该问题进行了进一步的思考,希望对解决该类问题的朋友有所帮助。

大数据 分布式系统与计算 hadoop 系统环境 解决方案 string EMR Hive join MapJoin

记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

记录ALiYun EMR常用服务的手动启动和停止命令(hdfs/yarn/mr-jobhistory/zk/spark-history)

云栖社区 大数据 hdfs hadoop 配置 集群 SSH spark aliyun EMR Mapreduce

Upgrade json-serde-xxx jar in Apache Hive-1.2.1

使用json-serde-1.1.9.9-SNAPSHOT-jar-with-dependencies.jar,抛错如下:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot valida

云栖社区 大数据 hadoop Json Apache path code 脚本 git EMR Hive

日志服务(原SLS)新功能发布(4)-- 使用OSS进行日志存储与分析

对于大部分开发者而言,经常会面临这样一种场景:“我知道日志数据很宝贵,但今天没有明确需要,能否有一种成本很低的方案先把日志备份起来,不占用空间。有一天有明确需求时,能够快速、方便分析日志”。 日志服务推出 LogShipper功能就是为了该问题诞生的,LogShipper可以便捷地将日志数据投

OSS 日志服务 SLS 离线计算 EMR

8
GO