1. 云栖社区>
  2. 全部标签>
  3. #e-mapreduce#
e-mapreduce

#e-mapreduce#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

ES-hadoop写数据到阿里云Elasticsearch

ES-Hadoop是一个用于Elasticsearch和Hadoop进行交互的开源独立库,在Hadoop和Elasticsearch之间起到桥梁的作用,本文基于阿里云E-MapReduce和阿里云Elasticsearch,演示如何通过ES-Hadoop连通Hadoop生态系统和Elasticsearch。

大数据 hadoop e-mapreduce Elasticsearch ES-Hadoop

阿里云 EMR最佳实践和容灾

阿里云EMR(Elastic MapReduce)最佳实践和容灾设计

大数据 最佳实践 hdfs 云盘 spark e-mapreduce EMR 容灾 离线分析 存储

如何使用Kafka Connect实现同步RDS binlog数据

本文介绍如何在E-MapReduce上使用Kafka Connect实现同步RDS binlog数据

架构 分布式系统与计算 RDS 数据库 开源 配置 集群 Image 同步 e-mapreduce Server binlog 流计算 kafka 流式系统

开源大数据周刊-第84期

资讯 [神策数据宣布获4400万美元融资](http://www.cbdio.com/BigData/2018-04/12/content_5702056.htm)4月11日,神策数据 C 轮融资发布会在北京举行。

大数据 hbase hadoop Apache 集群 数据分析 开源大数据 e-mapreduce Hive 存储 海量数据

开源大数据周刊-第85期

资讯 美国公布长达35页的《2016-2045年新兴科技趋势报告》, Hadoop社区最新动态

大数据 hbase hadoop Apache 集群 数据分析 spark 开源大数据 e-mapreduce Hive 存储 海量数据

Speed Matters: How To Process Big Data Securely For Real-time Applications

Big Data processing has stepped up to provide organizations with new tools and technologies to improve business efficiency and competitive advantage.

e-mapreduce Big_data Data_Processing

hive在E-MapReduce集群的实践(二)集群hive参数优化

本文介绍一些常见的集群跑hive作业参数优化,可以根据业务需要来使用。 提高hdfs性能 修改hdfs-site,注意重启hdfs服务 dfs.client.read.shortcircuit=true //直读 dfs.

大数据 性能优化 性能 集群 数据分析 e-mapreduce Hive optimize

4月12日云栖精选夜读:阿里云黄海宇:窄带高清2.0——让直播更惊艳的魔术

 2018年4月11-12日,2018亚太CDN峰会在北京隆重召开,大会由亚太CDN领袖论坛、电视云论坛、短视频论坛、视频云论坛、新技术论坛、运营商论坛、国际云论坛等7大部分组成。在视频云论坛上,阿里云视频云高级算法专家黄海宇作了题为《窄带高清2.0——让直播更惊艳的魔术》的主题致辞。

深度学习 算法 mysql 人工智能 数据仓库 集群 cdn 对象存储 e-mapreduce Hive 高性能 神经网络

hive在E-MapReduce集群的实践(一)hive异常排查入门

hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。 本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍常见的hive执行异常,定位和解决方法,以及hive日志查看方法。

大数据 hadoop SQL 日志 配置 reduce 集群 OOM e-mapreduce Hive Mapreduce

泰为信息科技(上海)有限公司 基于E-MapReduce的考量与实践

1. 1.58元/小时起快速体验 Hadoop & Spark ,为你助力大数据计算           阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待。

大数据 OSS hadoop spark 对象存储 e-mapreduce 云服务 EMR 存储

YARN ResourceManager重启作业保留机制

YARN可以通过相关配置支持ResourceManager重启过程中,不影响正在运行的作业,即重启后,作业还能正常继续运行直到结束

hadoop Apache 高可用 配置 集群 测试 e-mapreduce Server Hive class yarn resourcemanager 恢复 recovery

E-MapReduce Kafka Benchmark - I

本文介绍如何利用Kafka自带的性能测试脚本测试Kafka集群的性能,文末给出一份单机测试Kafka集群的性能数据。此数据仅供参考,不代表官方性能指标承诺。

消息系统 大数据 分布式系统与计算 gzip 性能 线程 配置 集群 测试 云盘 e-mapreduce replication zookeeper kafka

YARN中的CPU资源隔离-CGroups

YARN中集成了CGroups的功能,使得NodeManger可以对container的CPU的资源使用进行控制,比如可以对单个container的CPU使用进行控制,也可以对NodeManger管理的总CPU进行控制。

hadoop Apache 配置 集群 测试 e-mapreduce CPU yarn cgroups

云场景实践研究第79期:熊猫直播

作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。

云栖社区 大数据 云服务器 配置 集群 钉钉 开源大数据 e-mapreduce 离线计算 EMR 存储 数据存储 云场景实践研究

云场景实践研究第45期:梦想旅行

作为一家服务于出境自由行用户的公司,梦想旅行在上云之后,实现了海外访问的提速,以及高可用与容灾的架构优化。本文将带领大家一同了解梦想旅行如何借助阿里云达到高速海外访问与高可用、容灾架构的最佳实践。

架构 算法 监控 消息队列 OSS 高可用 数据库 集群 负载均衡 数加 云数据库 e-mapreduce 数据同步 容灾 云场景实践研究

云场景实践研究第23期:掌慧纵盈

2016年,掌慧纵盈通过阿里云产品,率先构建了业界领先的大数据平台。本文将具体分析掌慧纵盈如何选择阿里云E-MapReduce等产品来满足需求和相应业务架构的实现。

大数据 架构 OSS hbase 日志 集群 工单 开源大数据 e-mapreduce slb 云服务 Hive 云平台 带宽 云场景实践研究

云场景实践研究第16期:梦想旅行

作为服务于全球旅游用户的平台,梦想旅行在大数据的云上实践过程中,极大的提高了图片上传的速度和Api访问的稳定性。本文站在架构的角度,介绍了梦想旅行如何借助阿里云应对遇到的阻碍,实现服务的高可用与容灾。

分布式 大数据 算法 OSS 高可用 集群 负载均衡 数加 云数据库 对象存储 e-mapreduce 数据同步 容灾 云解析 云场景实践研究

如何在E-MapReduce上提交Storm作业处理Kafka数据

本文演示如何在E-MapReduce上部署Storm集群和Kafka集群,并运行Storm作业消费Kafka数据。

大数据 分布式系统与计算 storm hadoop Apache 配置 安全组 集群 测试 Maven Image aliyun e-mapreduce kafka 开源计算

1月23日云栖精选夜读:一张图解读阿里云数据管理DMS企业版

阿里云数据管理DMS企业版,作为数据管理产品大家族里的新成员,于2017年11月开启公测,今年1月底正式发布商业化版本。 作为业界领先的面向企业的数据库DevOps解决方案,DMS企业版旨在帮助企业安全、高效的使用数据库,提升研发与DBA运维的协作效率,为企业核心数据提供更安全的访问管控和操作记录查询审计。

深度学习 android 性能优化 OSS js 集群 弹性伸缩 node 淘宝 云数据库 e-mapreduce 面试题 demo

7
GO