1. 云栖社区>
  2. 全部标签>
  3. #EMR#
EMR

#EMR#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

紧跟科技步伐!全面剖析 助力云上Hadoop-EMR新特性

摘要:在大数据上云特惠活动系列直播中,来自阿里巴巴的产品专家雷彪为现场的听众带来了《助力云上Hadoop-EMR新特性解读与展望》的精彩分享。在本次分享中,他重点介绍了来自阿里云的产品EMR,运维方如何进行大数据的良好管理,EMR在哪些方面进行了性能的增强,具有哪些新的能力以及对EMR未来的展望。

深度学习 大数据 监控 hadoop 性能 配置 集群 开源大数据 EMR 工作流

EMR Druid 探索(二)

EMR Druid 探索(二) EMR Druid 上文介绍了 Druid 的特点、使用场景以及性能。EMR 在 3.11.0 引入了 Druid,并专门推出了一种新的集群类型:Druid 集群。在具体使用时,Druid 集群可以与 Hadoop 集群结合,以 HDFS 集群作为 deep storage 的存储,以 YARN 作为批量索引的计算引擎。

OSS hdfs hadoop Json 配置 集群 索引 EMR page type Bash Druid

EMR Druid 探索(一)

EMR Druid 探索(一) 什么是 Druid、Druid 使用场景 Druid 是 Metamarkets 公司(一家为在线媒体或广告公司提供数据分析服务的公司)推出的一个分布式内存实时分析系统,用于解决如何在大规模数据集下进行快速的、交互式的查询和分析。

架构 性能 高可用 集群 搜索引擎 索引 EMR Elasticsearch 存储 Druid kylin 日志分析

阿里云 EMR最佳实践和容灾

阿里云EMR(Elastic MapReduce)最佳实践和容灾设计

大数据 最佳实践 hdfs 云盘 spark e-mapreduce EMR 容灾 离线分析 存储

将近2个多月没有写博客了,惰性还是咬牙废去吧。

    时间过得真快,从8月份下旬到10月份中旬,将近2个多月没有写博客了,哎,有时在感叹自己的懒惰!!!不像刚开始学习大数据那么有劲头,天天做看视频和看牛人博客,搭建环境,做实验,写写过程和总结博客了。

python 大数据 集群 spark 脚本 EMR IT scrapy

泰为信息科技(上海)有限公司 基于E-MapReduce的考量与实践

1. 1.58元/小时起快速体验 Hadoop & Spark ,为你助力大数据计算           阿里云EMR是基于 Hadoop 的生态环境来搭建,同时可以跟阿里云的对象存储服务OSS等云服务进行无缝数据交换,方便用户将数据在存储平台和计算平台之间进行输入输出,以满足不同业务类型的需要,所以对阿里云EMR充满期待。

大数据 OSS hadoop spark 对象存储 e-mapreduce 云服务 EMR 存储

阿里云EMR产品介绍及常见问题解答

原作者:阿里云解决方案架构师,韩虎。本文主要介绍阿里云EMR产品相对于传统大数据产品的优势,以及平时运维过程中遇到的问题解法。

大数据 服务器 hbase hdfs hadoop 问题 源码 数据库 集群 数据迁移 钉钉 解决方案 EMR 数据中心 视频客户

通过Gateway访问Presto

本文介绍使用HAProxy反向代理实现通过Gateway节点访问Presto服务的方法。该方法也很容扩展到其他组件,如Impala等。

shell 配置 安全组 集群 控制台 Server EMR alibaba Gateway presto

云场景实践研究第79期:熊猫直播

作为知名泛娱乐直播平台,熊猫直播数据纬度多、数据量巨大,通过借助阿里云多项服务,不断优化云上资源,最终建立起灵活配置、高扩展性、易于运维的云上架构。本文将带领大家一同了解熊猫直播大视频数据业务的云上历程。

云栖社区 大数据 云服务器 配置 集群 钉钉 开源大数据 e-mapreduce 离线计算 EMR 存储 数据存储 云场景实践研究

云场景实践研究第22期:泰为

作为全球无线位置领域领跑者之一的泰为,通过基于阿里云EMR,实现了弹性调整集群规模、保证可靠性、可用性、用户作业信息安全性,SLA上升为99.999%,并且减少了企业运维的维护成本。本文将具体分析泰为ETL在阿里云EMR数据处理流程和数据准确性校验的探索与实践过程。

云栖社区 大数据 架构 无线 OSS etl 云栖大会 云服务器 数据处理 集群 云数据库 对象存储 EMR 云场景实践研究

云场景实践研究第20期:梨视频

作为中国领先的资讯类短视频生产者,梨视频采用阿里云平台搭建了数据处理系统和梨视频推荐系统,本文从架构和实现的角度介绍梨视频上云的实践经验。

大数据 架构 日志 模块 数据处理 集群 spark 云数据库 EMR 推荐系统 云场景实践研究

阿里云AnalyticDB数据导出到E-MapReduce实践

阿里云的分析型数据库(AnalyticDB)和E-MapReduce(简称EMR)在大数据场景下非常有用,本文将介绍如何尝试打通两个产品,将通过EMR中自带的开源工具Sqoop来完成这个任务。

大数据 hadoop 数据库 控制台 aliyun e-mapreduce ads 分析型数据库 EMR Hive html sqoop AnalyticDB

使用EMR来进行mysqlbinlog日志准实时传输

如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输

大数据 实时系统 OSS mysql hadoop 日志 SLS Apache 数据库 配置 集群 控制台 spark aliyun EMR

自建hadoop集群迁移到EMR之数据迁移篇

自建集群要迁移到EMR集群,往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。 前置 已按需求创建好EMR集群。 迁移hdfs数据 主要依靠distcp,核心是打通网络,确定hdfs参数和要迁移内容,测速,迁移。

mysql RDS hdfs hadoop SQL 数据库 配置 安全组 集群 数据迁移 同步 脚本 EMR Hive 数据同步

EMR使用OSS还是云盘HDFS存储的选择讨论

使用EMR如何选择数据存储方案,这里分别列举各种场景下两种方案的优缺点,各位可以根据实际情况,选择最合适自己业务的一种方式。

OSS 性能 e-mapreduce EMR 存储 数据存储

8
GO