1. 云栖社区>
  2. 全部标签>
  3. #e-mapreduce#
e-mapreduce

#e-mapreduce#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

阿里云实战第一期之轻松上云系列文章

随着大数据、云计算的到来并逐渐普及,很多企业从要不要上云的转为关注业务系统和数据如何上云的问题。阿里云针对不同规模不同类型的企业,提供丰富的迁移解决方案,满足各种迁移目的的需求。

redis OSS RDS ECS 数据迁移 迁移 e-mapreduce Elasticsearch 云解析 MaxCompute AnalyticDB dts 本地数据 ADAM 在线迁移服务

SparkSQL Catalyst解析

Catalyst Optimizer是SparkSQL的核心组件(查询优化器),它负责将SQL语句转换成物理执行计划,Catalyst的优劣决定了SQL执行的性能。

e-mapreduce 查询优化 Other bigdecimal CBO sparksql catalyst RBO

初学Spark

介绍大数据处理引擎Spark的特点,以及它的技术栈

大数据 hdfs 模块 数据处理 reduce 内存管理 spark DataFrame MLlib e-mapreduce Hive Mapreduce 流计算

HiveServer2集成LDAP做用户认证

HiveServer2支持多种认证方式,通过`hive.server2.authentication`参数来设置,包括`nosasl, none, ldap, kerberos, pam, custom` 本文介绍如何在E-MapReduce中使用LDAP配置HiveServer的认证。

配置 集群 e-mapreduce JDBC Hive Transaction 认证 ldap HiveServer2

Hadoop黑客赎金事件解读及防范

年关将至,Mongodb数据丢失的事情还在眼前,数以千计的Mongodb数据库已经被删除或者被黑客勒索,就在最近一段时间,黑客也在攻击Hadoop,有不少Hadoop集群的数据全部丢失,这些数据甚至有上TB的数据量,对企业造成了巨大的损失。本文讲述这个问题及后续的预防方案。

安全 MongoDB hdfs hadoop HTTPS 安全组 集群 数据安全 spark aliyun e-mapreduce 数据备份 黑客

【转】在E-MapReduce中使用 ES-Hadoop

ES-Hadoop 是 Elasticsearch(ES) 推出的专门用于对接 Hadoop 生态的工具,使得用户可以使用 Mapreduce(MR)、Spark、Hive 等工具处理 ES 上的数据(ES-Hadoop 还包含另外一部分:将 ES 的索引 snapshot 到 HDFS,对于该内容本文暂不讨论)。

java 阿里云 hadoop SQL Json Apache spark aliyun e-mapreduce 索引 Elasticsearch Hive

SparkSQL自适应执行

阿里云EMR-3.13.0版本的SparkSQL支持自适应执行功能,用来解决Reduce个数的动态调整/数据倾斜/执行计划的动态优化问题。

SQL reduce spark e-mapreduce adaptive statistics sparksql

使用E-MapReduce服务将Kafka数据导入OSS

kafka是一个开源社区常用的消息队列,虽然kafka官方(Confluent公司)提供插件从Kafka直接导入数据到HDFS的connector,但对阿里云对文件存储系统OSS却没有官方的支持。本文会举一个简单的例子,实现kafka的数据写入阿里云OSS。因为阿里云E-MapReduce服...

阿里云 OSS hdfs Apache 配置 集群 e-mapreduce test source type kafka

阿里云 E-MapReduce产品优势及使用场景

E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、HBase,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

云栖社区 大数据 hadoop ECS 数据处理 性能监控 集群 主机 spark 开源大数据 云数据库 对象存储 e-mapreduce 云服务 海量数据

开源大数据周刊-第98期

产品资讯 E-MapReduce 发布新版工作流调度还在困惑怎么管理Hadoop,Hive,Spark等作业和项目,怎么灵活可靠的调度吗?从EMR工作流开始吧 E-MapReduce 发布弹性伸缩当你需要按照时间段弹性的添加计算节点,补充计算能力的时候,弹性伸缩利用云上的弹性来灵活扩展你的计算力 资讯 华尔街看涨大数据广告市场 品友等AI营销技术公司或受资本追捧据媒体报道,在纳斯达克挂牌上市的广告科技公司The Trade Desk10日股价大涨逾37%至127.93美元,成为当日美股市场涨幅最高的股票。

大数据 算法 Apache 人工智能 开源 数据流 弹性伸缩 spark 开源大数据 e-mapreduce 数据中心 AI kafka flink ksql

E-MapReduce大数据平台

1. 产品介绍 E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统,包括 Hadoop、Spark、Kafka、Storm,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。

大数据 storm hadoop ECS 数据处理 集群 数据分析 spark 开源大数据 e-mapreduce 海量数据

10
GO