1. 云栖社区>
  2. 全部标签>
  3. #Mapreduce#
Mapreduce

#Mapreduce#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

五分钟学后端技术:一篇文章教你读懂大数据技术栈!

作者:网易云链接:https://www.zhihu.com/question/27696290/answer/381993207来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

分布式 大数据 java 监控 hdfs hadoop 线程 数据库 配置 集群 数据分析 supervisor Hive Mapreduce 存储

自建Hive数据仓库迁移到阿里云EMR

客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云EMR集群之后,涉及到将数据仓库和Hive元数据的数据库迁移上云。

数据库 数据仓库 集群 Image 数据迁移 弹性计算 对象存储 数据库迁移 EMR Hive Mapreduce 公共云

MaxCompute规格详解--合理的选择让您花更低的成本获得更高的业务价值

本文由阿里巴巴技术专家海清带来以“MaxCompute规格详解”为主题的演讲。首先概述了在使用MaxCompute时,通常选择的两种服务模式,按量计费和包年包月,以及在MaxCompute计费过程中所产生的各项费用。

SQL 按量付费 弹性计算 Mapreduce 存储 MaxCompute

3月5日JindoFS系列直播【Hadoop Job committer 的演化和发展】

Job Committer是Mapreduce/Spark等分布式计算框架的重要组成部分,为分布式任务的写入提供一致性的保证,本次分享主要介绍Job Committer的演进历史,以及社区和EMR在S3/OSS等云存储上的最新进展。

分布式 hadoop Apache 云存储 钉钉 分布式计算 EMR Mapreduce

3月5日JindoFS系列直播【Hadoop Job committer 的演化和发展】

Job Committer是Mapreduce/Spark等分布式计算框架的重要组成部分,为分布式任务的写入提供一致性的保证,本次分享主要介绍Job Committer的演进历史,以及社区和EMR在S3/OSS等云存储上的最新进展。

分布式 hadoop Apache 云存储 钉钉 分布式计算 EMR Mapreduce

MaxCompute SQL与Hive对比分析及使用注意事项

一个使用过Hadoop的Hive框架的大数据开发工程师,往往基本掌握了阿里云的大数据计算服务MaxCompute的90%。本次分享主要通过详细对比MaxCompute和Hive各个方面的异同及开发使用的注意事项,方便用户来开发使用MaxCompute,实现从Hive秒速迁移到MaxCompute。

大数据 飞天 SQL odps Image Hive 分区表 Mapreduce 存储 数据类型 MaxCompute

F1 Query: Declarative Querying at Scale

2013 年的 F1 是基于 Spanner,主要提供 OLTP 服务,而新的 F1 则定位则是大一统:旨在处理 OLTP/OLAP/ETL 等多种不同的 workload。但是这篇新的 F1 论文对 OLTP 的讨论则是少之又少,据八卦是 Spanner 开始原生支持之前 F1 的部分功能,导致 F1 对 OLTP 的领地被吞并了。

分布式 SQL 数据处理 Image Server google Mapreduce 存储 fragment

使用函数工作流+函数计算轻松构建 ETL 离线数据处理系统

随着云计算、人工智能、物联网等新技术的应用普及,人类产生的数据呈现出了爆发式增长的态势,对数据处理的需求能力也提出了越来越高的要求。数据成了重要资产,收集、处理数据的能力成为了核心竞争力,比如:应用服务的运行监控,运营数据的分析,以及深度学习的数据过滤、预处理等,这些对已有数据的处理能力将直接影响服务的运营效率。

etl 数据处理 Mapreduce 函数计算 函数工作流

揭秘“撩”大数据的正确姿势:生动示例解说大数据“三驾马车”

谷歌三驾马车如何解决海量数据存储与计算问题。

大数据 架构 模块 Image 分布式文件系统 Mapreduce 存储 海量数据

MaxCompute按量计费计算任务消费监控告警

如何通过云监控配置MaxCompute按量计费计算任务消费监控告警

监控 SQL 配置 弹性伸缩 钉钉 控制台 aliyun Mapreduce MaxCompute 按量计费

90
GO