1. 云栖社区>
  2. 全部标签>
  3. #Mapreduce#
Mapreduce

#Mapreduce#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

连载:阿里巴巴大数据实践—数据开发平台

介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件,并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍。

大数据 监控 数据仓库 数据安全 测试 aliyun 回归测试 数据同步 Mapreduce 存储 工作流 MaxCompute 海量数据

有哪些大数据处理工具?

本文分享作者在大数据系统实践过程中接触过的一些工具及使用感受,抛砖引玉,和同学们一起构建一个分布式产品的全景图。

分布式 大数据 hbase hdfs hadoop Apache Image spark Hive Mapreduce 存储

大数据网管运营数据存储模式研究

随着近两年通信流量业务开展得如火如荼,更多的用户上网行为的数据分析需求猛增,而处理这类数据需要大量的写入处理,而且字段不固定,传统的关系型数据库已无法满足需求,急需多节点的分布式大数据集群来解决数据处理及存储问题。

大数据 数据处理 运营 分布式架构 分布式文件系统 并行计算 存储过程 Mapreduce 存储 数据类型 数据存储 海量数据

HBase知识点集中总结

  好程序员大数据培训分享:HBase知识点集中总结,HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

大数据 监控 hbase hadoop 程序员 高可用 集群 google 分布式系统 分布式存储 file zookeeper Mapreduce 好程序员 大数据培训

好程序员大数据培训分享Apache-Hadoop简介

  好程序员大数据培训分享Apache-Hadoop简介,一、Hadoop出现的原因:现在的我们,生活在数据大爆炸的年代。国际数据公司已经预测在2020年,全球的数据总量将达到44ZB,经过单位换算后,至少在440亿TB以上,也就是说,全球每人一块1TB的硬盘都存储不下。

分布式 大数据 hdfs hadoop 程序员 Apache 集群 排序 分布式文件系统 培训 Mapreduce 存储 数据存储

好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式)

  好程序员大数据培训分享之Hadoop的单节点集群设置(独立模式),接下来,我们就来了解一下Hadoop集群的安装。而Hadoop的安装模式有以下三种,我们一一来了解一下: 单节点上的本地模式(独立模式) :Local(Standalone)Mode单节点的伪分布模式:Pseudo-Distributed Mode多节点的安全分布式集群模式:Fully-Distributed Cluster1 本地模式介绍1.1 特点: 运行在单台机器上,没有分布式思想,使用的是本地文件系统 1.2. 用途 用于对MapReduce程序的逻辑进行调试,确保程序的正确。

分布式 大数据 hadoop 程序员 path 配置 集群 正则表达式 脚本 培训 Mapreduce JDK 存储 input

hive存储过程

  hive存储过程,1、hive存储过程简介1.x版本的hive中没有提供类似存储过程的功能,使用Hive做数据开发时候,一般是将一段一段的HQL语句封装在Shell或者其他脚本中,然后以命令行的方式调用,完成一个业务或者一张报表的统计分析。

hadoop SQL 配置 测试 解决方案 脚本 Hive Create 存储过程 Mapreduce

Ambari和ClouderaManager对比

  好程序员大数据培训分享之Ambari和ClouderaManager对比,1 、什么是CDH,Ambari?   Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。

大数据 hbase hdfs hadoop 程序员 Apache 集群 分布式计算 Ambari Hive 兼容性 培训 Mapreduce 大数据分析

扎心!天天写代码,方向真的对吗?

每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。

大数据 hadoop Apache 数据处理 spark Mapreduce 流计算 海量数据 flink 实时计算

Hadoop 怎么了,大数据路在何方

近期 Hadoop 消息不断,众说纷纭。本文以 Hadoop 的盛衰变化为楔子聊下大数据分析的发展现状和未来趋势。

分布式 大数据 Greenplum hdfs hadoop SQL 数据库 数据仓库 数据分析 对象存储 并行计算 分布式数据库 分布式存储 Mapreduce 存储

MaxComwwwzs12558comI3578II9877-pute 基本概念与术语

项目空间• 项目空间(Project)是MaxCompute的基本组织单元,类似于传统数据库的DataBase或Schema的概念,是进行多用户隔离和访问控制的主要边界。项目空间中包含多个对象,例如表(Table)、资源(Resource)、函数(Function)和实例(Instance)等。

函数 string 分区表 UDF Mapreduce MaxCompute

MaxCompute 基本概念与术语

MaxCompute 基本概念与术语

大数据 函数 string 分区表 UDF Mapreduce MaxCompute

MaxCompute计费方式有几种?

MaxCompute对存储、计算、下载操作进行计量计费。本文向您介绍如何选择MaxCompute按量计费和包年包月两种购买方式,以及如何进行初步的成本估算。

SQL aliyun html Mapreduce 存储 MaxCompute

如何评估一项技术是否值得长期投入

“每个人的时间都是有限的,在有限的时间里选择一项值得投入的技术会变得尤为重要。” 笔者从 2008 年开始工作到现在也有 12 个年头了,一路走来都在和数据打交道,做过很多大数据底层框架内核的开发(Hadoop,Pig,Hive,Tez,Spark),也做过多年上层数据计算框架(Livy, Zeppelin)以及数据应用开发,包括数据处理,数据分析以及机器学习。

云栖社区 大数据 hadoop Apache spark Mapreduce 流计算 海量数据

91
GO