1. 云栖社区>
  2. 全部标签>
  3. #Mapreduce#
Mapreduce

#Mapreduce#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

漫谈分布式计算框架

本文主要谈了一些分布式计算框架方面的心得。

分布式 架构 线程 spark pandas 分布式计算 容灾 Mapreduce

Impala——1.概述

标签(空格分隔): Impala Impala是什么 官方论文 Impala对存储在HDFS,HBase的Apache Hadoop数据和存储在Amazon S3上的数据提供快速,交互式的SQL查询。

分布式 大数据 hbase hdfs hadoop SQL Apache 数据库 集群 JDBC Hive odbc 并行查询 Mapreduce 存储

大数据入门干货

  首先,提及大数据一词的概念。大数据本质还在于数据,但是它有着新的特征亮点。包括:数据来源广,数据格式多样化(结构化数据、非结构化数据、Excel文件、文本文件等)、数据量大(最少也是TB级别的、甚至可能是PB级别)、数据增长速度快等等。

python 分布式 大数据 架构 storm hdfs 集群 spark 流式计算 数据采集 Mapreduce 存储 数据存储

【从入门到放弃-Hadoop】Hadoop基础学习

前言 目前人工智能和大数据火热,使用的场景也越来越广,日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解 基础概念 大数据的本质 一、数据的存储:分布式文件系统(分布式存储)二、数据的计算:分部署计算 基础知识 学习大数据需要具备Java知识基础及L.

分布式系统与计算 java hbase hdfs hadoop 数据库 配置 reduce Image spark 流式计算 分布式文件系统 Mapreduce

上:Spark VS Flink – 下一代大数据计算引擎之争,谁主沉浮?

本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比,且看下一代大数据计算引擎之争,谁主沉浮?

大数据 hadoop 性能 数据处理 数据流 spark Mapreduce 流计算 flink 实时计算

MaxCompute Studio提升UDF和MapReduce开发体验

MaxCompute Studio能为用户开发MaxCompute UDF和MapReduce程序提供支持,提高开发效率。

java 函数 odps 测试 UDF Mapreduce MaxCompute

开源-开源公司-Apache

Apache开源软件一览: 1.Hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。

分布式 hdfs hadoop Apache 数据处理 集群 数据分析 spark scala 分布式文件系统 查询优化 Mapreduce github

好程序员大数据分享Hadoop2.X的环境配置与运行官方案例

一、安装之前的准备1.1 修改主机名称进入 Linux 系统查看本机的主机名。通过 hostname 命令查看。[root@localhost ~]# hostnamelocalhost.localdomain如果此时需要修改主机名则可以按照如下的方式进行修改范例一:临时修改主机名称为Hadoop...

大数据 java hadoop 程序员 防火墙 配置 主机 脚本 xml Mapreduce input 好程序员

阿里新一代分布式任务调度平台Schedulerx2.0破土而出

产品简介 Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台,提供定时、任务编排、分布式跑批等功能。使用Schedulerx2.0,您可以在控制台配置管理您的定时任务,查询历史执行记录,查看运行日志。

分布式 开发框架与中间件 分布式系统与计算 日志 配置 控制台 脚本 表达式 并行计算 编程 Mapreduce 海量数据 SchedulerX 任务调度 scheduler

Hadoop3.2.0使用详解

Hadoop3.2.0使用详解1.概述Hadoop3已经发布很久了,迭代集成的一些新特性也是很有用的。截止本篇博客书写为止,Hadoop发布了3.2.0。接下来,笔者就为大家分享一下在使用Hadoop3中遇到到一些问题,以及解决方法。

java hdfs hadoop Apache 配置 Maven xml Mapreduce utf-8

macOS下 Hive 2.x 的安装与配置

Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的[SQL]查询功能,可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

云栖社区 大数据 hadoop SQL Apache 数据库 配置 数据仓库 spark Hive Mapreduce

大数据技术的那些应该重点知识,必读!!

大数据有很多方向,目前我们口中经常说的大数据的主要就业方向是:大数据研发,大数据分析与挖掘,深度学习,人工智能等方向。

云栖社区 linux python 大数据 Java核心技术 java mysql hdfs hadoop 数据库 配置 集群 脚本 Hibernate Mapreduce

88
GO