1. 云栖社区>
  2. 全部标签>
  3. #hadoop#
hadoop

#hadoop#

已有18人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业???

【MaxCompute Spark】不想自己搭Spark集群, 也能跑Spark分布式作业???

分布式 分布式系统与计算 hadoop 配置 集群 odps spark aliyun API EMR service MaxCompute

解析-hadoop五大节点

1.NameNode(管理节点)    Namenode 管理着文件系统的命令空间(Namespace)。它维护着文件系统树以及文件树中所有的文件和文件夹的元数据(metadata),元数据包括编辑日志(edits)和镜像文件。

大数据 监控 服务器 hdfs hadoop 日志 镜像 集群 容器 应用管理 数据节点 存储

CentOS7下安装CDH,clouderamanager,hadoop

一、实验背景 我们是四台电脑一起搭建Hadoop集群 A,B,C,D四个人个有一台电脑,分别在各自的电脑上安装虚拟机,虚拟机装centOS7。(我们建议主机namenode内存大一点8g,硬盘最好100g以上,其余节点2g,50g即可,下文会阐述原因) 系统:VMware下的centOS7 jdk:1.

java mysql hadoop 数据库 配置 集群 主机 rpm Hive

开源-开源公司-Apache

Apache开源软件一览: 1.Hadoop Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。

分布式 hdfs hadoop Apache 数据处理 集群 数据分析 spark scala 分布式文件系统 查询优化 Mapreduce github

好程序员大数据分享Hadoop2.X的环境配置与运行官方案例

一、安装之前的准备1.1 修改主机名称进入 Linux 系统查看本机的主机名。通过 hostname 命令查看。[root@localhost ~]# hostnamelocalhost.localdomain如果此时需要修改主机名则可以按照如下的方式进行修改范例一:临时修改主机名称为Hadoop...

大数据 java hadoop 程序员 防火墙 配置 主机 脚本 xml Mapreduce input 好程序员

AnalyticDB for PostgreSQL (原HybridDB for PostgreSQL) 实时数据仓库上手指南

HybridDB for PostgreSQL 提供企业级数据仓库云服务,基于开源Greenplum构建,采用MPP架构,支持1000+节点PB级数据的实时分析。

PostgreSQL Greenplum mysql hadoop etl 同步 OLAP MPP 分析型数据库 EMR MaxCompute AnalyticDB HybridDB 企业数仓

全网最全最新的大数据系统学习路径

大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段,处理的数据量通常是TB级,甚至是PB或EB级的数据,这是传统数据处理手段所无法完成的,其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等,汇集了当前IT领域热门流行的IT技术。

编程语言 系统研发与运维 linux 互联网产品及应用 python 分布式 大数据 java hbase hadoop 数据处理 高可用 数据库 大数据开发 大数据学习

数道云解析:基于Hadoop集群环境的数据采集和舆情监测技术分析,Hadoop在大数据平台搭建中扮演着何种角色?

基于Hadoop集群环境的数据采集系统,利用分布式网络爬虫进行数据抓取,以HDFS作为底层存储系统,在其上构建基于HBase的分布式数据库对数据进行统一存储管理。然后根据采集的数据,通过检索的形式分类数据,进行一个深层次的数据分析工作。

分布式 大数据 hdfs hadoop Apache 互联网 集群 分布式文件系统 云解析 分布式数据库 数据采集 Hadoop大数据 Hadoop数据采集 武汉Hadoop Hadoop舆情监测

277
GO