1. 云栖社区>
  2. 全部标签>
  3. #hdfs#
hdfs

#hdfs#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Hadoop大象之旅007-配置Hadoop伪分布模式

Hadoop大象之旅007-配置Hadoop伪分布模式                                                          老帅    安装hadoop分为本地模式、伪分布模式、集群模式。

分布式 hdfs hadoop 根目录 配置 集群 centos xml 分布式存储 replication

Hadoop大象之旅008-启动与关闭Hadoop

Hadoop大象之旅008-启动与关闭Hadoop                                                         老帅    Hadoop是一个运行在Linux文件系统上的分布式文件系统,在使用之前需要启动。

服务器 hdfs hadoop LOG 配置 分布式文件系统 WebServer Mapreduce 存储

Hadoop大象之旅009-通过Shell操作hdfs

Hadoop大象之旅009-通过Shell操作hdfs                                                                老帅 调用Hadoop分布式文件系统(HDFS)Shell命令应使用bin/hadoop fs 的形式。

linux hdfs hadoop 根目录 shell test PUT file

Hadoop大象之旅010-使用eclipse查看hadoop源码

Hadoop大象之旅010-使用eclipse查看hadoop源码                                                                老帅 我这使用的是hadoop-1.

hdfs hadoop Apache http 源码 eclipse Core JDK myEclipse

大数据安全之Hadoop生态圈背后不可忽视的隐藏“凶险”

伴随互联网的高速发展,大数据成为炙手可热的时髦产物。随之而来的是关于大数据的存储与计算问题。作为能够对大量数据进行分布式处理的软件框架——Hadoop目前已经发展成为分析大数据的领先平台,它能够以一种可靠、高效、可伸缩的方式进行数据处理。

大数据 安全 服务器 hdfs hadoop 加密 数据处理 数据仓库 集群 解决方案 身份认证 Mapreduce 存储 安全问道

大数据基础知识问答----hadoop篇

handoop相关知识点 1.Hadoop是什么? Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。

分布式 大数据 hdfs hadoop 数据库 cluster 数据仓库 集群 Image node 问答 google 单点故障 分布式文件系统

CDH 5.x 集群安装及卸载

上次写了CDH安装测试总结,由于那个博客篇幅略长, 但是主要集中在第二章,所以单独把CDH安装、卸载这块的内容拉出来在一篇记录一下。 一.搭建远程yum源 1.启动http服务: service httpd start 2.

hbase hdfs hadoop http yum 集群 Hive html zookeeper service sqoop

Sqoop 数据导入导出实践

Sqoop是一个用来将hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:mysql,oracle,等)中的数据导入到hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。

hdfs hadoop Oracle Apache 数据库 JDBC Hive 分区表 sqoop

hadoop

一、概述   what is apache hadoop?     The apache Hadoop project develops open-source software for reliable, scalable, distributed computing.

hdfs hadoop Apache Hive facebook Mapreduce 存储 日志分析 海量数据

Hdfs dfs命令使用

如果是把数据放在了hdfs系统,那么我们如何访问他们呢? 1.hdfs查看文件夹 ./hdfs dfs -ls hdfs://mycluster/output/online/ 2.hdfs创建目录dfs创建文件夹 .

hdfs hadoop Apache string Hive Create

Hadoop分布式文件系统HDFS的工作原理详述

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统,适合部署在廉价的机器上。

大数据 服务器 hdfs hadoop LOG 集群 分布式文件系统 分布式系统 存储 数据存储

HBase学习总结(4):HBase的工作原理

一、切分和分配大表 HBase中的表是由行和列组成的。HBase中的表可能达到数十亿行和数百万列。

分布式 hbase hdfs 高可用 配置 zookeeper 数据存储

HDFS简介及用C语言访问HDFS接口操作实践

一、概述 近年来,大数据技术如火如荼,如何存储海量数据也成了当今的热点和难点问题,而HDFS分布式文件系统作为Hadoop项目的分布式存储基础,也为HBASE提供数据持久化功能,它在大数据项目中有非常广泛的应用。

大数据 hdfs hadoop 脚本 分布式文件系统 存储 海量数据

从Hadoop框架与MapReduce模式中谈海量数据处理(含淘宝技术架构)

 文章转载自: http://blog.csdn.net/v_july_v/article/details/670407 从hadoop框架与MapReduce模式中谈海量数据处理 前言     几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。

分布式 架构 hbase hdfs hadoop 函数 数据处理 数据库 集群 淘宝 分布式文件系统 分布式数据库 Mapreduce 海量数据处理

Spark-python-快速开始

1. 概览 这篇文章主要是关于Spark的快速熟悉和使用,我们使用Python和Spark的shell接口来操作Spark。 Spark shell使得我们可以很简单的学习Spark的Api,同时也是一个强大数据分析交互的工具。

python hdfs hadoop shell reduce spark

hadoop1.2.1伪分布模式配置

1、修改core-site.xml,配置hdfs 1 2 3 fs.default.name 4 hdfs://localhost:9000 5 6 7 hadoop.

hdfs hadoop http 配置 SSH input

hadoop 2.6伪分布安装

hadoop 2.6的“伪”分式安装与“全”分式安装相比,大部分操作是相同的,主要区别在于不用配置slaves文件,而且其它xxx-core.xml里的参数很多也可以省略,下面是几个关键的配置: (安装JDK、创建用户、设置SSH免密码 这些准备工作,大家可参考hadoop 2.

hdfs hadoop http 配置 Cache xml replication

hadoop: hdfs API示例

利用hdfs的api,可以实现向hdfs的文件、目录读写,利用这一套API可以设计一个简易的山寨版云盘,见下图: 为了方便操作,将常用的文件读写操作封装了一个工具类: 1 import org.

hdfs hadoop 根目录 path 测试 API string static Group

hadoop: hbase1.0.1.1 伪分布安装

环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一、下载解压 到官网 http://hbase.apache.org 下载合适的版本(hbase与hadoop的版本要匹配,否则可能运行不起来),解压到某个目录即可,本文中的解压目录为 /Users/jimmy/app/hbase-1.

hbase hdfs hadoop http shell path JDK

hadoop: hive 1.2.0 在mac机上的安装与配置

环境:mac OS X Yosemite + hadoop 2.6.0 + hive 1.2.0 + jdk 1.7.0_79 前提:hadoop必须先安装,且处于运行状态(伪分式模式或全分布模式均可) hive官网地址:http://hive.apache.org/ 建议:经个人实践,在mac OS X Yosemite 环境下,如果使用apache下载的原始hadoop 2.6.0,不管jdk安装成什么版本(1.6\1.7\1.8都试过),hive 1.2.0启动时,始终报jdk版本不匹配,后来在mac上将hadoop 2.6.0源编译成mac原生版本后,就正常了。

mac hdfs hadoop 配置 测试 xml Hive Mapreduce

28
GO