1. 云栖社区>
  2. 全部标签>
  3. #hdfs#
hdfs

#hdfs#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Ha3搜索引擎简介

Ha3是阿里巴巴搜索团队开发的搜索引擎平台,它为阿里集团包括淘宝、天猫在内的核心业务提供搜索服务支持。

hdfs 配置 集群 排序 搜索引擎 索引 service

Kafka 分区备份实战

1.概述   在 Kafka 集群中,我们可以对每个 Topic 进行一个或是多个分区,并为该 Topic 指定备份数。这部分元数据信息都是存放在 Zookeeper 上,我们可以使用 zkCli 客户端,通过 ls 和 get 命令来查看元数据信息。

java hdfs hadoop 线程 集群 负载均衡 HASH string static 多线程 Consumer class PUT list zookeeper

Hadoop 3.x 新特性剖析系列1

1.概述   目前从Hadoop官网的Wiki来看,稳定版本已经发行到Hadoop2.9.0,最新版本为Hadoop3.1.0,查阅JIRA,社区已经着手迭代Hadoop3.2.0。那么,今天笔者就带着大家来剖析一下Hadoop3,看看它给我们带来了哪些新特性。

hdfs hadoop 磁盘 存储

搭建云服务器Hadoop集群/伪分布

Linux 系统搭建云服务器 Hadoop 集群 分为六大步骤 新增用户 下载安装 配置 SSH 免密登录 修改配置 初始化、启动与停止 一、 新增用户 hadoop useradd -d /home/hadoop -m hadoop usermod -a -G root hadoop passwd hadoop 二、 下载安装 Hadoop-3.

hdfs hadoop 云服务器 配置 集群 SSH xml Mapreduce

闪电立方功能更新

信息摘要: 更多源站和目的支持适用客户: 有几十TB到PB级别离线数据需要迁移到阿里云存储的客户版本/规格功能: 增加对fastDFS,WOS,HDFS的数据源支持;增加对专有云OSS读取的支持 增加迁移到阿里云NAS产品文档: https://help.

OSS hdfs aliyun html 存储

CDH5之Trash

参考:http://my.oschina.net/cloudcoder/blog/179381      http://www.linuxidc.com/Linux/2012-02/55102.

hdfs hadoop test PUT

Hadoop管理员认证大纲

模块内容 提纲 状态 关于 Apache Hadoop u  为什么是 Hadoop?   ...

安全 架构 监控 hdfs hadoop 系统监控 高可用 web 配置 集群 用户界面 Hive Mapreduce

jps报27342 -- process information unavailable

/tmp目录下,删除 hsperfdata_为开头的文件夹。 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# jps 8952 Jps ...

hdfs hadoop Cassandra Hive zookeeper

Hadoop常见错误1

1 关于 Warning: $HADOOP_HOME is deprecated.   hadoop 1.0.0版本,安装完之后敲入hadoop命令时,老是提示这个警告: Warning: $HADOOP_HOME is deprecated.   经查hadoop-1.0.0/bin/hadoop脚本和"hadoop-config.sh"脚本,发现脚本中对HADOOP_HOME的环境变量设置做了判断,笔者的环境根本不需要设置HADOOP_HOME环境变量。

安全 java 服务器 hdfs hadoop Apache 集群 解决方案 脚本 分布式文件系统 Security

Hadoop2.x常用端口及定义方法

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。

hbase hdfs hadoop 集群 Server zookeeper Mapreduce

Hadoop 2.x HDFS和YARN的启动方式

一.三种启动方式介绍    方式一:逐一启动(实际生产环境中的启动方式)     hadoop-daemon.sh start|stop  namenode|datanode| journalnode        yarn-daemon.

hdfs hadoop SSH 脚本

Hadoop2.7实战v1.0之添加DataNode节点后,更改文件复制策略dfs.replication

1.查看当前系统的复制策略dfs.replication为3,表示文件会备份成3份a.通过查看hdfs-site.xml 文件 点击(此处)折叠或打开 [root@sht-sgmhadoopnn-01 ~]# cd /hadoop/hadoop-2.

hdfs hadoop LOG path 集群 xml replication

Hadoop2.7实战v1.0之HDFS HA

HDFS HA实战v1.0 当前环境:hadoop+zookeeper(namenode,resourcemanager HA)  namenode  serviceId ...

hdfs hadoop Apache HA

Hadoop2.7实战v1.0之动态删除DataNode(含NodeManager)节点(修改dfs.replication)

动态删除DataNode(含NodeManager)节点(修改dfs.replication)【终极版】 1.ActiveNameNode修改hdfs-site.

hdfs hadoop 集群 同步 xml replication

Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡

Hadoop2.7实战v1.0之start-balancer.sh与hdfs balancer数据均衡【修正版】 适用场景: a.

hdfs hadoop 集群 node 脚本 数据节点 磁盘 存储

Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)

Hadoop2.7实战v1.0之动态添加DataNode和NodeManager节点(不修改dfs.replication)【终极版】 0.

hdfs hadoop 集群 node 数据节点 replication 存储

Cloudera Certified Administrator for Apache Hadoop(CCAH认证)

Exam Sections and Blueprint 1. HDFS (17%) Describe the function of HDFS daemons Describe the normal operatio...

hdfs hadoop Apache cluster analyze file Mapreduce network

Hadoop 2.0 NameNode HA和Federation实践

一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都被单点故障的问题所困扰,直到Apache Hadoop在2012年5月发布了2.0的alpha版本,其中MRv2还很不成熟,可HDFS的新功能已经基本可用,尤其是其中的的High Availability(以下简称HA)和Federation。

hdfs hadoop 配置 集群 测试 xml 单点故障 存储

HDFS-Architecture剖析

1.概述   从HDFS的应用层面来看,我们可以非常容易的使用其API来操作HDFS,实现目录的创建、删除,文件的上传下载、删除、追加(Hadoop2.x版本以后开始支持)等功能。

hdfs 数据流

hadoop 集群 跨 版本数据迁移

忙着做hadoop 1.x  到 2.x 的数据迁移.  hadoop 系统提供 了一个 命令  distcp  可以跨版本 迁移数据.   具体的命令格式:  在新的hadoop 版本上执行 .

hdfs hadoop 配置 集群 主机 数据迁移 Transfer checksum Mapreduce

72
GO