备案控制台
开发者社区 开发与运维 文章 正文

《Hadoop MapReduce实战手册》一第2章 HDFS进阶

2017-05-02 1722
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.1节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。

第2章 HDFS进阶

Hadoop MapReduce实战手册
本章将学习以下内容：

  • HDFS基准测试
  • 添加一个新的DataNode
  • DataNode下架
  • 使用多个磁盘/卷以及限制HDFS的磁盘使用
  • 设置HDFS块大小
  • 设置文件的冗余因子
  • 使用HDFS的Java API
  • 使用HDFS的C API（libhdfs）
  • 挂载HDFS（Fuse-DFS）
  • 在HDFS中合并文件
文章标签：
Java
测试技术
API
分布式计算
Hadoop
关键词：
hadoop hdfs
hadoop文件存储HDFS版
文件存储HDFS版hadoop
mapreduce hadoop
hadoop mapreduce
异步社区
目录
相关文章
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS中的块是什么？
【4月更文挑战第9天】【Hadoop】HDFS中的块是什么？
爱吃糖的范同学
27 2
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS仅支持独占写入？
【4月更文挑战第9天】【Hadoop】HDFS仅支持独占写入？
爱吃糖的范同学
23 0
爱吃糖的范同学
|
1月前
|
存储 分布式计算 Hadoop
【Hadoop】区分HDFS块和输入拆分
【4月更文挑战第9天】【Hadoop】区分HDFS块和输入拆分
爱吃糖的范同学
25 0
yuanzhengme
|
1月前
|
存储 分布式计算 Hadoop
Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）
【4月更文挑战第3天】Hadoop【基础知识 01】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）
yuanzhengme
43 3
yuanzhengme
|
1月前
|
存储 分布式计算 监控
Hadoop【基础知识 01+02】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
【4月更文挑战第3天】【分布式文件系统HDFS设计原理+特点+存储原理】（部分图片来源于网络）【分布式计算框架MapReduce核心概念+编程模型+combiner&partitioner+词频统计案例解析与进阶+作业的生命周期】（图片来源于网络）
yuanzhengme
77 2
听风de歌
|
3天前
|
存储 分布式计算 运维
Hadoop的HDFS问题
【5月更文挑战第5天】Hadoop的HDFS问题
听风de歌
11 3
然然学长
|
4天前
|
分布式计算 资源调度 Hadoop
java与大数据：Hadoop与MapReduce
java与大数据：Hadoop与MapReduce
然然学长
23 0
yuanzhengme
|
28天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
yuanzhengme
46 8
yuanzhengme
|
28天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
54 9
yuanzhengme
|
1月前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
33 5

热门文章

最新文章

  • 1
    阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
  • 2
    Apache Hadoop YARN基本架构
  • 3
    hadoop模块
  • 4
    E-MapReduce弹性低成本离线大数据分析
  • 5
    MapReduce InputFormat——DBInputFormat
  • 6
    HBase结合MapReduce批量导入
  • 7
    MapReduce中的Join
  • 8
    Hadoop MapReduce编程 API入门系列之wordcount版本1（五）
  • 9
    Hadoop MapReduce编程 API入门系列之统计学生成绩版本2（十八）
  • 10
    MapReduce框架Mapper和Reducer类源码分析
  • 1
    阿里云E-MapReduce Trino专属集群外连引擎及权限控制踩坑实践
    133
  • 2
    阿里云E-MapReduce集群-开源Ldap密码不安全问题解决方案
    493
  • 3
    伪分布式安装部署（运行MapReduce程序）
    103
  • 4
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（二）
    68
  • 5
    Hadoop学习---7、OutputFormat数据输出、MapReduce内核源码解析、Join应用、数据清洗、MapReduce开发总结（一）
    99
  • 6
    Hadoop基础学习---6、MapReduce框架原理（二）
    65
  • 7
    Hadoop基础学习---6、MapReduce框架原理（一）
    83
  • 8
    Hadoop基础学习---5、MapReduce概述和WordCount实操（本地运行和集群运行）、Hadoop序列化
    105
  • 9
    MapReduce 优化经验
    78
  • 10
    MapReduce 的原理、流程【重要】
    88

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop 分布式文件系统 HDFS
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • Hadoop存储与计算分离实践
  • Hadoop的过去现在和未来
  • 海量结构化和非结构化大数据Hadoop集群规划

    • 相关实验场景

    更多
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）