Hadoop2.x运维实战之入门手册v1.0

  1. 云栖社区>
  2. 博客>
  3. 正文

Hadoop2.x运维实战之入门手册v1.0

sh_jepson 2016-03-06 19:58:56 浏览776
展开阅读全文
Hadoop2.x运维实战之入门手册V1.0
0.Hadoop2.x生态圈介绍
1.常用组件介绍(体系结构+进程)
   1.1HDFS
   1.2MapReduce
   1.3Yarn
   1.4Hive
   1.5Hbase
   1.6Zookeeper
   1.7Flume
   1.8Kafka
   1.9Sqoop

1.Hadoop2.6.0的伪分布环境搭建
2.Hadoop-2.7.2+Zookeeper-3.4.6完全分布式环境搭建(HDFS,YARN HA)

3.Hadoop 2.x HDFS和YARN的启动方式
4.Hadoop2.x常用端口及定义方法
5.Hadoop2.x常用命令
     5.1学会怎样查看命令帮助
     5.2hadoop fs
     5.3hdfs dfs
     5.4hdfs dfsadmin
     5.5hdfs haadmin
     5.6hdfs fsck
     5.7yarn rmadmin
     5.8其他命令

6.HDFS HA实战
7.YARN HA实战

8.动态添加DataNode(含NodeManager)节点(不修改dfs.replication)
9.添加DataNode节点后,更改文件复制策略dfs.replication
10.动态删除DataNode(含NodeManager)节点(修改dfs.replication)

11.Zookeeper实战
   

12.Hive实战
  12.1 Hive+HDFS存储数据+MySQL存储元数据搭建(本地模式)

  12.2 Hive+HDFS存储数据+MySQL存储元数据搭建(远程模式)
  12.3 HAProxy+Hive+HBase构建高可用数据挖掘集群

  12.4 Hive Shell基本操作
  12.5 Hive QL语法
  12.6 数据导入导出
  12.7 eclipse与Hive

13.HBase实战
   13.1 HMaster HA分布式搭建
   13.2 HBase shell table常用命令
   13.3 HBase shell 管理常用命令
   13.4  eclipse与Hbase    

14.Hadoop2.x DataNode数据均衡实战

15.Hadoop2.x 性能调优
   11.1操作系统
   11.2JVM参数调优
 
   11.3HDFS参数调优
   11.4Yarn参数调优
   11.5MapReduce参数调优
   11.6Hive参数调优


16.Hadoop常见错误汇总
17.Hadoop常见运维技巧
18.参考资料
   18.1运维记录
   18.2文档资料

19.作者心得
      刚开始对大数据这块完全属于门外汉,然后在公司接下来的3个月里搭建cdh4和cdh5环境,做做cdh5实验(参照前辈的cdh4文档),记录cdh5实验过程,写成文档!
在这个过程,其实很痛苦,因为我对这hadoop是啥也不懂,慢慢的,坚持下来,不懂就去Google,about 云等等,当所有的实验做下来,依旧对cloudera hadoop还是一头雾水,只不过稍微开始慢慢的理解了,所以当时就慢慢的准备写份“CDH5快速入门手册v1.0”,在写的过程的中,还不如说是在整理,我对CDH5理解的东西。可是CDH5太难搞懂了,因为它是对Apache Hadoop封装的管理软件,可能不想我们轻易了解CDH5的道道!
     后来突然有一天,我想要去学Apache Hadoop,这个原生态的东西,于是乎,我在2016年1月3号,在Itpub开始写博客,当然之前我做开发的时候,就经常在新浪博客上写开发的东西(尤其是水晶报表实战,后来莫名其妙基本每个礼拜都有qq加我,问我水晶报表各种其难杂症)!
     自学2个多月了,是个痛苦的过程,突然有天晚上我灵感一抖,于是就写下了当前的“Hadoop2.x运维实战之入门手册v1.0”大纲,当然这是个记录自我学习的过程!
     在当前目录的实验已做1/3了,xiao5预计在7月份左右,做完所有的实验,写成文档!期待吧!!!
     等真正入门hadoop,我会继续完善CDH5快速入门手册v1.0

加入群【cloudera hadoop】:258669058 不定期发布资料的word文档、遇见的bug和心得!

网友评论

登录后评论
0/500
评论
sh_jepson
+ 关注