cloudera 部署Hadoop 更方便

注意：以下操作对应 rhel5/centos5

1 获取cdh3 yum 源

1. wget -c http://archive.cloudera.com/redhat/cdh/cdh3-repository-1.0-1.noarch.rpm 

2 安装下载的rpm 包


1. yum --nogpgcheck localinstall cdh3-repository-1.0-1.noarch.rpm 

//安装后将得到 cloudera-cdh3.repo 文件

1. [root@namenode ~]# ll /etc/yum.repos.d/ 
2. total 40 
3. -rw-r--r-- 1 root root 1926 Aug 29  2011 CentOS-Base.repo 
4. -rw-r--r-- 1 root root  631 Aug 29  2011 CentOS-Debuginfo.repo 
5. -rw-r--r-- 1 root root  626 Aug 29  2011 CentOS-Media.repo 
6. -rw-r--r-- 1 root root 5390 Aug 29  2011 CentOS-Vault.repo 
7. -rw-r--r-- 1 root root  201 Jul 14  2011 cloudera-cdh3.repo 

3 导入 rpm key

1. rpm --import http://archive.cloudera.com/redhat/cdh/RPM-GPG-KEY-cloudera
   

4 安装 hadoop 主程序


1. yum install hadoop-0.20
   

5  hadoop <daemon type>

1. namenode      
2. datanode      
3. secondarynamenode      
4. jobtracker      
5. tasktracker      

//比如安装 namenode 为: yum install hadoop-0.20-datanode ，不同角色安装不同服务


6 安装后 hadoop 目录

1. //hadoop 配置文件目录 
2. [root@namenode ~]# ll /etc/hadoop/ 
3. total 8 
4. lrwxrwxrwx 1 root root   34 Feb 17 02:56 conf -> /etc/alternatives/hadoop-0.20-conf 
5. drwxr-xr-x 2 root root 4096 Feb 28 10:13 conf.empty 
6. drwxr-xr-x 2 root root 4096 Feb 28 10:15 conf.pseudo 
7.  
8. //hadoop 日志目录 
9. [root@namenode ~]# ll /var/log/hadoop 
10. lrwxrwxrwx 1 root root 28 Feb 17 02:56 /var/log/hadoop -> /etc/alternatives/hadoop-log 
11.  
12. //hadoop 进程脚本 
13. [root@namenode ~]# ll /etc/init.d/ | grep hadoop 
14. -rwxr-xr-x 1 root root  3041 Feb 17 02:26 hadoop-0.20-datanode 
15. -rwxr-xr-x 1 root root  3067 Feb 17 02:26 hadoop-0.20-jobtracker 
16. -rwxr-xr-x 1 root root  3041 Feb 17 02:26 hadoop-0.20-namenode 
17. -rwxr-xr-x 1 root root  3158 Feb 17 02:26 hadoop-0.20-secondarynamenode 
18. -rwxr-xr-x 1 root root  3080 Feb 17 02:26 hadoop-0.20-tasktracker 

7 修改配置文档 (hdfs 方面)

1. //slaves 配置文件 namenode 上配置即可 
2. cat /etc/hadoop/conf/slaves 
3.  
4. datanode1 
5. datanode2 
6.  
7. //hdfs-site.xml 配置文件 
8. cat /etc/hadoop/conf/hdfs-site.xml 
9.  
10. <?xml version="1.0"?> 
11. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
12.  
13. <!-- Put site-specific property overrides in this file. --> 
14.  
15. <configuration> 
16.   <property> 
17.     <name>dfs.replication</name> 
18.     <value>1</value> 
19.   </property> 
20.   <property> 
21.      <name>dfs.permissions</name> 
22.      <value>false</value> 
23.   </property> 
24.   <!-- Immediately exit safemode as soon as one DataNode checks in. 
25.        On a multi-node cluster, these configurations must be removed.  --> 
26.   <property> 
27.     <name>dfs.safemode.extension</name> 
28.     <value>0</value> 
29.   </property> 
30.   <property> 
31.      <name>dfs.safemode.min.datanodes</name> 
32.      <value>1</value> 
33.   </property> 
34. <!-- 
35.   <property> 
36.       specify this so that running 'hadoop namenode -format' formats the right dir 
37.      <name>dfs.name.dir</name> 
38.      <value>/var/lib/hadoop-0.20/cache/hadoop/dfs/name</value> 
39.   </property> 
40.  
41. --> 
42.  
43. <!-- add by dongnan --> 
44.  
45. <property> 
46. <name>dfs.data.dir</name> 
47. <value>/data/dfs/data</value> 
48. </property> 
49.  
50. <property> 
51. <name>hadoop.tmp.dir</name> 
52. <value>/data/dfs/tmp</value> 
53. </property> 
54.  
55. <property> 
56. <name>dfs.datanode.max.xcievers</name> 
57. <value>200000</value> 
58. </property> 
59.  
60.  
61. </configuration> 
62.  
63. //core-site.xml 配置文件 
64. cat /etc/hadoop/conf/core-site.xml 
65.  
66. <?xml version="1.0"?> 
67. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
68.  
69. <!-- Put site-specific property overrides in this file. --> 
70.  
71. <configuration> 
72.  
73. <property> 
74. <name>fs.default.name</name> 
75. <value>hdfs://namenode:8020</value> 
76. </property> 
77.  
78. </configuration> 

8 java 环境

1. //下载安装jdk 
2. chmod +x jdk-6u26-linux-x64-rpm.bin  
3. ./jdk-6u26-linux-x64-rpm.bin  
4.  
5. //编辑 profile 
6. vim /etc/profile 
7. export JAVA_HOME=/usr/java/jdk1.6.0_26 
8. export PATH=$JAVA_HOME/bin:$PATH 
9.  
10. //载入环境变量
11. souce /etc/profile

9 启动hadoop 相应进程

1. [root@namenode ~]# /etc/init.d/hadoop-0.20-namenode start 
2. [root@namenode ~]# jps                                    
3. 5599 NameNode 
4. 12889 Jps