Hadoop笔试题一答案

  1. 云栖社区>
  2. 博客>
  3. 正文

Hadoop笔试题一答案

wsc449 2017-12-07 23:14:39 浏览1634
展开阅读全文

Hadoop笔试题一答案

一、选择题20分

1-5     CADDC
5-10    DCBBB

二、填空题30分

11.2e40
12.大量化、多样化、快速化、价值密度低
13.core-site.xml,hdfs-site.xml,mapred-site.xml,yarn-site.xml
14.50070,8088,16010,8080,4040
15.spark-submit --master yarn-client或spark-shell --master yarn-client

三、命令题10分

16.hadoop fs -rm -r /tmp/xxx
17.hadoop namenode -format
18.scp -r /opt/hive2.1.1 root@hadoop1:/opt/
19.find / -name hdfs-site.xml
20.val sc = new SparkContext(conf)

四、解答题20分

21.单机(本地)模式 伪分布式模式 全分布式模式。
22. 先执行 stop-all.sh,再执行 start-all.sh。
23. 当 JobTracker 失败时,集群仍然可以正常工作,只要 Namenode 没问题。
24.HQuorumPeer进程是hbase管理的zookeeper所产生的;QuorumPeerMain进程就是zookeeper独立的进程。
25.RDD支持面向Java、Scala对象,编译时强类型检查。缺点,序列化非常消耗时间(集群分发和磁盘存储),不能充分利用系统的高级优化能力(如off-heap),垃圾回收对象开销大。
 DataFrame支持数据集的模式表示(即数据列的概念),所以集群分发数据时并不需要序列化,能充分利用系统高级优化能力(off-heap),引入查询计划提高性能。缺点,DataFrame的列类型,在编译时无法判断类型,会产生运行时错误。
 Dataset即支持数据集的模式表示,又支持java、scala对象的类型检查能力。两者通过引入一种编码、解码机制来实现。
 三种代码片段:  
 rdd.filter(_.age > 21)
 df.filter("age > 21");
 dataset.filter(_.age < 21);

五、代码题10分

26.
public class BubbleSort {
  public static void main(String[] args) {
    int[] arr={6,3,8,2,9,1};
    System.out.println("排序前数组为:");
    for(int num:arr){
      System.out.print(num+" ");
    }
    for(int i=0;i<arr.length-1;i++){//外层循环控制排序趟数
      for(int j=0;j<arr.length-1-i;j++){//内层循环控制每一趟排序多少次
        if(arr[j]>arr[j+1]){
          int temp=arr[j];
          arr[j]=arr[j+1];
          arr[j+1]=temp;
        }
      }
    } 
    System.out.println();
    System.out.println("排序后的数组为:");
     for(int num:arr){
       System.out.print(num+" ");
     } 
  }
 }
27.
Map:
map (String key, String value) :
    words = SplitIntTokens(value) ;
    for each word w in words :
        EmitIntermediate(w, “1”) ;

Reduce:
reduce (String key, Iterator values) :
    int result = 0 ;
    for each v in values :
        result += StringToInt (v) ;
        Emit (key, IntToSttring (result)) ;

六、智力题10分

28.答案:
1.猎人和狼过去,猎人回
2.猎人和男人的小孩1过去,猎人和狼回
3.男人和他的小孩2过去,男人回
4.男人和女人过去,女人回
5.猎人和狼过去,男人回
6.男人和女人过去,女人回
7.女人和她的小孩1过去,猎人和狼回
8.猎人和女人的小孩2过去,猎人回
9.猎人和狼过去
29.答案:
7次(简要说明过程)
首先将马分五组:A、B、CDE 
每组赛一场,一共要赛5场,根据由快到慢依次排序 
A1、A2、A3、A4、A5 
B1、B2、B3、B4、B5 
C1、C2、C3、C4、C5 
D1、D2、D3、D5、D5 
E1、E2、E3、E4、E5

然后 A1,B1,C1,D1,E1赛一场,如果快慢就按此排序,那么最后一场只需要赛
A2,A3,B1,B2,C1即可得出前三名,因为A1是稳稳的第一,所以一共7

网友评论

登录后评论
0/500
评论
wsc449
+ 关注