开发者社区> 问答> 正文

使用emr的mapreduce在map阶段怎么获取split文件的路径呢?

使用emr的mapreduce在map阶段怎么获取split文件的路径呢?
我需要根据文件的名,来判断走不同的逻辑的。

展开
收起
封神 2016-06-24 21:39:54 2823 0
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    按照下面的写法

            public void map(Object key, Text value, Context context
            ) throws IOException, InterruptedException {
    
    
                System.out.println("split ...... ");
                if(context.getInputSplit() instanceof FileSplit)
                {
                   FileSplit split=(FileSplit)context.getInputSplit();
                    System.out.println("split:"+split.getPath());
                }
    
    
    2019-07-17 19:47:14
    赞同 1 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
生命密码-基因数据的EMR实践 立即下载
超大规模机器学习在EMR的实践 立即下载
EMR弹性低成本离线大数据分析最佳实践 立即下载