开发者社区> 问答> 正文

ODPS mapreduce Main方法中如何能读取到资源文件?

mapreduce Main方法中如何能读取到资源文件?
用job.getConfResourceAsInputStream(file); 报这个异常Configuration - x1.xml not found
现在需要在进入Mapper之前就能把资源文件内容就给读出来

展开
收起
fyzsg 2016-01-31 18:34:23 4626 0
2 条回答
写回答
取消 提交回答
  • main函数里面无法去读资源文件,main相当于一个diver只能启动任务。或者使用ODPS sdk取获取。如上

    2019-07-17 18:27:24
    赞同 展开评论 打赏
  • MaxCompute 生态

    MR 代码的运行分两部分,Main 函数运行在本地,用于向 ODPS 提交作业;Mapper/Reducer 运行在 ODPS 集群内。Job 上的这些接口是集群内的时候才有效。

    要在 Main 函数里访问 Resource,直接用 odps-sdk-core 里面的 api 就好了。大概是这样:

    Odps odps = SessionState.get().getOdps();
    InputStream is = odps.resources().getResourceAsStream(resourceName);
    2019-07-17 18:27:24
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

相关实验场景

更多