MaxCompute UDF配置汇总

MaxCompute UDF为数据开发人员提供了较SQL更加灵活的数据处理方式，使得在数据处理过程中，不再只是局限在SQL提供的能力，可以根据自己的需求对功能进行定制，也可以引入其他优秀的程序包简化开发的难度和工作量。有的时候一个UDF因为经过多轮迭代和长时间积累，可能功能会变的非常丰富同时又非常的复杂，常常需要利用配置进行控制，本文对几种通用的配置方案进行了汇总，供各位参考。

一、函数参数方式

执行示例：

select  udf1(param1, param2) from dual;
select udf1(param1,map("k","v")) from dual;

实现代码

public class udf1 extends UDF {

    public String evaluate(String a) {
        return "default value:" + a;
    }

    public String evaluate(String a, String b) {
        return "new value:" + a + "," + b;
    }

    public String evaluate(String a, String b, String c) {
        return "new value:" + a + "," + b + "," + c;
    }

    public String evaluate(String a, Integer b,List<String> c) {
        return "new value:" + c.get(b);
    }
    
    public String evaluate(String a,Map<String,String> map) {
        return "new value" + map.get(a);
    }
    
    public String evaluate(String a,Struct struct) {   
        return "new value" + struct.getFieldValue(a);
    }
}

特殊说明：
1，在本例最后一个实现中的Struct类型，为com.aliyun.odps.data.Struct
2，更多复杂参数类型，可以参考https://yq.aliyun.com/articles/225026

二、执行参数方式

注册函数

create function udf2 as com.aliyun.udf. udf2 using "udf-1.0-SNAPSHOT.jar";

执行示例

set myconfig.config.a=hello;
set myconfig.config.other=2;
select udf2(param1) from dual;

实现代码

public class udf2 extends UDF {
    // TODO define parameters and return type, e.g:  public String evaluate(String a, String b)
    private String flags;
    public void setup(ExecutionContext ctx) throws UDFException {

        Properties ps= ctx.getConfigurations();
        flags = ps.getProperty("myconfig.config.a");
        
       /* 
       说明，目前ctx.getConfigurations();仅能kv返回，不能支持便利操作，所以如下代码并不能返回全部变量
       System.out.println("keys count : "+ps.size());

        Set<Map.Entry<Object, Object>> ent = ps.entrySet() ;
        Iterator<Map.Entry<Object, Object>> it = ent.iterator();
        while(((Iterator) it).hasNext()) {
            Map.Entry<Object,Object> kv = it.next();
            System.out.println("key : "+kv.getKey() + " value : " + kv.getValue());
        }
        */
    }
    public String evaluate(String s) {
        if (flags == null) {
            return "default value:" + s;
        } else {
            return "new value:" + flags + s;
        }
    }
}

特殊说明：
1，set 的kv对在getProperty的时候以“等号”区分，所以内容中不能再包含等号
2，set 设置的变量会在当前session中一直保留，设置一次后续的多个sql都能读取到，要注意范围

三、配置文件方式

注册函数

add file ./cfg.txt;
create function udf3 as com.aliyun.udf.udf3 using "udf-1.0-SNAPSHOT.jar, cfg.txt";

执行示例

select udf3(param1) from dual;

实现代码

 public class udf3 extends UDF {
 private String flags;
 public void setup(ExecutionContext ctx) throws UDFException {
     try {
         InputStream in = ctx.readResourceFileAsStream("cfg.txt");
         BufferedReader br = new BufferedReader(new InputStreamReader(in));
         flags = br.readLine();
     }catch (IOException e) {
         System.out.println("read error, "+e.toString());
         throw new UDFException(e);
     }

 }

 public String evaluate(String s) {
     if (flags == null) {
         return "default value:"+ s;
     }
     else{
         return "new value:" + flags + s;
     }
 }
}

特殊说明：
1，要使用resource配置文件，必须要在注册函数的时候using相应的resource，才能被UDF发现
2，除了使用resource文件外，其实还可以使用odps table，与本例相似，所以不再说明
3，函数注册完成后，对resource配置文件进行跟新覆盖，即可更新配置

以上三种方式基本上可以覆盖绝大多数情况，除此之外还可以组合使用，例如：某个功能复杂的特征工程的UDF，通过第一种和第二种方式，都需要在执行的时候配置多个参数，那么不如把他写成resource配置文件，同时组内开发人员众多，每个人都想使用自己的配置文件，另外又想根据情况随时做变量的微调；那么就可以将如上三种方案融合，变成一种综合方案，示例如下：

注册函数：

 add file usr1.txt;
 add file usr2.txt;
 add file usr3.txt;
 add file usr4.txt;
 create function udf4 as com.aliyun.udf.udf4 using "udf-1.0-SNAPSHOT.jar, usr1.txt,usr2.txt, usr3.txt,usr4.txt";

执行示例

select udf4(param1, map()) from dual;  -- 默认分支

set myconfig.config.file=usr3.txt;
select udf4(param1,map()) from dual;  --有配置文件的分支

set myconfig.config.file=usr3.txt;
select udf4(param1, map("k","v")) from dual; --有配置文件，但是通过函数参数调整配置的分支

实现代码

public class udf4 extends UDF {
    private String flags;
    public void setup(ExecutionContext ctx) throws UDFException {
        try {
            Properties ps= ctx.getConfigurations();
            String path = ps.getProperty("myconfig.config.file");

            if (path == null || path.length() <= 0) return ;

            InputStream in = ctx.readResourceFileAsStream(path);
            BufferedReader br = new BufferedReader(new InputStreamReader(in));
            flags = br.readLine();
        }catch (IOException e) {
            System.out.println("read error, "+e.toString());
            throw new UDFException(e);
        }

    }

    public String evaluate(String s, Map<String,String> mflags) {
        if (mflags.size() > 0) {
            return "new value 1:" + s;
        }
        if (flags == null) {
            return "default value:"+ s;
        }
        else{
            return "new value 2:" + flags + s;
        }
    }
}

特殊说明
1，在注册函数的时候，必须将所有可能用到的配置文件都注册，不然函数无法注册成功

除了普通的UDF外，UDAF、UDTF可用同样的方法进行配置。Python UDF的处理方式可参见：https://help.aliyun.com/document_detail/73359.html?spm=a1z2e.8101737.webpage.dtitle2.bb2a6a6c6Di3vt