开发者社区> 问答> 正文

Spark SQL 2.3+是否支持UDT?

无法理解Spark是否支持任何语言的2.3+版本的UDT(Scala,Python,Java,R)?

我有类似这样的类

Class Test{

string name;
int age;

}
我的UDF方法是:

public Test UDFMethod(string name, int age){

   Test ob = new Test();
   ob.name = name;           
   ob.age = age; 

}
示例Spark查询

Select *, UDFMethod(name, age) From SomeTable;
现在UDFMethod(name, age)将返回Test对象。那么在使用SQLUserDefinedType标记和扩展UserDefinedType类之后,这将在Spark SQL中工作吗?

因为UserDefinedType类在Spark 2.0中是私有的。我只是想知道Spark 2.3+是否支持UDT。如果是,最好使用什么UserDefinedType或UDTRegisteration。截至目前,两者都是私人的spark

展开
收起
社区小助手 2018-12-06 13:54:18 3213 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    目前没有这样的选项供公众使用。

    你可以绕过访问限制(通过反射,将您自己的代码放在Spark命名空间中),但它绝对不受支持,如果它失败或将来中断,这也没办法。

    2019-07-17 23:18:31
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载