1. 云栖社区>
  2. 全部标签>
  3. #UDF#
UDF

#UDF#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如何在Hive中创建自定义函数UDF及如何直接通过Impala的同步元数据重用UDF的jar文件

如何在Hive中创建自定义函数UDF及使用 如何在Impala中使用Hive的自定义函数 UDF函数开发 使用Intellij工具开发Hive的UDF函数,进行编译;1.使用Intellij工具通过Maven创建一个Java工程,并添加pom.

hdfs hadoop 函数 Apache shell js 测试 同步 string Hive 数据同步 UDF Create

CMU 15-721 16-服务器端的逻辑执行 Server -side Logic Execution

今日议题 背景介绍 用户自定义函数的内联 背景介绍 数据库客户端API 目前我们假设所有的用户逻辑都在客户自己的应用中,然后通过客户端协议如JDBC/ODBC和数据库进行通信获取和存储数据,如下图: 嵌入式数据库逻辑 数据库允许将应用逻辑移植到数据库中减少网络通信的交互次数,这样的好处是高效和可重用。

数据存储与数据库 服务器 函数 SQL 数据库 Image Server 表达式 UDF 优化器 查询优化 数据库内核 CMU

maxCompute(ODPS)问题排查思路

在使用maxCompute的过程中难免会遇到问题,本文意在帮助遇到问题的人快速解决问题

大数据 函数 配置 工单 odps 沙箱 UDF MaxCompute

Flink UDF自动注册实践

1.注册UDF函数1.1 注册相关方法此处,我们使用的udf函数为标量函数,它继承的是ScalarFunction,该类在我们的使用中,发现它继承自UserDefinedFunction这个类,该处的udf函数由用户自己定义,而函数的注册此处我们自己实现; 函数注册时,使用flink的tableE.

java 函数 Apache runtime string class UDF unit flink

MaxCompute 费用暴涨之新增SQL分区裁剪失败

现象:因业务需求新增了SQL任务,这SQL扫描的表为分区表,且SQL条件里表只指定了一个分区,按指定的分区来看数据量并不大,但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨,但是没明确是什么任务暴涨,可以可以参考查看账单详情-使用记录文档,找出费用异常的记录。

函数 SQL odps aliyun Annotation 分区表 UDF MaxCompute 大数据服务平台

阿里云MaxCompute 2019-6月刊

6月MaxCompute新功能发布,精彩技术好文推荐,精彩活动回顾,尽在6月刊。

大数据 监控 数据仓库 odps aliyun Annotation UDF html view MaxCompute

使用Spark SQL进行流式机器学习计算(上)

什么是流式机器学习, 机器学习模型获取途径, 系统演示

云栖社区 编程语言 数据存储与数据库 系统研发与运维 网络与数据通信 linux 大数据 算法 SQL 测试 spark aliyun MLlib string UDF

使用Apache Arrow助力PySpark数据处理

Apache Arrow从Spark 2.3版本开始被引入,通过列式存储,zero copy等技术,JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。

云栖社区 python 深度学习 大数据 SQL Apache 数据处理 spark DataFrame pandas stream schema UDF 数据结构 存储

MaxCompute Studio提升UDF和MapReduce开发体验

MaxCompute Studio能为用户开发MaxCompute UDF和MapReduce程序提供支持,提高开发效率。

java 函数 odps 测试 UDF Mapreduce MaxCompute

MaxCompute studio 第一弹 - 元数据浏览

随着 MaxCompute 2.0 的发布,我们提供了MaxCompute Studio,一套基于IntelliJ IDEA的开发插件,让用户在集成开发环境(IDE)中更方便地进行SQL及用户代码开发。

SQL 调试 阿里技术协会 代码 开发 脚本 插件 UDF 数据 存储 环境 发布 元数据 ide 体验

OPPO数据中台之基石:基于Flink SQL构建实数据仓库

本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议,分享嘉宾张俊,目前担任 OPPO 大数据平台研发负责人,也是 Apache Flink contributor。

大数据 SQL Apache 数据仓库 报表 UDF 流计算 flink 计算引擎

阿里云MaxCompute 2019-1月刊

亲爱的开发者们,,MaxCompute 2019.1月刊为您带来产品最新动态和丰富的产品技术内容,欢迎阅读。

大数据 安全 java aliyun UDF html MaxCompute

阿里云MaxCompute 2018-10月刊

阿里云 MaxCompute 2018-10月 新功能发布汇总,更有技术干货、最佳实践等精彩博文推荐,欢迎阅读。

python 大数据 云计算 SQL 钉钉 aliyun UDF html MaxCompute 外表

PostgreSQL sharding : citus 系列4 - DDL 操作规范 (新增DB,TABLE,SCHEMA,UDF,OP,用户等)

标签 PostgreSQL , citus , 新增对象 , 新增数据库 , 新增用户 背景 citus是PG的一个插件,插件主要针对普通SQL(非UTILITY)加HOOK进行了一些ROUTE处理,同时使用UDF对表进行新建分区的操作。

数据存储与数据库 PostgreSQL postgres 函数 数据库 schema 插件 UDF index Create

日志服务CLI ETL - 扩展UDF

介绍日志服务命令行工具ETL灵活的扩展UDF,包括协议、规则与样例等

python etl 函数 日志 日志服务 模块 aliyun UDF 扩展 github CLI

实时欺诈检测(风控)

基于实时计算,您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施,降低损失。 系统架构:   实时欺诈检测(风控)系统流程如下: 用户的行为经由App上报或Web日志记录下来,发送到一个消息队列里去。

架构 消息队列 日志 web UDF

Hive Tips

在Hive中,某些小技巧可以让我们的Job执行得更快,有时一点小小的改动就可以让性能得到大幅提升,这一点其实跟SQL差不多。 首先,Hive != SQL,虽然二者的语法很像,但是Hive最终会被转化成MapReduce的代码去执行,所以数据库的优化原则基本上都不适用于 Hive。

分布式 函数 数据库 排序 Hive UDF type

DataWorks新推出在线开发UDF的产品——Function Studio

DataWorks新推出在线开发UDF的产品——Function Studio。她免去了您下载安装本地IDE、配置维护环境变量的繁琐工作,您只需要一个浏览器即可编写、运行和调试应用程序,体验和本地IDE一样的编程效果。

云栖社区 系统软件 编程语言 数据存储与数据库 系统研发与运维 函数 线程 源码 配置 浏览器 UDF 项目管理

在DataWorks中实现指定UDF只能被指定账户访问

在DataWorks中实现指定资源只能被指定账户访问,适用于简单模式。

安全与风控 配置 odps Image blank UDF MaxCompute

8
GO