已有0人关注此标签
CMU 15-721 16-服务器端的逻辑执行 Server -side Logic Execution
作者: 悟道之客
276人浏览
今日议题 背景介绍 用户自定义函数的内联 背景介绍 数据库客户端API 目前我们假设所有的用户逻辑都在客户自己的应用中，然后通过客户端协议如JDBC/ODBC和数据库进行通信获取和存储数据，如下图： 嵌入式数据库逻辑 数据库允许将应用逻辑移植到数据库中减少网络通信的交互次数，这样的好处是高效和可重用。
Flink UDF自动注册实践
作者: 王知无
236人浏览
1.注册UDF函数1.1 注册相关方法此处，我们使用的udf函数为标量函数，它继承的是ScalarFunction，该类在我们的使用中，发现它继承自UserDefinedFunction这个类，该处的udf函数由用户自己定义，而函数的注册此处我们自己实现; 函数注册时，使用flink的tableE.
MaxCompute 费用暴涨之新增SQL分区裁剪失败
作者: 海清
2065人浏览
现象：因业务需求新增了SQL任务，这SQL扫描的表为分区表，且SQL条件里表只指定了一个分区，按指定的分区来看数据量并不大，但是SQL的费用非常高。费用比预想的结果相差几倍甚至10倍以上。 若只知道总体费用暴涨，但是没明确是什么任务暴涨，可以可以参考查看账单详情-使用记录文档，找出费用异常的记录。
使用Apache Arrow助力PySpark数据处理
作者: 开源大数据EMR
1123人浏览
Apache Arrow从Spark 2.3版本开始被引入，通过列式存储，zero copy等技术，JVM 与Python 之间的数据传输效率得到了大量的提升。本文主要介绍一下Apache Arrow以及Spark中的使用方法。
MaxCompute Studio提升UDF和MapReduce开发体验
作者: 苏学士
5253人浏览
MaxCompute Studio能为用户开发MaxCompute UDF和MapReduce程序提供支持，提高开发效率。
OPPO数据中台之基石：基于Flink SQL构建实数据仓库
作者: apache_flink
15327人浏览
本文整理自 2019 年 4 月 13 日在深圳举行的 Flink Meetup 会议，分享嘉宾张俊，目前担任 OPPO 大数据平台研发负责人，也是 Apache Flink contributor。
PostgreSQL sharding : citus 系列4 - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)
作者: 德哥
725人浏览
标签 PostgreSQL , citus , 新增对象 , 新增数据库 , 新增用户 背景 citus是PG的一个插件，插件主要针对普通SQL（非UTILITY）加HOOK进行了一些ROUTE处理，同时使用UDF对表进行新建分区的操作。
实时欺诈检测（风控）
作者: 付空
1890人浏览
基于实时计算，您可以轻松完成实时欺诈检测系统。 实时欺诈检测系统能够及时发现用户高危行为并采取措施，降低损失。 系统架构： 实时欺诈检测（风控）系统流程如下： 用户的行为经由App上报或Web日志记录下来，发送到一个消息队列里去。
Hive Tips
作者: 王晨纯
776人浏览
在Hive中，某些小技巧可以让我们的Job执行得更快，有时一点小小的改动就可以让性能得到大幅提升，这一点其实跟SQL差不多。 首先，Hive != SQL，虽然二者的语法很像，但是Hive最终会被转化成MapReduce的代码去执行，所以数据库的优化原则基本上都不适用于 Hive。
DataWorks新推出在线开发UDF的产品——Function Studio
作者: webide
4307人浏览
DataWorks新推出在线开发UDF的产品——Function Studio。她免去了您下载安装本地IDE、配置维护环境变量的繁琐工作，您只需要一个浏览器即可编写、运行和调试应用程序，体验和本地IDE一样的编程效果。
[雪峰磁针石博客]pyspark工具机器学习(自然语言处理和推荐系统)2数据处理2
作者: python人工智能命理
650人浏览
用户定义函数(UDF:User-Defined Functions) UDF广泛用于数据处理，以转换数据帧。 PySpark中有两种类型的UDF：常规UDF和Pandas UDF。 Pandas UDF在速度和处理时间方面更加强大。
