作者: 祎休 2436人浏览 评论数：0 4年前

使用split_size优化的ODPS SQL的场景 首先有两个大背景需要说明如下： 说明1：split_size，设定一个map的最大数据输入量，单位M，默认256M。用户可以通过控制这个变量，从而达到对map端输入的控制。设置语句：set odps.sq

阅读全文

作者: 隐林 5428人浏览 评论数：1 4年前

昨天，DataWorks推出了PYODPS任务类型，集成了Maxcompute的Python SDK，可在DataWorks的PYODPS节点上直接编辑Python代码操作Maxcompute，也可以设置调度任务来处理数据，提高数据开发效率。 效果如下图 适用

阅读全文

作者: liukaitj 2766人浏览 评论数：0 4年前

1. 本文背景 很多行业的信息系统中，例如金融行业的信息系统，相当多的数据交互工作是通过传统的文本文件进行交互的。此外，很多系统的业务日志和系统日志由于各种原因并没有进入ELK之类的日志分析系统，也是以文本文件的形式存在的。随着数据量的指数级增长，对超大文本

阅读全文

作者: 曾文旌 3150人浏览 评论数：1 5年前

title: PgSQL · 最佳实践 · 从 ODPS 迁移数据到 HybridDB author: 曾文旌（义从） 背景 最近，不少用户在尝试使用 HybridDB 的过程中，询问我们如何把之前在 ODPS 中的数据迁移到 HybridDB。今天就跟大家

阅读全文

作者: 隐林 7078人浏览 评论数：0 6年前

转载自jiyi 引言 本文面向的读者是要使用ODPS sql进行一些数据查询和挖掘，或者要使用ODPS udf自定义函数的用户。本文试图达到三个目标：（1）针对应用管理者来讲，看完本文后可以比较清晰的去管理自己的应用；（2）针对ODPS sql使用者来讲，本文

阅读全文

作者: 若重 2698人浏览 评论数：0 5年前

p.p1 {margin: 0.0px 0.0px 0.0px 0.0px; font: 11.0px Menlo; color: #000000; background-color: #ffffff} p.p2 {margin: 0.0px 0.0px 0

阅读全文

作者: 云花 2085人浏览 评论数：0 3年前

快速入门step by step MaxCompute Studio 创建完成 MaxCompute Java Module后，即可以开始开发Graph了。 代码示例 在examples目录下有graph的一些代码示例，可参考示例熟悉Graph程序的结构。

阅读全文

作者: 123ya 1893人浏览 评论数：1 5年前

使用PyODPS库运行SQL，在申请odps实例前， 通过代码设置了odps运行环境： from odps import options options.sql.settings = {'odps.sql.mapper.split.size': 32}

阅读全文

作者: 隐林 36996人浏览 评论数：30 5年前

 大数据计算服务

阅读全文