继盛 + 关注
阿里计算平台事业部ODPS研发专家。

继盛 发表了文章:

PyODPS DataFrame 处理笛卡尔积的几种方式

发布时间:2019-06-12 15:03:27 浏览:10809 回帖 :0

PyODPS 提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理,本文主要介绍如何使用 PyODPS 执行笛卡尔积的操作。 笛卡尔积最常出...

python 函数 PyOdps DataFrame pandas string MaxCompute

继盛 发表了文章:

PyODPS DataFrame 的代码在哪里跑

发布时间:2019-06-06 11:18:08 浏览:2414 回帖 :0

在使用 PyODPS DataFrame 编写数据应用时,尽管编写的是同一个脚本文件,但其中的代码会在不同位置执行,这可能导致一些无法预期的问题,本文介绍当出现相关问题时,如何确定代码在何处执行,以及...

python 服务器 函数 odps PyOdps DataFrame Other MaxCompute

继盛 发表了文章:

如何制作可以在 MaxCompute 上使用的 crcmod

发布时间:2019-02-28 14:57:54 浏览:1627 回帖 :0

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言,MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包,例如...

python docker 函数 根目录 镜像 PyOdps 脚本 github Bash MaxCompute

继盛 参与了问答:

讨论一下跟project-ray的区别

讨论一下跟project-ray的区别

“欢迎到 GIthub 讨论:https://github.com/mars-project/mars”

继盛 参与了问答:

ImportError: Execute on GPU requires for `cupy` li

ImportError: Execute on GPU requires for cupy li

“GPU 需要安装 cupy 的”

继盛 参与了问答:

在集群上安装Mars需要输入每台服务器的IP地址吗?

在集群上安装Mars需要输入每台服务器的IP地址吗?

“需要的”

继盛 发表了文章:

Mars 算法实践——人脸识别

发布时间:2019-01-08 14:20:17 浏览:3512 回帖 :0

Mars 是一个基于矩阵的统一分布式计算框架,在之前的文章中已经介绍了 Mars 是什么, 以及 Mars 分布式执行 ,而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会...

python 分布式 算法 session 人脸识别 tensor Numpy Mars svd

继盛 发表了文章:

Mars 如何分布式地执行

发布时间:2019-01-08 14:18:39 浏览:1993 回帖 :0

先前,我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用,本文将介绍 Mars 已实现的分布式执行架构,欢迎大家提出意见。 架构 Mars 提供了一套分布式执...

分布式 集群 PyOdps 磁盘 存储 tensor Mars Arrow

继盛 发表了文章:

Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享

发布时间:2019-01-08 14:10:53 浏览:3070 回帖 :0

最近,在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars,基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听...

python 分布式 机器学习 性能 多进程 pandas GPU Numpy Mars cupy numexpr

继盛 发表了文章:

Mars——基于张量的统一分布式计算框架

发布时间:2019-01-08 14:05:00 浏览:6951 回帖 :1

很高兴在这里宣布我们的新项目:Mars,一个基于张量的统一分布式计算框架。我们已经在 Github 开源:https://github.com/mars-project/mars 。 背景 Pyt...

python 深度学习 分布式 大数据 算法 PyOdps pandas 分布式计算 actor scikit-learn tensor Numpy Mars ndarray cupy

继盛 发表了文章:

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

发布时间:2018-05-10 11:23:52 浏览:8984 回帖 :0

背景 [PyODPS DataFrame]http://pyodps.readthedocs.io/zh_CN/latest/) 提供了类似 pandas 的接口,来操作 ODPS 数据,同时也支持...

函数 aliyun PyOdps DataFrame pandas MD5 MaxCompute

继盛 发表了文章:

在 MaxCompute UDF 中运行 Scipy

发布时间:2018-05-10 10:52:45 浏览:3088 回帖 :1

新版 MaxCompute Isolation Session 支持 Python UDF。也就是说,Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑,把相关的过程分享出...

python 函数 path 工单 odps 沙箱 UDF MaxCompute

继盛 发表了文章:

PyODPS 中使用 Python UDF

发布时间:2017-12-22 11:50:09 浏览:6095 回帖 :0

PyODPS 中使用 Python UDF 包含两方面,一个是直接使用,也就是在 MaxCompute SQL 中使用;一个是间接的方式,也就是 PyODPS DataFrame,这种方式你不需要直接...

python 函数 SQL Json odps PyOdps DataFrame string UDF MaxCompute

继盛 评论了文章:

PyODPS学习:使用DataFrame实现SQL的IF判断

发布时间:2017-08-11 10:33:11 浏览:1319 回帖 :1

使用DataFrame实现SQL的IF判断

javascript SQL odps DataFrame

“其实,PyODPS 也有 ifelse 和 switch 算子,大概功能类似于 if 和 case when。 (InitialData['column1']<10)ifelse(0, Init...查看全部>

继盛 发表了文章:

PyODPS 安装常见问题解决

发布时间:2017-11-30 15:36:40 浏览:5787 回帖 :0

python mac odps 钉钉 PyOdps pip Bash MaxCompute

继盛 评论了文章:

【沉淀】从网络中间件到搜索,从移动开发到分布式计算平台,阿里高级专家李睿博谈自己的折腾路

发布时间:2017-07-27 07:16:56 浏览:14444 回帖 :7

整个过程我觉得还是爱最重要。有爱才有勇气才有希望。我是真的爱写代码。从小学就开始爱,到现在快三十年了也还爱。

云栖社区

“老板v587,hahah”

继盛 发表了文章:

PyODPS开发中的最佳实践

发布时间:2017-07-24 00:25:45 浏览:6714 回帖 :0

PyODPS支持用 Python 来对 MaxCompute 对象进行操作,它提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理,并且可以用 ml 模块来执...

python 函数 Json http PyOdps DataFrame pandas MaxCompute 数据应用 MaxCompute最佳实践

继盛 参与了问答:

PyODPS使用问题

上传数据,类似的进程A一直在用没有问题,今天另起一个进程B 上传到另一个表b,出现如下错误 File "./test_aliyun_mac7days.py", line 26, in UploadD...

“from odps import __version__ print(__version__) 看下pyodps版本?”

继盛 发表了文章:

PyODPS DataFrame:统一的数据查询语言

发布时间:2017-03-16 10:08:43 浏览:4774 回帖 :1

前几天,PyODPS发布了0.7版本,这篇文章给大家介绍下PyODPS新版本带来的重要特性。 之前也有若干篇文章介绍过了,我们PyODPS DataFrame是延迟执行的,在调用立即执行的方法,比如...

python PostgreSQL mysql HTTPS 数据库 钉钉 aliyun PyOdps DataFrame pandas metadata github MaxCompute

继盛 参与了问答:

怎么用pyOdps实现RSS上的数据导入ODPS

利用pyODPS目前我所了解的是线下进行对ODPS的表格,表分区等系列的操作,但我现在想利用他实现数据的导入导出 ,请问可以吗

“RSS可以自行解析,然后用我们的表上传接口来上传数据。 文档:http://pyodps.readthedocs.io/zh_CN/latest/base-tables-zh.html#id7 另外,...查看全部>
2
程序猿一枚,把梦想揣进口袋的挨踢工作者。主要工作是分布式数据分析(DataFrame并行化框架),以及大规模分布式多维数组计算框架等。

感兴趣or擅长的领域:

更多>
更多>
游客2tka6ovj4stue
游客2tka6ovj4stue
文章:0丨 粉丝:0丨 话题:0
游客xmnzloecbc2ee
游客xmnzloecbc2ee
文章:0丨 粉丝:0丨 话题:0
游客r5nw7poxi2two
游客r5nw7poxi2two
文章:0丨 粉丝:0丨 话题:0
游客ndsmlakjzs7rc
游客ndsmlakjzs7rc
文章:0丨 粉丝:0丨 话题:0
游客abgqdhnc3qmjw
游客abgqdhnc3qmjw
文章:0丨 粉丝:0丨 话题:0
游客trjvqyz2vbbi6
游客trjvqyz2vbbi6
文章:0丨 粉丝:0丨 话题:0