MaxCompute Mars 完全指南

发布时间：2020-05-08 12:08:27 浏览：1780 回帖 ：0

Mars 能利用并行和分布式技术，加速 Python 数据科学栈，包括 numpy、pandas 和 scikit-learn。同时，也能轻松与 TensorFlow、PyTorch 和 XGBoos...

python 分布式 集群 PyOdps DataFrame pandas index session html MaxCompute scikit-learn Numpy Mars

Spark DataFrame 不是真正的 DataFrame

发布时间：2020-04-26 12:28:46 浏览：1209 回帖 ：0

最早的 "DataFrame" ，来源于贝尔实验室开发的 S 语言。R 语言，作为 S 语言的开源版本，于 2000 年发布了第一个稳定版本，并且实现了 dataframe。pandas 于 2009...

python SQL Apache spark scala PyOdps DataFrame pandas Mars

Mars 开源月报（2020.3）

发布时间：2020-04-13 14:27:16 浏览：1347 回帖 ：0

本月，Mars 发布了 0.4.0b1 ，0.4.0b2 和 0.3.2 以及 0.3.3，点击链接查看详细的 Release Notes。本月两次发布版本是特殊情况，0.4.0b2 修复了 0.4....

python 函数 开源 DataFrame mean csv github Mars

并行正则采样排序算法及在 Mars 中的应用

发布时间：2020-04-13 14:24:38 浏览：1119 回帖 ：0

相信大家对排序算法都非常熟悉了，快速排序、堆排序、归并排序等等。如果我们想在一个很大的数据集上进行排序，能利用上多核，甚至是分布式集群，有什么办法么？ 本文就介绍一种并行排序算法：并行正则采样排序算...

python 分布式 算法 排序 钉钉 数组 排序算法 Numpy Mars

当 Mars 遇上 RAPIDS：用 GPU 以并行的方式加速数据科学

发布时间：2020-04-13 14:20:35 浏览：1319 回帖 ：0

在数据科学世界，Python 是一个不可忽视的存在，且有愈演愈烈之势。而其中主要的使用工具，包括 Numpy、Pandas 和 Scikit-learn 等。 Mars 在 MaxCompute...

python 深度学习 分布式 算法 性能 DataFrame pandas GPU big data 数据科学 scikit-learn tensor Numpy Mars

PyODPS DataFrame 处理笛卡尔积的几种方式

发布时间：2019-06-12 15:03:27 浏览：11998 回帖 ：0

PyODPS 提供了 DataFrame API 来用类似 pandas 的接口进行大规模数据分析以及预处理，本文主要介绍如何使用 PyODPS 执行笛卡尔积的操作。 笛卡尔积最常出...

python 函数 PyOdps DataFrame pandas string MaxCompute

PyODPS DataFrame 的代码在哪里跑

发布时间：2019-06-06 11:18:08 浏览：3810 回帖 ：0

在使用 PyODPS DataFrame 编写数据应用时，尽管编写的是同一个脚本文件，但其中的代码会在不同位置执行，这可能导致一些无法预期的问题，本文介绍当出现相关问题时，如何确定代码在何处执行，以及...

python 服务器 函数 odps PyOdps DataFrame Other MaxCompute

如何制作可以在 MaxCompute 上使用的 crcmod

发布时间：2019-02-28 14:57:54 浏览：2523 回帖 ：0

之前我们介绍过在 PyODPS DataFrame 中使用三方包。对于二进制包而言，MaxCompute 要求使用包名包含 cp27-cp27m 的 Wheel 包。但对于部分长时间未更新的包，例如...

python docker 函数 根目录 镜像 PyOdps 脚本 github Bash MaxCompute

Mars 算法实践——人脸识别

发布时间：2019-01-08 14:20:17 浏览：4912 回帖 ：0

Mars 是一个基于矩阵的统一分布式计算框架，在之前的文章中已经介绍了 Mars 是什么， 以及 Mars 分布式执行 ，而且 Mars 已经在 GitHub 中开源。当你看完 Mars 的介绍可能会...

python 分布式 算法 session 人脸识别 tensor Numpy Mars svd

Mars 如何分布式地执行

发布时间：2019-01-08 14:18:39 浏览：3371 回帖 ：0

先前，我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用，本文将介绍 Mars 已实现的分布式执行架构，欢迎大家提出意见。 架构 Mars 提供了一套分布式执...

分布式 集群 PyOdps 磁盘 存储 tensor Mars Arrow

Mars 是什么、能做什么、如何做的——记 Mars 在 PyCon China 2018 上的分享

发布时间：2019-01-08 14:10:53 浏览：4497 回帖 ：0

最近，在 PyCon China 2018 的北京主会场、成都和杭州分会场都分享了我们最新的工作 Mars，基于矩阵的统一计算框架。本文会以文字的形式对 PyCon 中国上的分享再进行一次阐述。 听...

python 分布式 机器学习 性能 多进程 pandas GPU Numpy Mars cupy numexpr

Mars——基于张量的统一分布式计算框架

发布时间：2019-01-08 14:05:00 浏览：13423 回帖 ：1

很高兴在这里宣布我们的新项目：Mars，一个基于张量的统一分布式计算框架。我们已经在 Github 开源：https://github.com/mars-project/mars 。 背景 Pyt...

python 深度学习 分布式 大数据 算法 PyOdps pandas 分布式计算 actor scikit-learn tensor Numpy Mars ndarray cupy

在PyODPS DataFrame自定义函数中使用pandas、scipy和scikit-learn

发布时间：2018-05-10 11:23:52 浏览：12083 回帖 ：0

背景 [PyODPS DataFrame]http://pyodps.readthedocs.io/zh_CN/latest/) 提供了类似 pandas 的接口，来操作 ODPS 数据，同时也支持...

函数 aliyun PyOdps DataFrame pandas MD5 MaxCompute

在 MaxCompute UDF 中运行 Scipy

发布时间：2018-05-10 10:52:45 浏览：4853 回帖 ：1

新版 MaxCompute Isolation Session 支持 Python UDF。也就是说，Python UDF 中已经可以跑二进制包。刚才以 Scipy 为例踩了一下坑，把相关的过程分享出...

python 函数 path 工单 odps 沙箱 UDF MaxCompute

PyODPS 中使用 Python UDF

发布时间：2017-12-22 11:50:09 浏览：8553 回帖 ：0

PyODPS 中使用 Python UDF 包含两方面，一个是直接使用，也就是在 MaxCompute SQL 中使用；一个是间接的方式，也就是 PyODPS DataFrame，这种方式你不需要直接...

python 函数 SQL Json odps PyOdps DataFrame string UDF MaxCompute

PyODPS学习：使用DataFrame实现SQL的IF判断

发布时间：2017-08-11 10:33:11 浏览：2098 回帖 ：1

使用DataFrame实现SQL的IF判断

javascript SQL odps DataFrame

PyODPS 安装常见问题解决

发布时间：2017-11-30 15:36:40 浏览：7982 回帖 ：0

python mac odps 钉钉 PyOdps pip Bash MaxCompute