1. 云栖社区>
  2. 全部标签>
  3. #Arrow#
Arrow

#Arrow#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Dremio架构分析

一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建,结构其核心引擎Sabot,形成这款DaaS(Data-as-a-Service)数据即服务平台;整体体验风格与其公司开源的Apache Drill非常接近。

云栖社区 架构 SQL Apache drill Hive metadata 存储 数据存储 Parquet Arrow dremio Carcite

Mars 如何分布式地执行

先前,我们已经介绍过 Mars 是什么。如今 Mars 已在 Github 开源并对内上线试用,本文将介绍 Mars 已实现的分布式执行架构,欢迎大家提出意见。 架构 Mars 提供了一套分布式执行 Tensor 的库。

分布式 集群 PyOdps 磁盘 存储 tensor Mars Arrow

Pandas并非完美无缺

我们一直使用Pandas,但是却不知道关于Pandas的细节。Pandas开发者深度复盘Pandas,指出了十大关键性问题,并通过介绍了如何使用Apache Arrow来解决这些问题。

算法 性能 数据库 数据流 内存管理 RAM DataFrame pandas 内存映射 数据类型 数组 Arrow

1
GO