OSS数据湖实践——parquet格式

作者: huangchuang 310人浏览

通过对parquet格式及json格式的对比，了解两种常用格式之间存在的异同，了解parquet 能够提高作业性能的内在机制，并且阐述其能够带来的优势。

大数据 OSS 性能 SQL Apache path spark DataFrame file Blog 存储 数据存储 Parquet 数据湖

Dremio架构分析

作者: 北斗云 3035人浏览

一.Dremio架构 Dremio是基于Apache calcite、Apache arrow和Apache parquet3个开源框架构建，结构其核心引擎Sabot，形成这款DaaS（Data-as-a-Service）数据即服务平台；整体体验风格与其公司开源的Apache Drill非常接近。

云栖社区 架构 SQL Apache drill Hive metadata 存储 数据存储 Parquet Arrow dremio Carcite

Spark Parquet file split

作者: aron.tao 1961人浏览

大数据 spark metadata file Group Parquet

存储与计算分离：OSS构建表 + 计算引擎对接

作者: 唐恺 15365人浏览

看到标题，可能有用户要问：OSS不是用来存图片、视频、及文件的吗，还可以在上面建表、数仓？计算效率和经济性表现怎么样？ 本文先给出基本结论： OSS是什么? 对象存储（Object Storage Service，简称OSS）是基于阿里云飞天分布式系统的海量、安全和高可靠的云存储服务，是一种面向互联网的大规模、通用存储，提供RESTful API，具备容量和处理的弹性扩展能力。

大数据 阿里云 OSS HTTPS SLS aliyun e-mapreduce csv 存储 数据存储 Parquet MaxCompute loghub

Parquet 支持数据嵌套的列式数据存储格式

作者: cloudcoder 3309人浏览

data storage Parquet 列式存储 nested columnar