备案控制台
探索云世界
开发者社区 大数据 文章 正文

【Spark Summit East 2017】深度探究Spark + Parquet

2017-02-19 2096
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本讲义出自Emily Curtin and Robbie Strickland在Spark Summit East 2017上的演讲，主要介绍了使用Spark + Parquet构建的非常之快、存储高效、查询也高效的数据湖以及与之相匹配的一系列工具。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data；此外，通过Maxcompute及其配套产品，低廉的大数据分析仅需几步，详情访问https://www.aliyun.com/product/odps。


本讲义出自Emily Curtin and Robbie Strickland在Spark Summit East 2017上的演讲，主要介绍了使用Spark + Parquet构建的非常之快、存储高效、查询也高效的数据湖以及与之相匹配的一系列工具。演讲分享了Parquet是如何工作的以及如何从Tungsten得改进并使得SparkSQL可以利用这样的设计克服分布式分析中的两大瓶颈：通信成本和数据解码，并提供快速查询的。


0b0ce4c586871ab22f4f1ffe9593799049d6f4d0

b8ed3fe393f28d18c1b706dacd3df0dfed5578ce

41bfa0b91fea47a0b11f2c10cfe15b13b60588ae

61ed5291d0bea91d9ffe9e97896a2a14c9915c9e

70fa89200903613a2b56c01250530faf6c64a672

a4af37ffd558c08718641b06d448d05730336c6a

5474a3b6a572ec9f019ddce01f84bc4a9fb7c024

3a29a65dc20bacf05fcab3fc8a8ea50f5f5c5070

740c332276e9d3203558703b4942cac586171383

ae194643f5b3e0a38c2d304975ea2be688f06f4d

c82d072a1fe9ea830d606ddffa86689d0ea29d2c

4e796b839f4b8accc4d8868cbb2967ebce138abd

9095022615f2fc2d97da8d9e7a64758e2a81370d

1d117f1eac56619977fbb61ef6ff9d33a0128deb

eea2878a4391f12b027ef0ec8391560c538e0249

72ebae57cfeedb0562d8376aad09a421ec4111bf

ddc2b726f9f64a38c74b27b2cd2c65af87f8d59f

75b9f1fc40479578481bb250f5aa019bccd607bc

49cece2174fb26958d2c0ca5de04da7633a15f53

533e21653616602965358fc2056bd1cd6f79569f

0de761139e53db1d22a7c9af7d985dbd61acccd5


58f0cd8352c4bb41a2690ecff9c04f6b7125009e

6e38e61e34049a94a3300b6145035a3d30184fe0

5df2fac279e1128b46b99dc2fa2fe267735583ca

478b92b14549e56b18f825a1e277888fc3b047ea

1b65be2eedc0a58e733ebe69e8b42ef2754d1fbb

cba64df7fa9fc2b17e2e09fb77eb8e5f21ebcc2c

7bf4ecc438853f7f66891726d6d7fede6e315e62

ebeb322383f764d8a03b051f2cda3252478f1a78

4efdf4139c03c8cbbe12b34659b3c76c7c8185a0

926e019fa6d39f26176089cd787d920004cecf67

30e4f04492e17c1e530af134a8e662028c838dba

2df91aa30bae7a320a16cabe372ccd540cba6937

1c334d29ba19a2d1b41ece1d7904de6b7725d2b6

d986e9556c72b4da5c5b4a5c94fc00e5951943e5

7721e69d6698e7f312e58577189889766de8b186

1556128090d1c14ff0ec29f080d42b7409b2e482

9cb5062ed495de3f735fd42d3bcfc94748e21591

fc1574ee988fab8ceb597887a75e75740bb83dfe

1773567017dc2fafed043e872a53b081e08c15af

c18a14e8157f07bf891baf36c93de885dfa9b634

05240ae7616f1c5ce577bbafd3182457d38a63d0

bed155a86918aee1e4eb5ae182fa4145651bf874

d8c7b30831b69ba09d13b4ac0b89cdee1573ef1d

31412907d5da1f2409949af2552958e5b21fc31c

7c25ad6d711f8e7e24ff9b093d060b6cd07e4d24

701e6a28fbb07e0eae175a23493cf0954e9283df

6b7cc4d11f177f0a60d6278bb3377c383cdd3e9d

89fbfa38c847f6411d7c58acb297d0d1f0ca9b7f

a67ff1dd672cd1ade62d5da317b6040bda8eac7f

bc218275fddab7eed66af9dede54b4cfbf3e500b

92ee4e73375ffac65ad33bf32d47a85cfedea09c

eec03551c001e0d2d8e514216f285512669e937a

50de7cbb7e2a0fe1c363173ef99ef7cda21707da

886266b433a7d05a9c8608d65ae2697f4b0a432a

5974e45df7956454c798e4cf08755d78a5ba90eb

2436b41b046a16f7c03a7dd4645bc6331841bcea

fd02ff9cca8aebb873d1e60cf74721cd155ffb39

16e85e95bf6168ba3b27c8fdfe166aec49a87eba

b2a227692eb9798759690c34fcf170f9f8d5fb38

bf52fbaf153874555d7aa025354afd7420a43df3

2166217055b028a0dee0769a64f769e0460a79ab

350ae96745030d95314e256f7396b855fc5b61a2

347df251f81579b32f4d03b7b015d329091cfa31

文章标签：
存储
大数据
分布式计算
Spark
关键词：
apache spark parquet
apache spark summit
apache spark summit east
apache spark east
小猫吃鱼569
目录
相关文章
BIT_666
|
存储 SQL JSON
Spark - 一文搞懂 parquet
parquet 文件常见于 Spark、Hive、Streamin、MapReduce 等大数据场景，通过列式存储和元数据存储的方式实现了高效的数据存储与检索，下面主要讲parquet 文件在 spark 场景下的存储，读取与使用中可能遇到的坑。......
BIT_666
1285 0
Spark - 一文搞懂 parquet
about云
|
SQL 分布式计算 HIVE
spark sql编程之实现合并Parquet格式的DataFrame的schema
spark sql编程之实现合并Parquet格式的DataFrame的schema
about云
290 0
spark sql编程之实现合并Parquet格式的DataFrame的schema
857技术社区
|
存储 SQL 分布式计算
【Parquet】Spark读取Parquet问题详解……
【Parquet】Spark读取Parquet问题详解……
857技术社区
639 0
【Parquet】Spark读取Parquet问题详解……
6hkip34i2a7n6
|
存储 分布式计算 大数据
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
6hkip34i2a7n6
423 0
SPARK Parquet嵌套类型的向量化支持以及列索引(column index)
游客wkxim4agoo6le
|
SQL 分布式计算 Spark
Spark SQL中基于parquet数据的加载方式、数据源的自动分区推断以及数据源的元数据合并
笔记
游客wkxim4agoo6le
147 0
dasein58
|
SQL 存储 JSON
Apache Spark，Parquet和麻烦的Null
　　关于类型安全性的经验教训，并承担过多 　　介绍 　　在将SQL分析ETL管道迁移到客户端的新Apache Spark批处理ETL基础结构时，我注意到了一些奇特的东西。 开发的基础结构具有可为空的DataFrame列架构的概念。 乍看起来似乎并不奇怪。 大多数（如果不是全部）SQL数据库都允许列为可空或不可空，对吗？ 让我们研究一下在创建Spark DataFrame时，这种看似明智的概念为什么会带来问题。 　　from pyspark.sql import types 　　schema=types.StructType([
dasein58
759 0
dasein58
|
SQL 存储 缓存
Spark SQL的Parquet那些事儿
Parquet是一种列式存储格式，很多种处理引擎都支持这种存储格式，也是sparksql的默认存储格式。Spark SQL支持灵活的读和写Parquet文件，并且对parquet文件的schema可以自动解析。当Spark SQL需要写成Parquet文件时，处于兼容的原因所有的列都被自动转化为了nullable。 1读写Parquet文件 // Encoders for most common types are automatically provided by importing spark.implicits._ import spark.implicits._ val peop
dasein58
688 0
阿里云E-MapReduce团队
|
存储 SQL 分布式计算
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
数据湖 JindoFS+OSS 实操干货 36讲 每周二16点准时直播！ 扫文章底部二维码入钉群，线上准时观看~ Github链接： https://github.com/aliyun/alibabacloud-jindofs
阿里云E-MapReduce团队
473 0
数据湖实操讲解【 JindoTable 计算加速】第十九讲：Spark 对 OSS 上的 Parquet 数据进行查询加速
阿里云E-MapReduce团队
|
SQL 人工智能 分布式计算
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
超乎你想象的干货合集打包带走！
阿里云E-MapReduce团队
22612 0
回顾 | SPARK + AI SUMMIT 2020 中文精华版线上峰会圆满结束（附PPT下载）
阿里云E-MapReduce团队
|
人工智能 分布式计算 Spark
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料
阿里云E-MapReduce团队
880 0
SPARK + AI SUMMIT 2020 中文精华版线上峰会材料

热门文章

最新文章

  • 1
    Paimon 与 Spark 的集成（二）：查询优化
  • 2
    阿里云 EMR Serverless Spark 版免费邀测中
  • 3
    Paimon与Spark
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    bigdata-36-Spark转换算子与动作算子
  • 6
    图解大数据 | 使用Spark分析新冠肺炎疫情数据@综合案例
  • 7
    sparkRDD 算子的创建和使用
  • 8
    Spark 源码分析 -- BlockStore
  • 9
    BR-MLP基于spark+Hadoop分布式数据挖掘解决方案功能剖析
  • 10
    Spark RDD类源码阅读
  • 1
    Spark学习---SparkSQL（概述、编程、数据的加载和保存、自定义UDFA、项目实战）
    76
  • 2
    安装Spark
    32
  • 3
    Spark环境搭建与使用
    33
  • 4
    Spark学习---day07、Spark内核（Shuffle、任务执行）
    40
  • 5
    Spark学习---day06、Spark内核（源码提交流程、任务执行）
    39
  • 6
    Spark学习--day05、SparkCore电商网站实操、SparkCore-工程代码
    65
  • 7
    Spark【Spark学习大纲】简介+生态+RDD+安装+使用（xmind分享）
    30
  • 8
    Spark学习--day05、累加器
    16
  • 9
    Spark学习--day04、RDD依赖关系、RDD持久化、RDD分区器、RDD文件读取与保存
    39
  • 10
    Spark学习---day03、Spark核心编程（RDD概述、RDD编程（创建、分区规则、转换算子、Action算子））（二）
    41

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • 大数据实时计算框架Spark快速入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive
    • 下一篇
    阿里云oss简介和使用流程