备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】

2019-07-23 988
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?spm=5176.12282027.0.0.5622379ccY33Rf&liveId=41070

时间

7月24日19:00

主讲人：

诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

简介：

Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
_Apache_Spark_Apache_Arrow____spark_

文章标签：
开源大数据平台 E-MapReduce
Apache
关键词：
apache spark列式存储
Apache列式存储
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
阿里云E-MapReduce团队
目录
相关文章
晓之以理的喵~~
|
3月前
|
存储 SQL 分布式计算
性能优化：Spark SQL中的谓词下推和列式存储
性能优化：Spark SQL中的谓词下推和列式存储
晓之以理的喵~~
83 0
社区小助手
|
存储 分布式计算 大数据
# Apache Spark系列技术直播# 第七讲 【 大数据列式存储之 Parquet/ORC 】
主讲人：诚历（孙大鹏）阿里巴巴计算平台事业部EMR技术专家 简介：Parquet 和 ORC 是大数据生态里最常用到的两个列式存储引擎，这两者在实现上有什异同，哪个效率更好，哪个性能更优，本次分享将和您一起探索两大列式存储。
社区小助手
1554 0
sunrr
|
2月前
|
消息中间件 Kafka Apache
Apache Flink 是一个开源的分布式流处理框架
Apache Flink 是一个开源的分布式流处理框架
sunrr
482 5
灵杰开发者
|
1月前
|
消息中间件 API Apache
官宣｜阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
本文整理自阿里云开源大数据平台徐榜江 (雪尽)，关于阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会。
灵杰开发者
1405 1
官宣｜阿里巴巴捐赠的 Flink CDC 项目正式加入 Apache 基金会
灵杰开发者
|
1月前
|
SQL Java API
官宣｜Apache Flink 1.19 发布公告
Apache Flink PMC（项目管理委员）很高兴地宣布发布 Apache Flink 1.19.0。
灵杰开发者
1336 1
官宣｜Apache Flink 1.19 发布公告
sunrr
|
1月前
|
SQL Apache 流计算
Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
【2月更文挑战第25天】Apache Flink官方网站提供了关于如何使用Docker进行Flink CDC测试的文档
sunrr
142 3
-Feng、冯冯
|
1月前
|
Oracle 关系型数据库 流计算
flink cdc 同步问题之报错org.apache.flink.util.SerializedThrowable:如何解决
Flink CDC（Change Data Capture）是一个基于Apache Flink的实时数据变更捕获库，用于实现数据库的实时同步和变更流的处理；在本汇总中，我们组织了关于Flink CDC产品在实践中用户经常提出的问题及其解答，目的是辅助用户更好地理解和应用这一技术，优化实时数据处理流程。
-Feng、冯冯
78 0
857技术社区
|
1月前
|
XML Java Apache
Apache Flink自定义 logback xml配置
Apache Flink自定义 logback xml配置
857技术社区
150 0
xleesf
|
1月前
|
消息中间件 Java Kafka
Apache Hudi + Flink作业运行指南
Apache Hudi + Flink作业运行指南
xleesf
85 1
xleesf
|
1月前
|
缓存 分布式计算 Apache
Apache Hudi与Apache Flink更好地集成，最新方案了解下？
Apache Hudi与Apache Flink更好地集成，最新方案了解下？
xleesf
60 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 2
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 3
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 4
    漫谈分布式计算框架
  • 5
    Flume NG 简介及配置实战
  • 6
    hive在E-MapReduce集群的实践（一）hive异常排查入门
  • 7
    【译】Hadoop发生了什么？我们该如何做？
  • 8
    E-MapReduce启动/停止HBase集群
  • 9
    利用yarn capacity scheduler在EMR集群上实现大集群的多租户的集群资源隔离和quota限制
  • 10
    Apache Spark中国技术交流社区历次直播回顾（持续更新）
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    71
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    227
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    144
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    51
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    398
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117486
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    392
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    12
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第五阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Apache Flink技术进阶
  • Apache Spark: Cloud and On-Prem
  • Hybrid Cloud and Apache Spark

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）