备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

7月24日晚Spark社区直播：【Apache Spark 基于 Apache Arrow 的列式存储优化】

2019-07-23 2406
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。

直播间直达链接：（回看链接）

https://tianchi.aliyun.com/course/live?spm=5176.12282027.0.0.5622379ccY33Rf&liveId=41070

时间

7月24日19:00

主讲人：

诚历，阿里巴巴计算平台事业部 EMR 技术专家，Apache Sentry PMC，Apache Commons Committer，目前从事开源大数据存储和优化方面的工作。

简介：

Apache Arrow 是一个基于内存的列式存储标准，旨在解决数据交换和传输过程中，序列化和反序列化带来的开销。目前，Apache Spark 社区的一些重要优化都在围绕 Apache Arrow 展开，本次分享会介绍 Apache Arrow 并分析通过 Arrow 将给 Spark 带来哪些特性。
_Apache_Spark_Apache_Arrow____spark_

文章标签：
开源大数据平台 E-MapReduce
Apache
分布式计算
Spark
存储
关键词：
Apache优化
Apache社区
apache spark Apache
Apache spark
Apache arrow
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
阿里云瑶池数据库SelectDB
|
1月前
|
SQL 存储 JSON
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布：开箱盲测性能大幅优化，复杂查询性能提升 100%
亲爱的社区小伙伴们，Apache Doris 2.1.0 版本已于 2024 年 3 月 8 日正式发布，新版本开箱盲测性能大幅优化，在复杂查询性能方面提升100%，新增Arrow Flight接口加速数据读取千倍，支持半结构化数据类型与分析函数。异步多表物化视图优化查询并助力仓库分层建模。引入自增列、自动分区等存储优化，提升实时写入效率。Workload Group 资源隔离强化及运行时监控功能升级，保障多负载场景下的稳定性。新版本已经上线，欢迎大家下载使用！
阿里云瑶池数据库SelectDB
462 1
阿里云数据库 SelectDB 内核 Apache Doris 2.1.0 版本发布：开箱盲测性能大幅优化，复杂查询性能提升 100%
疯狂的猿
|
3月前
|
机器学习/深度学习 SQL 分布式计算
Apache Spark 的基本概念和在大数据分析中的应用
介绍 Apache Spark 的基本概念和在大数据分析中的应用
疯狂的猿
159 0
程序猿～厾罗
|
3月前
|
机器学习/深度学习 SQL 分布式计算
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
介绍 Apache Spark 的基本概念和在大数据分析中的应用。
程序猿～厾罗
71 0
GG2020gg
|
30天前
|
运维 Linux Apache
LAMP架构调优（十）——Apache禁止指定目录PHP解析与错误页面优化
LAMP架构调优（十）——Apache禁止指定目录PHP解析与错误页面优化
GG2020gg
199 2
xleesf
|
1月前
|
Apache 开发者
揭秘！Apache Hudi社区发展数据盘点
揭秘！Apache Hudi社区发展数据盘点
xleesf
32 0
xleesf
|
1月前
|
消息中间件 分布式计算 Serverless
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark
CDC一键入湖：当 Apache Hudi DeltaStreamer 遇见 Serverless Spark
xleesf
53 2
晓之以理的喵~~
|
3月前
|
SQL 分布式计算 数据处理
Apache Spark简介与历史发展
Apache Spark简介与历史发展
晓之以理的喵~~
86 0
Maynor
|
4月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
流数据湖平台Apache Paimon（六）集成Spark之DML插入数据
Maynor
80 0
Maynor
|
4月前
|
SQL 分布式计算 Apache
流数据湖平台Apache Paimon（五）集成 Spark 引擎
流数据湖平台Apache Paimon（五）集成 Spark 引擎
Maynor
73 0
桃子红了呐
|
分布式计算 算法 Java
Apache Flink vs Apache Spark——感觉二者是互相抄袭啊 看谁的好就抄过来 Flink支持在runtime中的有环数据流，这样表示机器学习算法更有效而且更有效率
桃子红了呐
2336 0
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    阿里封神谈hadoop生态学习之路
  • 2
    Spark in action on Kubernetes - Playground搭建与架构浅析
  • 3
    梨视频：基于阿里云E-MapReduce搭建视频推荐系统的实践
  • 4
    基于Alluxio系统的Spark DataFrame高效存储管理技术
  • 5
    HIVE MapJoin异常问题处理总结
  • 6
    漫谈分布式计算框架
  • 7
    5W1H(六何分析法)全景洞察大数据
  • 8
    助力云上开源生态 - 阿里云开源大数据平台的发展
  • 9
    Apache Spark 3.0 将内置支持 GPU 调度
  • 10
    Flume NG 简介及配置实战
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    73
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    232
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    145
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    55
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    399
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117487
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    393
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    194
  • 9
    1688API接口推荐：1688口令转换真实链接接口
    12
  • 10
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第七阶段
  • Apache Flink 入门到实战 - Flink开源社区出品
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门

    • 相关电子书

    更多
  • Hybrid Cloud and Apache Spark
  • Scalable Deep Learning on Spark
  • Comparison of Spark SQL with Hive

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）