备案控制台
探索云世界
开发者社区 大数据与机器学习 开源大数据平台 E-MapReduce 文章 正文

Apache Spark 系列技术直播 - Spark SQL 实践与优化

2018-11-23 3274
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： Apache Spark 系列技术直播 Spark SQL 实践与优化 内容简介： SparkSQL介绍 基本原理 支持的DataSource介绍 Hue/Zepplin/Livy周边跟SparkSQL的集成使用等 SparkSQL优化 SparkSQL Catalyst优化 AE优化 Shuffle优化 直播时间： 2018.

直播回看点我

Apache Spark 系列技术直播

Spark SQL 实践与优化

内容简介：

  • SparkSQL介绍

    • 基本原理
    • 支持的DataSource介绍
    • Hue/Zepplin/Livy周边跟SparkSQL的集成使用等

  • SparkSQL优化

    • SparkSQL Catalyst优化
    • AE优化
    • Shuffle优化

直播时间： 2018.11.27 周二 晚 19：00 - 20：00

欢迎加入钉钉收看直播

入群方式：
image

文章标签：
开源大数据平台 E-MapReduce
SQL
Apache
分布式计算
Spark
关键词：
SQL实践
SQL优化
技术apache spark
SQL技术
Apache优化
相关实践学习
数据湖构建DLF快速入门
本教程通过使⽤数据湖构建DLF产品对于淘宝用户行为样例数据的分析，介绍数据湖构建DLF产品的数据发现和数据探索功能。
快速掌握阿里云 E-MapReduce
E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上，利用开源大数据生态系统，包括 Hadoop、Spark、HBase，为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。 本课程主要介绍阿里云 E-MapReduce 的使用方法。
开源大数据EMR
目录
相关文章
xleesf
|
1月前
|
消息中间件 存储 大数据
快手基于Apache Hudi的实践
快手基于Apache Hudi的实践
xleesf
20 0
xleesf
|
1月前
|
SQL 关系型数据库 MySQL
Apache Hudi在信息服务行业构建流批一体的实践
Apache Hudi在信息服务行业构建流批一体的实践
xleesf
61 2
whisper1
|
1月前
|
SQL 存储 数据库
SQL实践篇（二）：为什么微信用SQLite存储聊天记录
SQL实践篇（二）：为什么微信用SQLite存储聊天记录
whisper1
59 1
桃李春风一杯酒
|
7天前
|
分布式计算 Hadoop 大数据
大数据技术与Python：结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性，阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce，Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop，可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop，以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
桃李春风一杯酒
23 1
汀丶人工智能
|
3天前
|
SQL 自然语言处理 测试技术
NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]
NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]
汀丶人工智能
34 6
NL2SQL进阶系列(4)：ConvAI、DIN-SQL等16个业界开源应用实践详解[Text2SQL]
汀丶人工智能
|
7天前
|
SQL 人工智能 自然语言处理
NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解Text2SQL
NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解Text2SQL
汀丶人工智能
24 2
NL2SQL进阶系列(2)：DAIL-SQL、DB-GPT开源应用实践详解Text2SQL
陌陌谣
|
7天前
|
SQL 监控 数据库
数据库管理与电脑监控软件：SQL代码优化与实践
本文探讨了如何优化数据库管理和使用电脑监控软件以提升效率。通过SQL代码优化，如使用索引和调整查询语句，能有效提高数据库性能。同时，合理设计数据库结构，如数据表划分和规范化，也能增强管理效率。此外，利用Python脚本自动化收集系统性能数据，并实时提交至网站，可实现对电脑监控的实时性和有效性。这些方法能提升信息系统稳定性和可靠性，满足用户需求。
陌陌谣
32 0
阿里云瑶池数据库SelectDB
|
28天前
|
SQL 数据可视化 Apache
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
阿里云数据库 SelectDB 内核 Doris 的 SQL 方言转换工具， Doris SQL Convertor 致力于提供高效、稳定的 SQL 迁移解决方案，满足用户多样化的业务需求。兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移。
阿里云瑶池数据库SelectDB
483 1
阿里云数据库内核 Apache Doris 兼容 Presto、Trino、ClickHouse、Hive 等近十种 SQL 方言，助力业务平滑迁移
xleesf
|
1月前
|
存储 SQL 分布式计算
Apache Hudi在Linkflow构建实时数据湖的生产实践
Apache Hudi在Linkflow构建实时数据湖的生产实践
xleesf
39 0
xleesf
|
1月前
|
存储 分布式计算 分布式数据库
字节跳动基于Apache Hudi构建EB级数据湖实践
字节跳动基于Apache Hudi构建EB级数据湖实践
xleesf
26 2
大数据与机器学习

开源大数据平台 E-MapReduce

热门文章

最新文章

  • 1
    使用Hive进行OSS数据处理的一个最佳实践
  • 2
    11月14日Spark社区直播【 Spark on Kubernetes & YARN】
  • 3
    欢迎加入Spark中国社区
  • 4
    开源大数据周刊-第91期
  • 5
    在 EMR 中使用 Mongo-Hadoop
  • 6
    开源大数据周刊-第35期
  • 7
    通过Spark SQL实时归档SLS数据
  • 8
    列式存储系列（一）C-Store
  • 9
    EMR Spark Runtime Filter性能优化
  • 10
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
  • 1
    基于阿里云向量检索 Milvus 版与 PAI 搭建高效的检索增强生成（RAG）系统
    45
  • 2
    通过阿里云向量检索 Milvus 版和通义千问快速构建基于专属知识库的问答系统
    194
  • 3
    EMR Notebook 开启公测，提供交互式数据分析平台
    139
  • 4
    Apache Hadoop入门指南：搭建分布式大数据处理平台
    34
  • 5
    阿里云向量检索 Milvus 版开启公测，助力企业打造高质量 AI 服务
    395
  • 6
    Paimon 与 Spark 的集成（二）：查询优化
    117460
  • 7
    阿里云 EMR Serverless Spark 版免费邀测中
    390
  • 8
    实用工具推荐：适用于 TypeScript 网络爬取的常用爬虫框架与库
    192
  • 9
    1688API接口推荐：1688按图搜索拍立淘数据接口
    288
  • 10
    【玩转幻兽帕鲁部署】阿里云幻兽帕鲁服务器搭建1分钟搞定：从入门到精通
    845

    • 相关课程

    更多
  • SQL Server on Linux入门教程
  • SQL入门与实践
  • 大数据实时计算框架Spark快速入门
  • Apache Flink 入门
  • 数据库及SQL/MySQL基础
  • SQL进阶及查询

    • 相关电子书

    更多
  • SQL Server 2017
  • GeoMesa on Spark SQL
  • 原生SQL on Hadoop引擎- Apache HAWQ 2.x最新技术解密malili

    • 相关实验场景

    更多
  • PolarDB for AI：在数据库中通过SQL实现AI能力
  • 玩转MaxCompute SQL! 30分钟搞定数据分析挖掘
  • 5分钟上手Flink MySQL连接器
  • 使用SQL语句实现数据插入、修改和删除操作
  • 使用SQL语句实现数据查询操作
  • 使用SQL语句管理索引

    • 推荐镜像

    更多
  • apache
  • packman
  • CPAN
    • 下一篇
    阿里云oss简介和使用流程