1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. S>
  5. 数据倾斜

当前主题:数据倾斜

开篇 | 揭秘 Flink 1.9 新架构,Blink Planner 你会用了吗?

本文为 Apache Flink 新版本重大功能特性解读之 Flink SQL 系列文章的开篇,Flink SQL 系列文章由其核心贡献者们分享,涵盖基础知识、实践、调优、内部实现等各个方面,带你由浅入深地全面了解 Flink SQL。 1. 发展历程 今年

阅读全文

Flink Checkpoint 问题排查实用指南

作者:邱从贤(山智) 在 Flink 中,状态可靠性保证由 Checkpoint 支持,当作业出现 failover 的情况下,Flink 会从最近成功的 Checkpoint 恢复。在实际情况中,我们可能会遇到 Checkpoint 失败,或者 Check

阅读全文

数据库实例性能调优利器-Performance Insights最佳实践

作者: 风移 Performance Insights是什么 阿里云RDS Performance Insights是RDS CloudDBA产品一项专注于用户数据库实例性能调优、负载监控和关联分析的利器,以简单直观的方式帮助用户迅速评估数据库负载,资源等待

阅读全文

阿里云智能--基础产品技术月刊 2019年8月

一、商用产品技术 TOP1 智能接入网关SAG发布集中控制台配置功能,提升企业客户网络管理维护效率 在规模较大的企业用户场景,企业线下IDC之间以及访问云上资源,会在多地域部署阿里云智能接入网关SAG,传统的本地web配置,因为IT管理人员经验和技能水平参差

阅读全文

DataWorks高级功能场景化案例分享

DataWorks高级功能场景化案例分享 自2009年DataWorks立项,伴随着阿里巴巴集团登月计划、公共云和专有云的发布,直到2018年V2.0的发布,DataWorks已经走过了十年的历程。本文主要分享了DataWorks商业化增值版本中高级功能,分

阅读全文

大数据学习路线分享函数+map映射+元祖

大数据学习路线分享函数+map映射+元祖,大数据各个平台上的语言实现 hadoop 由java实现,2003年至今,三大块:数据处理,数据存储,数据计算 存储: hbase --> 数据成表 处理: hive --> 数据仓库的工具 计算: mapreduc

阅读全文

Apache Flink 1.9重磅发布!首次合并阿里内部版本Blink重要功能

8月22日,Apache Flink 1.9.0 版本正式发布,这也是阿里内部版本 Blink 合并入 Flink 后的首次版本发布。此次版本更新带来的重大功能包括批处理作业的批式恢复,以及 Table API 和 SQL 的基于 Blink 的新查询引擎(

阅读全文

[译] 通过 Play Cloud 的 ART 优化配置提升应用性能

原文地址:Improving app performance with ART optimizing profiles in the cloud 原文作者:Calin Juravle 译文出自:掘金翻译计划 本文永久链接:github.com/xitu/go

阅读全文

数据倾斜相关问答

提问题

有木有大佬请教一下sparksql的join数据倾斜应该怎么处理呢,join的时候根据号码关联,但是某个号码出现次数特别多

![1](https://yqfile.alicdn.com/d74336ea6b8492c47c01b4108e063f6ffd19a39f.jpeg)

阅读全文

spark消费kafka 从kafka拉取数据部分Task特变慢

项目中使用了sparkStreaming去消费kafka中的数据。 发现了个问题,kafka一共30个分区,会起30个Task去拉取数据。在某些消费批次中会有个别Task从Kafka分区中拉取数据特别慢比别的Task慢了近10倍。直接拖慢了整个处理时

阅读全文

reversing会不会反而导致数据倾斜了

reversing会不会反而导致数据倾斜了

阅读全文

【Flink】GROUP BY 数据出现热点、数据倾斜

问题描述 当您发现作业处理的性能很差,提示了资源后性能有也没有明显提升时,可能是数据出现热点、数据倾斜的状况。

阅读全文