1. 云栖社区>
  2. 全部标签>
  3. #大数据#
大数据

#大数据#

已有267人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

一道真实的面试题 | 如何保证消息队列的高可用

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 面试题:如何保证消息队列的高可用? 面试官心理分析 如果你的简历里写了MQ,如果有人问到你 MQ 的知识,高可用是必问的。

云栖社区 分布式 大数据 消息队列 高可用 镜像 集群 同步 MQ 数据同步 面试题

SparkSQL的3种Join实现

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 引言 Join是SQL语句中的常用操作,良好的表结构能够将数据分散在不同的表中,使其符合某种范式,减少表冗余、更新容错等。

云栖社区 分布式 大数据 算法 集群 Image spark HASH Driver Shuffle

你有必要了解一下Flink底层RPC使用的框架和原理

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 对于Flink中各个组件(JobMaster、TaskManager、Dispatcher等),其底层RPC框架基于Akka实现,本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

RPC 大数据 线程 string Akka class flink

听说你熟悉Flink-On-Yarn的部署模式?

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 前言 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。

大数据 集群 flink

浅谈数据同步之道

大数据 Image 数据同步

Spark中几种ShuffleWriter的区别你都知道吗?

一.前言 在Spark中有三种shuffle写,分别是BypassMergeSortShuffleWriter、UnsafeShuffleWriter、SortShuffleWriter。分别对应三种不同的shuffleHandle。

大数据 排序 spark 磁盘 数据结构 存储

Flink在大规模状态数据集下的checkpoint调优

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 今天接到一个同学的反馈问题,大概是: Flink程序运行一段时间就会报这个错误,定位好多天都没有定位到。

大数据 java hdfs hadoop Apache runtime Server 存储 flink

使用Flink实现索引数据到Elasticsearch

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 欢迎您关注《大数据成神之路》 使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。

大数据 配置 索引 string Elasticsearch void 存储 flink

Apache Flink:Keyed Window与Non-Keyed Window

5万人关注的大数据成神之路,不来了解一下吗?5万人关注的大数据成神之路,真的不来了解一下吗?5万人关注的大数据成神之路,确定真的不来了解一下吗? Apache Flink中,Window操作在流式数据处理中是非常核心的一种抽象,它把一个无限流数据集分割成一个个有界的Window(或称为Bucket),然后就可以非常方便地定义作用于Window之上的各种计算操作。

云栖社区 大数据 Apache Image string stream 编程 flink

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

云栖社区 分布式 大数据 实时系统 流式计算 分布式系统 file Commit 流计算 flink

Flink 网络传输优化技术

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 作为工业级的流计算框架,Flink 被设计为可以每天处理 TB 甚至 PB 级别的数据,所以如何高吞吐低延迟并且可靠地在算子间传输数据是一个非常重要的课题。

大数据 性能 线程 数据流 Image Server 序列 netty 数组 network flink

阿里云优惠券领取 购买云服务器ECS最新有优惠

在为数不多的国内云服务品牌当中,阿里云素来就有基建狂魔的美誉! 它直接面向数量众多的中小微企业并为其赋能,同时发力于商业、物联领域内的基础设施,致力于通过先进的云技术来实施惠及全球的使命!“目前,阿里云在新金融、新零售以及新数据等战略节点上极具优势,无疑正在布局云服务未来应用前景!”阿里云服务器教程网负责人表示说。

大数据 飞天 ECS 云服务器 云安全 基础设施 电商 主机 阿里云服务器 aliyun 云数据库 云服务 物联网 html

使用spark-redis组件访问云数据库Redis

本文演示了在Spark Shell中通过spark-redis组件读写Redis数据的场景。所有场景在阿里云E-MapReduce集群内完成,Redis使用阿里云数据库Redis。

数据存储与数据库 移动开发与客户端 网络与数据通信 大数据 redis Apache shell 集群 spark scala DataFrame 云数据库 string EMR 安全问道

史上最强攻略!手把手教你建「数据中台」!

文章转自「首席数字官」 ID:ChiefDigitalOfficer 作者:李国欢 4 月 24 日晚,由数澜科技联合锦囊专家共同打造的《数据中台硬核汇》系列线上微课第一讲火热开启。1000 位 CXO 同时收听,群友累计提问 30+,问嗨全场!本文为本次微课分享内容整理,错过 24 日晚微课的同学不要慌,干货文章已备好,快来尝鲜吧! 「DT时代真的来了!今天,我国整个行业的模式已经发生了变化,从互联网+、智能到智慧,再到大数据和人工智能等技术在各应用场景中的作用发挥等等,这一切的发生均为企业发展注入了全新的活力。

大数据 数据应用 数据中台 数澜科技

Apache Cassandra 从入门到精通

为了营造一个开放的 Cassandra 技术交流环境,和国内对 Cassandra 感兴趣的开发者进行交流,我们准备在近期写一个 Apache Cassandra 从入门到精通的系列文章,具体文章目录如下(如果大家有补充的可以在下面留言),可以点进去的说明是写完的。

云栖社区 大数据 架构 Apache 数据库 钉钉 aliyun Cassandra 容灾 数据类型 数据存储

「数据治理那点事」系列之二:手握数据「户口本」,数据治理肯定稳!

这篇文章主要从数据治理的基础和核心之一:元数据入手,从以下几个角度展开具体讲解: 元数据概念 元数据的分布和采集 元数据的一些实际应用场景 一、元数据到底是个啥? 如果我说:元数据(Meta Data),就是描述数据的数据。

大数据 数据存储 数据管理 数据治理

1749
GO