1. 云栖社区>
  2. 全部标签>
  3. #流计算#
流计算

#流计算#

已有2人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

云栖社区 分布式 大数据 实时系统 流式计算 分布式系统 file Commit 流计算 flink

Tablestore + Blink实战:交易数据的实时统计

交易数据的实时统计是电商网站一个核心功能,可以帮助用户实时统计网站的整体销售情况,快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算,给大家提供一个新使用方式。

云栖社区 数据存储与数据库 大屏 电商 Image 控制台 aliyun 表格存储 source varchar 存储 流计算 Blink flink 实时计算

搞懂分布式技术25:初探大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等。

分布式 大数据 storm hadoop Apache 数据处理 数据库 reduce 排序 spark 分布式计算 Hive Mapreduce 流计算

在Java大环境下.NET程序员如何夺得一线生机

在Java大环境下.NET程序员如何夺得一线生机先来看一组数据,从某招聘网站直接检索3-4w的岗位,会看到Java与.NET社会需求量的巨大差异,这里就不再对比高薪的岗位了,.NET的高薪岗位更是少的可怜:   笔者从业十余年,一直是在.NET圈子摸爬滚打,曾经也有几次机会可以转Java,但或许是懒惰,或许出于对微软的信任,也或许是相信市场供求关系的调整,总之,没有换过语言,一直追寻微软脚步,实践各种新技术并扩充知识面。

大数据 java 程序员 流计算

小红书如何实现高效推荐?解密背后的大数据计算平台架构

小红书作为生活分享类社区,目前有8500万用户,年同比增长为300%,大约每天有30亿条笔记在发现首页进行展示。推荐是小红书非常核心且重要的场景之一,本文主要分享在推荐业务场景中小红书的实时计算应用。

大数据 平台架构 Image Hive schema 报表 session 流计算 推荐系统

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

监控 TableStore SQL 日志 日志服务 SLS spark ots EMR 表格存储 流计算 sparkstreaming loghub StreamCompute 聚合

Apache Flink 零基础入门教程(六):状态管理及容错机制

本文主要分享内容如下: - 状态管理的基本概念; - 状态的类型与使用示例; - 容错机制与故障恢复;

大数据 Apache 数据处理 API 数据结构 存储 流计算 实时计算 入门教程 Apache_Flink

Apache Flink 零基础入门(五):流处理核心组件 Time&Window 深度解析

为什么要有 Window; Window 中的三个核心组件:WindowAssigner、Trigger 和 Evictor;Window 中怎么处理乱序数据,乱序数据是否允许延迟,以及怎么处理迟到的数据;最后我们梳理了整个 Window 的数据流程,以及 Window 中怎么保证 Exactly .

大数据 数据处理 存储 流计算 实时计算 入门教程 Apache_Flink

Apache Flink 零基础入门(二):开发环境搭建和应用的配置、部署及运行

本文主要面向于初次接触 Flink、或者对 Flink 有了解但是没有实际操作过的同学。希望帮助大家更顺利地上手使用 Flink,并着手相关开发调试工作。 课程内容包括: - Flink 开发环境的部署和配置 - 运行 Flink 应用(包括:单机 Standalone 模式、多机 S.

hdfs Apache 数据处理 配置 集群 开发环境 zookeeper 流计算 实时计算 apache_flink;

Apache Flink 零基础入门(一):基础概念解析

本文是根据 Apache Flink 基础篇系列直播整理而成,由 Apache Flink PMC 戴资力与阿里巴巴高级产品专家陈守元共同分享。Apache Flink 系列入门教程每周更新一期,持续推送。

Apache 数据处理 数据流 流计算 AI及大数据 Apache_Fink

用Flink取代Spark Streaming!知乎实时数仓架构演进

本文主要讲述知乎的实时数仓实践以及架构的演进,这包括以下几个方面: - 实时数仓 1.0 版本,主题:ETL 逻辑实时化,技术方案:Spark Streaming。 - 实时数仓 2.0 版本,主题:数据分层,指标计算实时化,技术方案:Flink Streaming。

大数据 架构 etl 日志 数据处理 spark 报表 流计算 flink 实时计算 AI及大数据

即将发版!Apache Flink 1.9 版本有哪些新特性?

文整理自开源大数据专场中阿里巴巴高级技术专家杨克特(鲁尼)先生的精彩演讲,主要讲解了Apache Flink过去和现在的发展情况,同时分享了对Apache Flink未来发展方向的理解。

大数据 SQL Apache Image runtime API Hive 流计算 Blink 实时计算 ApacheFlink Flink1.9.0

日均处理万亿数据!Flink在快手的应用实践与技术演进之路

本次的分享包括以下三个部分: 1. 介绍 Flink 在快手的应用场景以及目前规模; 2. 介绍 Flink 在落地过程的技术演进过程; 3. 讨论 Flink 在快手的未来计划。

大数据 数据处理 集群 source 磁盘 存储 流计算 实时计算 快手 应用案例 Apache_Flink

继续南山聊代码!Apache Kafka × Apache Flink Meetup · 深圳站

8 月 31 日,Apache Flink Meetup 深圳站来啦,继续南山聊代码!本次 Meetup 由 Apache Flink(以下简称 Flink)与 Apache Kafka 联合举办,邀请到来自 Confluent 、中国农业银行 、虎牙直播、数见科技以及阿里巴巴等五位技术专家为大家呈现 Kafka 与 Flink 的技术盛宴。

大数据 架构 引擎技术 SQL Apache 消息中间件 Image 流计算 kafka 大数据分析 推荐系统 实时计算 ApacheFlink

独家专访阿里集团副总裁贾扬清:我为什么选择加入阿里巴巴?

在这次访谈中,贾扬清向我们透露了他加入阿里的原因,并对他目前在阿里主要负责的工作做了详细说明,他不仅回顾了过去 6 年 AI 框架领域发生的变化,也分享了自己对于 AI 领域现状的观察和对未来发展的思考。

深度学习 大数据 算法 人工智能 流计算 实时计算 ApacheFlink AI及大数据

Flink 1.8.0中的状态生存时间特性:如何自动清理应用程序的状态

在本文中,我们将讨论引入状态生存时间特性的动机并讨论其相关用例。此外,我们还将演示如何使用和配置该特性。同时,我们将会解释Flink如何借用状态生存时间特性在内部管理状态,并对Flink 1.8.0中该功能引入的相关新特性进行一些展示。本文章最后对未来的改进和扩展作了展望。

Apache 数据处理 配置 存储 流计算 TTL 实时计算 Apache_Flink AI及大数据 State

25
GO