1. 云栖社区>
  2. 全部标签>
  3. #流式计算#
流式计算

#流式计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

spark streaming 流式计算-----容错(hbase幂等性修改)

在做流式计算过程中,最复杂最难做的莫过于数据幂等性修改操作的设计。先解释一下概念【幂等性操作】,幂等性概念来源于数学专业表示对一个表达式做多次相同的操作,表达式不会改变。例如:逻辑回归中的Sigmod函数,n次求导之后依然坚挺。

hbase hdfs 线程 spark 流式计算 表达式

助力“新基建” | 基于StreamWorks构建实时大数据处理平台

导语 2020年春节期间,一场突如其来的疫情在全国蔓延开来,打破了大家原有的工作生活节奏。疫情期间,大家宅在家就能随时看到实时的大数据疫情地图,可以随时刷到自己当前感兴趣的抖音视频,这一切背后依赖的最重要的技术,就是实时大数据处理技术。

大数据 数据库 数据流 数据分析 袋鼠云 同步 流式计算 url 离线计算 数据采集 数据存储 推荐系统 流数据

快速起步Apache Flink,这远比我们看到的更强大

Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期,Flink 是做 Batch 计算的,但是在 2014 年,StratoSphere 里面的核心成员孵化出 Flink,同年将 Flink 捐赠 Apache,并在后来成为 Apache 的顶级大数据项目,同时 Flink 计算的主流方向被定位为 Streaming,即用流式计算来做所有大数据的计算。

大数据 消息队列 Apache 数据处理 数据流 流式计算 netty 存储

核桃编程Delta Lake实时数仓应用实践

本文简述了核桃编程应用EMR建设Delta Lake实时数仓的实践。

大数据 架构 SQL Image 同步 流式计算 数据同步 编程 分区表 source

【云栖号案例 | 互联网 】万师傅使用云产品,上手简单、开箱即用、省去运维烦恼

万师傅搭配使用Dataworks集成所有使用MaxCompute时所需要配套的功能,解决了可视化调度、智能监控告警、数据权限控制等痛点。

大数据 redis 监控 消息队列 日志 数据库 互联网 数据仓库 微服务 流式计算 MaxCompute

小米流式平台架构演进与实践

小米业务线众多,从信息流,电商,广告到金融等覆盖了众多领域,小米流式平台为小米集团各业务提供一体化的流式数据解决方案,主要包括数据采集,数据集成和流式计算三个模块。目前每天数据量达到 1.2 万亿条,实时同步任务 1.5 万,实时计算的数据 1 万亿条。

大数据 架构 监控 消息队列 SQL 模块 数据处理 配置 平台架构 spark 流式计算 流计算 flink 实时计算 实时数仓

阿里巴巴 29 个屌炸天的开源项目

众所周知,阿里巴巴是 apache基金会成员、Linux基金会成员,同时是Xen顾问委员会成员。上述身份可见阿里在开源方面的重视程度,阿里通过开源贡献更多技术、分享更多理念。其开源的很多项目大受欢迎,今日就来盘点阿里 29 个开源项目,你用过几个,哪个最好用,欢迎在留言区告诉我。

分布式 架构 java 高可用 spring 配置 微服务 中间件 容器 负载均衡 流式计算 解决方案 alibaba github

表格存储触发函数计算示例之 Nodejs/Php/Java/C# Runtime

创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,从而实现OTS数据发生变更时候定制化的自动处理。本教程作为补充,通过代码示例说明在其他runtime下怎么玩转Table Store触发器。

php java 函数 runtime 弹性伸缩 流式计算 aliyun 表格存储 html handler github serverless 函数计算

实时计算最佳实践:基于表格存储和Blink的大数据实时计算

表格存储是阿里云自研的NoSQL多模型数据库,提供PB级结构化数据存储、千万TPS以及毫秒级延迟的服务能力。在实时计算场景里,表格存储强大的写入能力和多模型的存储形态,使其不仅可以作为计算结果表,同时也完全具备作为实时计算源表的能力。

架构 分布式系统与计算 消息队列 性能 SQL 阿里技术协会 数据库 流式计算 aliyun 表格存储 varchar 存储 流计算 Blink

Flink Forward Asia 2019 | 总结和展望(附PPT)

11 月 28 - 30 日,北京迎来了入冬以来的第一场雪,2019 Flink Forward Asia(FFA)也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷,FFA 实际到会人次超过 2000,同比去年增加近 100%。

Apache 流式计算 存储

Flink Forward Asia 2019 | 总结和展望(附PPT)

11 月 28 - 30 日,北京迎来了入冬以来的第一场雪,2019 Flink Forward Asia(FFA)也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷,FFA 实际到会人次超过 2000,同比去年增加近 100%。

Apache 流式计算 存储

Flink Forward Asia 2019 - 总结和展望(附PPT下载链接)

11 月 28 - 30 日,北京迎来了入冬以来的第一场雪,2019 Flink Forward Asia(FFA)也在初雪的召唤下顺利拉开帷幕。尽管天气寒冷,FFA 实际到会人次超过 2000,同比去年增加近 100%。

Apache 流式计算 存储 kubernetes flink Streaming stateful

Flink最佳实践(二)Flink流式计算系统

前言 在 Flink最佳实践(一)流式计算系统概述 中,我们详细讨论了流式计算系统中 时域、窗口、时间推理与正确性工具 等概念。 本文将以这些概念为基础,逐一介绍 Flink 的 发展背景、核心概念、时间推理与正确性工具、安装部署、客户端操作、编程API 等内容,让开发人员对 Flink 有较为全面的认识并拥有一些基础操作与编程能力。

windows 数据流 集群 流式计算 scala API string session 存储 input 流计算 flink

Flink最佳实践(一)流式计算系统概述

前言 传统的批处理拥有巨大 吞吐量 的优势,但是随之而来的是极其 高延迟 的缺陷。 随着大数据系统的不断发展,传统的批处理已然无法全部满足对 时效性 要求愈加严苛的业务需求。 为了适应逐渐变得 「实时」 的年代,大数据系统架构也由简单的批处理转向批流混合的Lambda架构,最后可能会逐渐演变成只有流计算的 高精准高时效 的Kappa架构。

数据流 流式计算 流计算 flink 流数据

开源大数据生态下的 Flink 应用实践

11 月 28-30 日,Flink Forward Asia 邀请来自阿里巴巴、戴尔科技集团、英特尔、Cloudera、趣头条、百度、Stream Native 等不同方向的技术专家围绕 Apache Flink 核心大数据生态探讨当下大数据的发展趋势与未来动向,并展现相关技术在一线生产场景的优秀实践。

大数据 SQL Apache 流式计算 开源大数据 Hive 培训 流计算 数据管理 实时计算 ClickHouse ApacheFlink

Ververica Platform-阿里巴巴全新Flink企业版揭秘

本文主要从Ververica由来开始谈起,着重讲了Ververica Platform的四个核心插件App Manager、Libra Service、Stream Ledger、Gemini,以及阿里巴巴实时计算云原生版本相关特性及典型应用场景。

大数据 数据处理 集群 流式计算 插件 存储 流计算 实时计算 云原生 ApacheFlink Ververica

数据中台交付专家告诉你,数据架构的分层怎样更加合理?

作者:柯根 更多内容详见数据中台官网 https://dp.alibaba.com从整体上看,数据中台体系架构可分为:数据采集层、数据计算层、数据服务层三大层次。通过这三大层次对上层数据应用提供数据支撑。

大数据 架构 日志 数据分析 流式计算 云平台 数据采集 数据存储 海量数据

14
GO