1. 云栖社区>
  2. 全部标签>
  3. #流式计算#
流式计算

#流式计算#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Apache Flink Meetup · 北京站,可能有你最想听的内容!

9 月 21日,Flink 社区邀请了来自小米、贝壳找房、intel 以及 Apache Flink PMC 相聚北京,解读 Flink 在大型企业应用实践、实时数仓建设、性能优化以及 Flink 1.9 重大新增功能特性。

python 大数据 性能优化 Apache 数据处理 流式计算 API 流计算 推荐系统 实时计算 知识图谱 Apache_Flink

浅谈分布式计算的开发与实现(二)

实时计算 接上篇,离线计算是对已经入库的数据进行计算,在查询时对批量数据进行检索、磁盘读取展示。 而实时计算是在数据产生时就对其进行计算,然后实时展示结果,一般是秒级。 举个例子来说,如果有个大型网站,要实时统计用户的搜索内容,这样就能计算出热点新闻及突发事件了。

云栖社区 编程语言 分布式 redis Java核心技术 java storm 消息队列 程序员 流式计算 分布式计算 离线计算 磁盘 后端开发

8月28日社区直播【Spark Streaming SQL流式处理简介】

本次直播将简要介绍EMR Spark Streaming SQL,主要包含Streaming SQL的语法和使用,最后做demo演示

云栖社区 编程语言 大数据 SQL 钉钉 spark 流式计算 aliyun e-mapreduce EMR demo 安全问道

8月28日社区直播【Spark Streaming SQL流式处理简介】

本次直播将简要介绍EMR Spark Streaming SQL,主要包含Streaming SQL的语法和使用,最后做demo演示

nginx 数据存储与数据库 大数据 SQL 钉钉 spark 流式计算 aliyun e-mapreduce EMR demo 安全问道

Flink Exactly-Once 投递实现浅析

5万人关注的大数据成神之路,不来了解一下吗? 5万人关注的大数据成神之路,真的不来了解一下吗? 5万人关注的大数据成神之路,确定真的不来了解一下吗? 随着近来越来越多的业务迁移到 Flink 上,对 Flink 作业的准确性要求也随之进一步提高,其中最为关键的是如何在不同业务场景下保证 exactly-once 的投递语义。

云栖社区 分布式 大数据 实时系统 流式计算 分布式系统 file Commit 流计算 flink

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

nginx 系统研发与运维 移动开发与客户端 大数据 监控 SQL 日志 集群 Image 控制台 spark 流式计算 string EMR 表格存储

海量监控日志基于EMR Spark Streaming SQL进行实时聚合

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能,支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源,收集ECS上的日志数据,通过Spark Streaming SQL进行聚合后,将流计算结果数据实时写入Tablestore,展示一个简单的日志监控场景。

nginx 数据存储与数据库 移动开发与客户端 大数据 监控 SQL 日志 集群 Image 控制台 spark 流式计算 string EMR 表格存储

blink+tablestore实现无限扩展性,高实时汇总计算及排行榜

#问题背景 最近开始了一个全新的ugc项目,要求对用户的点赞,评论,转发等等的数据进行统计按权重进行积分,并进行排序。要求排行榜的实时性在5分钟内,最好能进行全实时的计算,要求高度的准确性。 实际工作中这样的场景是非常多的,主要是各种数据的实时汇总,比如用户购买总量,用户点赞总量, 商品销售总量,不是要历史的数据而是要现在最新的总量数据,这个数据可能是1天的汇总,也可能是数年的汇总。另一方面

数据存储与数据库 架构 分布式系统与计算 性能 阿里技术协会 数据库 Image 流式计算 表格存储 存储 数据存储

使用EMR-Kafka Connect进行数据迁移

本文介绍使用EMR Kafka Connect的REST API接口在Kafka集群间进行数据迁移,使用distributed模式。

云栖社区 系统软件 移动开发与客户端 Json Apache 数据库 配置 集群 Image 数据迁移 同步 流式计算 EMR 数据同步 安全问道

Flink-Redis-Sink

简介 流式计算中,我们经常有一些场景是消费Kafka数据,进行处理,然后存储到其他的数据库或者缓存或者重新发送回其他的消息队列中。本文讲述一个简单的Redis作为Sink的案例。后续,我们会补充完善,比如落入Hbase,Kafka,Mysql等。

大数据 redis 消息队列 流式计算 string static Consumer class flink

【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

现在还没有一个统一的流式SQL语法标准,各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题,社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持,也会在后续的更新中吸收和支持这些优秀的设计建议。

云栖社区 系统软件 系统研发与运维 网络与数据通信 大数据 SQL Apache Image 流式计算 表达式

使用Spark Streaming SQL基于时间窗口进行数据统计

使用Spark Streaming SQL可以很方便的对事件数据中的时间字段进行处理,同时Spark Streaming SQL提供的时间窗口函数可以将事件时间按照一定的时间区间对数据进行统计操作。 本文通过讲解一个统计用户在过去5秒钟内点击网页次数的案例,介绍如何使用Spark Streaming SQL对事件时间进行操作。

系统软件 数据存储与数据库 系统研发与运维 大数据 SQL 日志 spark 流式计算 Create Group 数据统计

回顾 | 阿里云实时计算专场 · 北京站

6 月 30 日,阿里云实时计算专场北京站,由来自格灵深瞳的大数据总监与阿里巴巴产品专家、技术专家一起与大家探讨实时计算的应用实践与场景化解决方案。本文为沙龙现场回顾,含现场PPT下载链接。

大数据 架构 SQL 数据处理 高可用 流式计算 解决方案 流计算 人脸识别 沙龙 实时计算 Apache_Flink

使用Spark SQL进行流式机器学习计算(上)

今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理

大数据 算法 分布式系统与计算 SQL 测试 spark 流式计算 MLlib string sparkstreaming

DataSimba系列之流式计算

市场变化越来越快,企业对于数据及时性的需求,也越来越大,另一方面,当下数据容量呈几何倍暴增,数据的价值在其产生之后,也将随着时间的流逝,逐渐降低。 因此,我们最好在事件发生之后,迅速对其进行有效处理,实时,快速地处理新产生的数据,帮助企业快速地进行异常管理和有效决策,而不是待数据存储在一起之后,再进行批量处理。

分布式 大数据 架构 监控 hbase 数据库 spark 流式计算 离线计算 数据采集 数据存储 流计算 海量数据 多维分析 数据中台

通过Spark SQL实时归档SLS数据

流式计算和SQL 简要介绍Spark SQL流式开发语法 实时归档SLS数据到HDFS

云栖社区 数据存储与数据库 系统研发与运维 网络与数据通信 hdfs SQL SLS 配置 spark 流式计算 离线分析 schema Create

通过Spark SQL实时归档SLS数据

我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。

大数据 hdfs SQL SLS 配置 spark 流式计算 分布式计算 离线分析 schema Create 实时数仓

【线下活动】阿里云实时计算沙龙 · 北京站

现场体验阿里云实时计算在不同场景下最优解决方案,Flink在人脸识别等业务中的优异表现。

大数据 架构 SQL 流式计算 解决方案 流计算 Blink 人脸识别 flink 实时计算 公共云

通过WebUI查看Structured Streaming作业统计信息

从EMR-3.18.1版本开始,EMR将提供Spark Streaming SQL预览版功能。本次作为新特性的一部分,EMR将扩展现有Spark WebUI,支持Structured Streaming Query的统计信息查看。

大数据 SQL 数据处理 开源 spark 流式计算 e-mapreduce 分布式计算 EMR last input

13
GO