1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. L>
  5. 流式数据

当前主题:流式数据

Knative 实战:基于阿里云 Kafka 实现消息推送

在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势。 背景 消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 fo

阅读全文

大流量直播应对方案

随着国内网民数量指数级增长,网络带宽环境的不断好转,直播网站如雨后春笋般大量泉涌,中国网络视频市场规模不断壮大。 网络视频的主要应用有视频点播、视频直播、视频通话会议等。 在表现形式上,视频直播包括现场演唱会的直播、新闻发布会的直播、奥运会的直播、电视剧的直

阅读全文

Java工程师学习指南(完结篇)

Java工程师学习指南 完结篇 先声明一点,文章里面不会详细到每一步怎么操作,只会提供大致的思路和方向,给大家以启发,如果真的要一步一步指导操作的话,那至少需要一本书的厚度啦。 因为笔者还只是一名在校生,所以写的内容主要还是针对Java初学者或者接触Java

阅读全文

云栖干货回顾 | 行业顶级NoSQL成员坐阵,NoSQL数据库专场重点解析!

NoSQL数据库作为数据库市场最重要的组成之一,它的一举一动都影响着成千上万的企业。本专场邀请了行业顶级的NoSQL核心成员与大家共同展望NoSQL数据库的未来,**阿里巴巴、MongoDB、Redisson、斗鱼等**公司的技术大咖与大家共同分享了阿里云N

阅读全文

SpringBoot2 整合 ClickHouse数据库,实现高性能数据查询分析

本文源码:GitHub·点这里 || GitEE·点这里 一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库,名字叫做ClickHouse,适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库,而是作为超高性能

阅读全文

一文读懂分布式架构知识体系(内含超全核心知识大图)

作者 | 晓土  阿里巴巴高级工程师 姊妹篇阅读推荐:**《**云原生时代,分布式系统设计必备知识图谱(内含22个知识点)**》** 导读:本文力求从分布式基础理论、架构设计模式、工程应用、部署运维、业界方案这几大方面,介绍基于 MSA(微服务架构)的分布式

阅读全文

使用Spark Streaming SQL进行PV/UV统计

作者:关文选,花名云魄,阿里云E-MapReduce 高级开发工程师,专注于流式计算,Spark Contributor 1.背景介绍 PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析,例如广告主可以通过PV值预估投放广告网页

阅读全文

使用Spark Streaming SQL进行PV/UV统计

1.背景介绍 PV/UV统计是流式分析一个常见的场景。通过PV可以对访问的网站做流量或热点分析,例如广告主可以通过PV值预估投放广告网页所带来的流量以及广告收入。另外一些场景需要对访问的用户作分析,比如分析用户的网页点击行为,此时就需要对UV做统计。 使用S

阅读全文

流式数据相关问答

查看更多 提问题

阿里云实时计算 Flink提供的编程接口是什么?如何编写流式数据处理逻辑?

阿里云实时计算 Flink提供Flink SQL编写业务逻辑,为流式数据分析定制多种数据处理函数和操作符。

阅读全文

阿里云实时计算 Flink支持哪几个流式数据输入?维表输入?结果表输出?

目前支持流式输入表有: 大数据总线(DataHub) 日志服务(LogService) 消息列队(MQ) 支持维表有: 表格存储(TableStore) 云数据库(RDS) 支持输出表有: 大数据总线(DataHub) 日志服务(

阅读全文

pyspark - 在json流数据中找到max和min usign createDataFrame

我有一组由Kafka流式传输的json消息,每个消息都描述一个网站用户。使用pyspark,我需要计算每个国家/地区每个流媒体窗口的用户数,并返回具有最大和最小用户数的国家/地区。 以下是流式json消息的示例: {"id":1,"first_na

阅读全文

数据工匠如何流式传输分类帐调度工作

我已阅读白皮书但关于Data Artisans Streaming Ledger,但发现它只包含如何使用框架的高级概述。 我正在寻找更深入的解释或研究论文,解释如何在内部完成多键事务调度,以及如何使用逻辑时钟来保证一致性。 有谁知道我在哪里可以找到

阅读全文

阿里云实时计算 Flink适用场景?

阿里云实时计算 Flink提供类标准的Flink SQL语义协助用您完成流式计算逻辑的处理。同时,受限于SQL代码功能无法满足某些特定场景的业务需求,阿里云实时计算 Flink为部分授信用户提供全功能的UDF函数,帮助授信用户完成业务定制化的数据处理逻辑。在流

阅读全文

Spark从本地文件流式传输到hdfs。textFileStream

我正在尝试将本地目录内容流式传输到HDFS。脚本将修改此本地目录,并且每5秒添加一次内容。我的spark程序将流式传输本地目录内容并将其保存到HDFS。但是,当我开始流式传输时,没有任何事情发生。我检查了日志,但我没有得到提示。 让我解释一下这个场景。s

阅读全文

什么是阿里云实时计算 Flink?

AliCloud RealtimeCompute Flink (阿里云实时计算 Flink)是运行在阿里云平台上的流式大数据分析平台,是为您在云上进行流式数据实时化分析的工具。

阅读全文

(Spark结构化流媒体)如何处理kafka主题中的旧数据

我开始使用spark结构化流媒体。 我通过waterMark从kafka主题(startOffset:latest)获取readStream,按窗口持续时间分组事件时间,并写入kafka主题。 我的问题是,如何在spark结构化流媒体作业之前处理写

阅读全文