1. 云栖社区>
  2. 全部标签>
  3. #流数据#
流数据

#流数据#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs?https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么?https://yq.aliy…

大数据 hdfs 函数 Json 集群 问答 控制台 spark aliyun DataFrame ask stream Hive 流数据

请问下大家,PG数据源目前支持kafka吗?或者有没有其他流数据源支持?

请问下大家,PG数据源目前支持kafka吗?或者有没有其他流数据源支持?本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

云栖社区 PostgreSQL aliyun 流数据

flink的时间窗口怎么写?

转自钉钉群21789141:flink的时间窗口怎么写.window(TumblingEventTimeWindows.of(Time.seconds(5)))算子直接这样写就行了么?里面的多道流数据处理写在哪啊?

钉钉 flink 流数据

pyspark - 在json流数据中找到max和min usign createDataFrame

我有一组由Kafka流式传输的json消息,每个消息都描述一个网站用户。使用pyspark,我需要计算每个国家/地区每个流媒体窗口的用户数,并返回具有最大和最小用户数的国家/地区。 以下是流式json消息的示例: {"id":1,"fir…

SQL Json spark schema email parse 流数据

生成“假”流数据。

我尝试生成流数据,以模拟我收到两个值的情况,Integer类型,在不同的时间范围内,带有时间戳,Kafka作为连接器。 我使用Flink环境作为消费者,但我不知道哪个是生产者的最佳解决方案。(如果可能,Java语法优于Scala) 我应该…

java scala 解决方案 flink 流数据

Apche Flink - 活动时间

我想为Apache flink中的事件创建一个事件时钟。我是按照以下方式做的public class TimeStampAssigner implements AssignerWithPeriodicWatermarks> { pr…

Apache class flink 流数据

Flink批处理接收器

我试图以流式和批量方式使用flink,将大量数据添加到Accumulo(每分钟几百万)。我想在将记录发送到Accumulo之前批量记录。我从目录或通过kafka摄取数据,使用flatmap转换数据,然后传递给RichSinkFunctio…

函数 flink 流数据

如何在时间窗口内获取最新值

这就是我的流数据: time id group 1 a1 b1 2 a1 b2 3 a1 b3 4 a2 b3 在我们的窗口中考虑上面的所有示例 我的用例获取最新的独特ID。 我需要输出如下: time i…

string class Group unit input flink 流数据

Flink 1.6 bucketing sink HDFS文件卡在.in-progress中

我正在将Kafka数据流写入HDFS路径中的bucketing sink。卡夫卡发出了字符串数据。使用FlinkKafkaConsumer010从Kafka使用 -rw-r--r-- 3 ubuntu supergroup 40…

hdfs hadoop ubuntu 函数 Oracle 数据流 flink 流数据

如何缓存spark streaming Dataset <Row>

我有一个sparkDataset,它流式传输csv文件的目录。所以我有这些问题: 如何缓存流数据集。如何在YARN中提交我的spark流媒体作业,我的流媒体作业应该永远运行,直到用户手动中断。

spark csv 流数据

Spark Streaming Kafka Stream批处理执行

我目前正在实现一个从Kafka主题流式传输数据的应用程序。 是否常常使用应用程序仅运行一次批处理,例如,当天结束,收集主题中的所有数据,进行一些聚合和转换等等? 这意味着在使用spark-submit启动应用程序后,所有这些内容将在一个批…

spark stream 流数据

阿里云实时计算 Flink适用场景?

阿里云实时计算 Flink提供类标准的Flink SQL语义协助用您完成流式计算逻辑的处理。同时,受限于SQL代码功能无法满足某些特定场景的业务需求,阿里云实时计算 Flink为部分授信用户提供全功能的UDF函数,帮助授信用户完成业务定制化…

函数 SQL 数据处理 数据分析 流式计算 UDF flink 实时计算 流数据

实时计算 Flink是什么?

转自实时计算:实时计算 Flink是什么?目前对信息高时效性、可操作性的需求不断增长,这要求软件系统在更少的时间内能处理更多的数据。传统的大数据处理模型将在线事务处理和离线分析从时序上将两者完全分割开来,但显然该架构目前已经越来越落后于人…

大数据 架构 数据处理 数据流 离线分析 flink 实时计算 流数据

如何利用内存技术构建大数据服务平台?

随着大数据、云计算等技术的应用和普及,创新的企业用大数据解决方案的开发成为很多开发者与创业者的关注方向。传统的数据库面临着挑战:效率下降、数据集成代价大、无法处理多样性的数据等等。 传统搭建大数据分析服务的方式非常繁琐,不仅需要大数据模型…

大数据 架构 HTTPS 云栖大会 数据处理 数据库 express 运营 物联网 数据同步 开发框架 数据存储 文本分析 海量数据处理 流数据

1
GO