1. 云栖社区>
  2. 全部标签>
  3. #stream#
stream

#stream#

已有1人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

Spark 【问答合集】

如何使用spark将kafka主题中的writeStream数据写入hdfs?https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时,在“停机时间”期间发生了什么?https://yq.aliy…

大数据 hdfs 函数 Json 集群 问答 控制台 spark aliyun DataFrame ask stream Hive 流数据

stream如何实现分组后,多个字段分别求和?

比如user对象,我用性别分组,怎么即算出年龄总和,又算出身高总和 本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。

云栖社区 java aliyun stream

互联网大数据时代的实时计算需求,你打算用什么方式来应对?

现在互联网大数据背景下,由于数据得到广泛应用之后,数据的价值随着时间的流逝而降低,所以事件出现后必须尽快对它们进行处理,最好事件出现时便立刻对其进行处理,发生一个事件进行一次处理,而不是缓存起来成一批处理。实时计算引擎近些也随之崛起,比如…

大数据 SQL 互联网 aliyun stream 报表 流计算

千万QPS的缓存!Redis 5.0最新的Stream数据结构,你还在等什么?

讲到Redis大家都很熟悉,Redis是意大利西西里岛帅哥Salvatore Sanfilippo的开源作品~,2009年诞生,走到2019年已经十周年了~Redis最大的特点就是快,访问延时在1ms内,同时单实例性能就能达到10w+ Q…

redis 消息队列 性能 日志 线程 互联网 高并发 qps aliyun 云数据库 多线程 stream 数据结构 存储 数据类型

Stream函数式操作流元素是否比for性能高?

Stream函数式操作流元素是否比for性能高?

java 函数 性能 stream

post请求返回302是为什么

使用一句话识别RESTful API以POST方式请求返回的是 HTTP/1.1 302 FoundServer: Tengine Date: Thu, 28 Mar 2019 02:52:56 GMTContent-Type: text…

云栖社区 Server stream html

post请求返回302是什么问题

302 Found The requested resource resides temporarily under a different URI. Powered by Tengine

云栖社区 语音识别 Server stream html

Spark Streaming Kafka Stream批处理执行

Spark Streaming Kafka Stream批处理执行

spark stream

Flink 如何支持动态sql ?

flnk 新手一枚。。我理解flink stream = 动态table, 但是sql里的 where语句条件能否使用stream/source的值。 example: DataStream<String> input…

云栖社区 分布式系统与计算 SQL url stream source input flink

请教大家一个问题,spark stream连kafka,在web页面的stream标签,显示好多batch处于queued状态,这些batch是已经把数据从kafka读取进rdd,等待处理,还是还没有从kafka读取数进rdd?

请教大家一个问题,spark stream连kafka,在web页面的stream标签,显示好多batch处于queued状态,这些batch是已经把数据从kafka读取进rdd,等待处理,还是还没有从kafka读取数进rdd?

web spark stream

flink如何计算设备离网

场景描述设备工作期间每隔固定周期(比如30s)就往kafka发送采集到的数据,当设备超过15分钟没有上报数据,则认为设备离网了。如何每隔10分钟计算出设备在该10分钟时间段内的离网时长? 按我的理解(可能有错,请多指正),stream不设…

实时系统 spark stream flink

RichAllWindowFunction的open方法在什么时候被触发

如题 还有, 自定义的RichAllWindowFunction应该怎样使用才能触发open方法. var filteredstream = inputStream .flatMap(buildHbaseMsg(_)) .filter…

open stream unit input flink

[@小川游鱼][¥20]kafka的消费者stream iterator block,读不出消息?

rt,能够向kafka produce数据,kafka里也看得到,但是consumer却读不出数据,offset是0,程序在stream的iterator被阻塞了。demo代码如下: import java.util.HashMap;im…

编程语言 java Consumer stream class PUT session Group Commit zookeeper hashmap

Apache Flink:使用filter()或split()来分割流?

我有一个来自Kafka的DataStream,它对MyModel中的一个字段有两个可能的值。MyModel是一个pojo,其中包含来自Kafka的消息解析的特定于域的字段。 DataStream stream = env.addSourc…

Apache stream flink

在Spark Stream中保存PairRdd时出错[重复]

我试图在spark流中保存我的Pair Rdd但在最后一步保存时出错。 这是我的示例代码 def main(args: Array[String]) { val inputPath = args(0) val output = args(…

hadoop Apache spark string stream input

在追加模式下激活水印和窗口

下面结构化的流媒体代码水印和窗口数据,24小时间隔,15分钟幻灯片。代码在附加模式下仅生成空的批处理0。在更新模式下,结果会正确显示。需要附加模式,因为S3接收器仅在附加模式下工作。 String windowDuration = "24…

spark string stream arraylist input

使用AvroParquetWriter将flink接收到parquet文件不会将数据写入文件

我正在尝试使用AvroParquetWriter将parquet文件写为接收器。文件已创建但长度为0(未写入数据)。无法清楚问题在哪里? import io.eels.component.parquet.ParquetWriterConf…

hadoop Apache path scala stream PUT schema source flink

如何使用writeFileAsText(path)写入文件时传递动态路径?

假设我有一个包含类型元素的Stream String。我想将流中的每个元素写入某个文件夹中的单独文件。我正在使用以下设置。 stream.writeAsText(path).setParallelism(1);如何使这条路径动态化?我甚至…

path string stream flink

Flink窗口:聚合和输出到接收器

我们有一个数据流,其中每个元素都是这种类型: id: Stringtype: Typeamount: Integer我们希望聚合此流并输出amount每周一次的总和。 当前解决方案 示例flink管道将如下所示: stream.keyBy…

函数 数据流 解决方案 stream update type last flink

Flink中复杂的优化(多输入)集成测试

我需要为flink流式优化编写单元测试。它基本上是一个CoFlatMapFunction,它有2个输入。 我尝试从这个页面获得一些灵感:https://ci.apache.org/projects/flink/flink-docs-sta…

Apache 测试 stream html 单元测试 flink

3
GO