已有1人关注此标签
Spark 【问答合集】
作者： 社区小助手
533人浏览
2人回答
如何使用spark将kafka主题中的writeStream数据写入hdfs？https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时，在“停机时间”期间发生了什么？https://yq.aliy…
stream如何实现分组后，多个字段分别求和？
作者： 李博 bluemind
324人浏览
1人回答
比如user对象，我用性别分组，怎么即算出年龄总和，又算出身高总和 本问题来自云栖社区【阿里Java技术进阶2群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。
互联网大数据时代的实时计算需求，你打算用什么方式来应对？
作者： dataworks团队
5054人浏览
27人回答
现在互联网大数据背景下，由于数据得到广泛应用之后，数据的价值随着时间的流逝而降低，所以事件出现后必须尽快对它们进行处理，最好事件出现时便立刻对其进行处理，发生一个事件进行一次处理，而不是缓存起来成一批处理。实时计算引擎近些也随之崛起，比如…
千万QPS的缓存！Redis 5.0最新的Stream数据结构，你还在等什么？
作者： 云攻略小攻
9320人浏览
74人回答
讲到Redis大家都很熟悉，Redis是意大利西西里岛帅哥Salvatore Sanfilippo的开源作品~，2009年诞生，走到2019年已经十周年了~Redis最大的特点就是快，访问延时在1ms内，同时单实例性能就能达到10w+ Q…
post请求返回302是为什么
作者： 游客irm3nny572smk
211人浏览
2人回答
使用一句话识别RESTful API以POST方式请求返回的是 HTTP/1.1 302 FoundServer: Tengine Date: Thu, 28 Mar 2019 02:52:56 GMTContent-Type: text…
post请求返回302是什么问题
作者： 游客irm3nny572smk
170人浏览
1人回答
302 Found The requested resource resides temporarily under a different URI. Powered by Tengine
Flink 如何支持动态sql ？
作者： krystal.xu
660人浏览
1人回答
flnk 新手一枚。。我理解flink stream = 动态table, 但是sql里的 where语句条件能否使用stream/source的值。 example: DataStream<String> input…
请教大家一个问题，spark stream连kafka，在web页面的stream标签，显示好多batch处于queued状态，这些batch是已经把数据从kafka读取进rdd，等待处理，还是还没有从kafka读取数进rdd？
作者： 社区小助手
335人浏览
1人回答
请教大家一个问题，spark stream连kafka，在web页面的stream标签，显示好多batch处于queued状态，这些batch是已经把数据从kafka读取进rdd，等待处理，还是还没有从kafka读取数进rdd？
flink如何计算设备离网
作者： stevenchennet
451人浏览
2人回答
场景描述设备工作期间每隔固定周期（比如30s）就往kafka发送采集到的数据，当设备超过15分钟没有上报数据，则认为设备离网了。如何每隔10分钟计算出设备在该10分钟时间段内的离网时长？ 按我的理解（可能有错，请多指正），stream不设…
RichAllWindowFunction的open方法在什么时候被触发
作者： 乌野
419人浏览
1人回答
如题 还有, 自定义的RichAllWindowFunction应该怎样使用才能触发open方法. var filteredstream = inputStream .flatMap(buildHbaseMsg(_)) .filter…
[@小川游鱼][¥20]kafka的消费者stream iterator block，读不出消息？
作者： 晓生寒
329人浏览
0人回答
rt，能够向kafka produce数据，kafka里也看得到，但是consumer却读不出数据，offset是0，程序在stream的iterator被阻塞了。demo代码如下： import java.util.HashMap;im…
Apache Flink：使用filter（）或split（）来分割流？
作者： flink小助手
1290人浏览
1人回答
我有一个来自Kafka的DataStream，它对MyModel中的一个字段有两个可能的值。MyModel是一个pojo，其中包含来自Kafka的消息解析的特定于域的字段。 DataStream stream = env.addSourc…
在Spark Stream中保存PairRdd时出错[重复]
作者： 社区小助手
306人浏览
1人回答
我试图在spark流中保存我的Pair Rdd但在最后一步保存时出错。 这是我的示例代码 def main(args: Array[String]) { val inputPath = args(0) val output = args(…
在追加模式下激活水印和窗口
作者： 社区小助手
268人浏览
1人回答
下面结构化的流媒体代码水印和窗口数据，24小时间隔，15分钟幻灯片。代码在附加模式下仅生成空的批处理0。在更新模式下，结果会正确显示。需要附加模式，因为S3接收器仅在附加模式下工作。 String windowDuration = "24…
使用AvroParquetWriter将flink接收到parquet文件不会将数据写入文件
作者： flink小助手
1364人浏览
1人回答
我正在尝试使用AvroParquetWriter将parquet文件写为接收器。文件已创建但长度为0（未写入数据）。无法清楚问题在哪里？ import io.eels.component.parquet.ParquetWriterConf…
如何使用writeFileAsText（path）写入文件时传递动态路径？
作者： 社区小助手
380人浏览
1人回答
假设我有一个包含类型元素的Stream String。我想将流中的每个元素写入某个文件夹中的单独文件。我正在使用以下设置。 stream.writeAsText(path).setParallelism(1);如何使这条路径动态化？我甚至…
Flink窗口：聚合和输出到接收器
作者： 社区小助手
611人浏览
1人回答
我们有一个数据流，其中每个元素都是这种类型： id: Stringtype: Typeamount: Integer我们希望聚合此流并输出amount每周一次的总和。 当前解决方案 示例flink管道将如下所示： stream.keyBy…
Flink中复杂的优化（多输入）集成测试
作者： flink小助手
421人浏览
1人回答
我需要为flink流式优化编写单元测试。它基本上是一个CoFlatMapFunction，它有2个输入。 我尝试从这个页面获得一些灵感：https：//ci.apache.org/projects/flink/flink-docs-sta…
