已有0人关注此标签
Spark 【问答合集】
作者： 社区小助手
533人浏览
2人回答
如何使用spark将kafka主题中的writeStream数据写入hdfs？https://yq.aliyun.com/ask/493211当Spark在S3上读取大数据集时，在“停机时间”期间发生了什么？https://yq.aliy…
请问下大家，PG数据源目前支持kafka吗？或者有没有其他流数据源支持？
作者： 游客886
107人浏览
1人回答
请问下大家，PG数据源目前支持kafka吗？或者有没有其他流数据源支持？本问题来自云栖社区【PostgreSQL技术进阶社群】。https://yq.aliyun.com/articles/690084 点击链接欢迎加入社区大社群。
flink的时间窗口怎么写？
作者： 赵慧
283人浏览
1人回答
转自钉钉群21789141：flink的时间窗口怎么写.window(TumblingEventTimeWindows.of(Time.seconds(5)))算子直接这样写就行了么？里面的多道流数据处理写在哪啊？
pyspark - 在json流数据中找到max和min usign createDataFrame
作者： 社区小助手
419人浏览
1人回答
我有一组由Kafka流式传输的json消息，每个消息都描述一个网站用户。使用pyspark，我需要计算每个国家/地区每个流媒体窗口的用户数，并返回具有最大和最小用户数的国家/地区。 以下是流式json消息的示例： {"id":1,"fir…
Apche Flink - 活动时间
作者： flink小助手
282人浏览
1人回答
我想为Apache flink中的事件创建一个事件时钟。我是按照以下方式做的public class TimeStampAssigner implements AssignerWithPeriodicWatermarks> { pr…
Flink批处理接收器
作者： flink小助手
395人浏览
1人回答
我试图以流式和批量方式使用flink，将大量数据添加到Accumulo（每分钟几百万）。我想在将记录发送到Accumulo之前批量记录。我从目录或通过kafka摄取数据，使用flatmap转换数据，然后传递给RichSinkFunctio…
如何在时间窗口内获取最新值
作者： flink小助手
279人浏览
1人回答
这就是我的流数据： time id group 1 a1 b1 2 a1 b2 3 a1 b3 4 a2 b3 在我们的窗口中考虑上面的所有示例 我的用例获取最新的独特ID。 我需要输出如下： time i…
Flink 1.6 bucketing sink HDFS文件卡在.in-progress中
作者： flink小助手
629人浏览
1人回答
我正在将Kafka数据流写入HDFS路径中的bucketing sink。卡夫卡发出了字符串数据。使用FlinkKafkaConsumer010从Kafka使用 -rw-r--r-- 3 ubuntu supergroup 40…
如何缓存spark streaming Dataset <Row>
作者： 社区小助手
361人浏览
1人回答
我有一个sparkDataset，它流式传输csv文件的目录。所以我有这些问题： 如何缓存流数据集。如何在YARN中提交我的spark流媒体作业，我的流媒体作业应该永远运行，直到用户手动中断。
Spark Streaming Kafka Stream批处理执行
作者： 社区小助手
453人浏览
1人回答
我目前正在实现一个从Kafka主题流式传输数据的应用程序。 是否常常使用应用程序仅运行一次批处理，例如，当天结束，收集主题中的所有数据，进行一些聚合和转换等等？ 这意味着在使用spark-submit启动应用程序后，所有这些内容将在一个批…
阿里云实时计算 Flink适用场景？
作者： 李博 bluemind
426人浏览
1人回答
阿里云实时计算 Flink提供类标准的Flink SQL语义协助用您完成流式计算逻辑的处理。同时，受限于SQL代码功能无法满足某些特定场景的业务需求，阿里云实时计算 Flink为部分授信用户提供全功能的UDF函数，帮助授信用户完成业务定制化…
实时计算 Flink是什么？
作者： 李博 bluemind
504人浏览
2人回答
转自实时计算：实时计算 Flink是什么？目前对信息高时效性、可操作性的需求不断增长，这要求软件系统在更少的时间内能处理更多的数据。传统的大数据处理模型将在线事务处理和离线分析从时序上将两者完全分割开来，但显然该架构目前已经越来越落后于人…
如何利用内存技术构建大数据服务平台？
作者： xuzhengjun
22624人浏览
106人回答
随着大数据、云计算等技术的应用和普及，创新的企业用大数据解决方案的开发成为很多开发者与创业者的关注方向。传统的数据库面临着挑战：效率下降、数据集成代价大、无法处理多样性的数据等等。 传统搭建大数据分析服务的方式非常繁琐，不仅需要大数据模型…
