1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. G>
  5. 工作流

当前主题:工作流

工作流相关的问答

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

workflow这个功能很期待,想问下他的工作流之间的依赖关系是怎么建立的,是用户自己定义么?

阅读全文

odps sdk core支不支持查询已有的工作流或任务节点?

sdk: odps-sdk-core version: 0.29.8-public 该SDK支不支持对项目中已有的工作流、任务节点进行查询和编程式调用?

阅读全文

你好,我想问一下,我测试运行了一个工作流任务,工作流任务中 包含7个数据同步任务,后来因为某些原因终止了任务,一些节点已经运行完,一些还没有运行完,想问一下,那些没有运行完,即出现红叉的节点,会有数据插入到相对应的表里面吗?就是说,插入了一部分数据,然后被我终止,还是说,必须任务执行完,显示对号,数据才会插入到表中,中间终止任务,出现红叉,不会插入到数据到相对应的表?

你好,我想问一下,我测试运行了一个工作流任务,工作流任务中 包含7个数据同步任务,后来因为某些原因终止了任务,一些节点已经运行完,一些还没有运行完,想问一下,那些没有运行完,即出现红叉的节点,会有数据插入到相对应的表里面吗?就是说,插入了一部分数据,然后被我终

阅读全文

用Java写工作流

用java写一个工作流,类似于公司请假流程。我们组有三个人,想知道应该安排每个人应该做的部分才能在后期很好地融合

阅读全文

对象存储OSS中,新建工作流无法完成

![QQ_20160426165638](https://oss.aliyuncs.com/yqfiles/8a723bb38ae25a370ed7306c2c24beec6e7db13f.png) 在新建工作流时,在配置输入步骤中,转码管道没有选项,无

阅读全文

Spark写入流到IBM Cloud对象存储失败,“Access KEY为空。请提供有效的访问密钥“

我目前正在使用Apache Spark 2.3.2并创建一个管道来从文件系统中读取流csv文件,然后将其写入IBM Cloud对象存储。 我正在使用Stocator连接器。通过以下配置,对IBM COS的常规读取和写入工作正常。但是,读写流操作会抛出错误

阅读全文

(Spark结构化流媒体)如何处理kafka主题中的旧数据

我开始使用spark结构化流媒体。 我通过waterMark从kafka主题(startOffset:latest)获取readStream,按窗口持续时间分组事件时间,并写入kafka主题。 我的问题是,如何在spark结构化流媒体作业之前处理写

阅读全文

如何有效地计算来自一个源的多个flink流

例如: 有一个视频播放日志,格式为:user_id,video_id,play_duration,video_duration,country,request_date 我想计算: A.最后一分钟的比赛次数 B.今天的比赛数量 C

阅读全文

Apache Flink:不会触发流加入窗口

我正在尝试加入apache flink中的两个流来获得一些结果。 我的项目的当前状态是,我正在获取Twitter数据并将其映射到2元组,其中保存用户的语言和定义的时间窗口中的推文总和。我根据每种语言的推文数量和每种语言的转发数量来做这些。tweet /

阅读全文

Flink中一个作业中的多个作业或多个管道

我有一个用例,我希望在Flink上运行2个独立的处理流程。所以2流看起来像 Source1 - > operator1 - > Sink1 Source2 - > operator2 - > Sink2 我想为两个流重用相同的Flink集群。

阅读全文

Apache Flink 1.6.0 - StateTtlConfig和ListState

我正在使用Apache Flink 1.6.0实现概念验证流处理系统,并存储一个按键分区的接收事件列表ListState。(不要担心我为什么这样做,只是在这里和我一起工作。)我StateTtlConfig有一套相应的ListStateDescriptor。 根

阅读全文

Apache flink 1.52 Rowtime时间戳为空

我正在使用以下代码进行一些查询: env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); DataStream<Row> ds = SourceHelp.builde

阅读全文

Flink 1.6 bucketing sink HDFS文件卡在.in-progress中

我正在将Kafka数据流写入HDFS路径中的bucketing sink。卡夫卡发出了字符串数据。使用FlinkKafkaConsumer010从Kafka使用 -rw-r--r-- 3 ubuntu supergroup 4097694 20

阅读全文

Flink和Beam SDK如何处理窗口 - 哪个更有效?

我将Apache Beam SDK与用于流处理的Flink SDK进行比较,以确定使用Beam作为附加框架的成本/优势。 我有一个非常简单的设置,其中从Kafka源读取数据流并由运行Flink的节点集群并行处理。 根据我对这些SDK如何工作的理解,

阅读全文

在追加模式下激活水印和窗口

下面结构化的流媒体代码水印和窗口数据,24小时间隔,15分钟幻灯片。代码在附加模式下仅生成空的批处理0。在更新模式下,结果会正确显示。需要附加模式,因为S3接收器仅在附加模式下工作。 String windowDuration = "24 hours";

阅读全文

我可以使用group by的自定义分区程序吗?

我知道密钥的分布。我想利用它来编写自定义分区器以充分利用运算符实例。 我知道DataStream#partitionCustom。但是,如果我的流是键控的,它仍然可以正常工作吗?我的工作看起来像: KeyedDataStream afterCust

阅读全文

Spark - 组合所有执行程序的过滤结果

我的spark流媒体工作中有3个执行器,它们来自Kafka。执行程序计数取决于主题中的分区计数。我开始查询Hazelcast。每个执行程序都会在hazelcast上找到一些过滤操作的结果,并返回重复的结果。因为当执行程序返回数据时数据状态不会更新,而其他执行程

阅读全文

Spark结构化流媒体:等待终止,如何写流

从Kafka主题读取偏移并将其写入aerospike数据库。目前我正在准备这个工作生产准备和实施SparkListener。 在浏览文档的过程中,我偶然发现了这个例子: StreamingQuery query = wordCounts.wri

阅读全文

如何获取一分钟处理窗口的最新记录

"我有一个利用Windows的flink流媒体工作。 我的目标是id在一分钟内按内部收到的记录进行分组,然后仅按最新记录流式传输记录id。 我想出了两种可能的方法: 运用 reduce() stream.keyBy(Record::ge

阅读全文

3