1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. G>
  5. 工作流

当前主题:工作流

EasyScheduler的架构原理及实现思路

系统架构设计 在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG。工作流中的Task任务以有向无环图的形式组装起来,从入度为零的节点进行拓扑遍历,直到无后继节点为

阅读全文

使用 Kustomize 帮你管理 kubernetes 应用(二): Kustomize 的使用方法

本文介绍使用和维护 Kustomize 的方法步骤。 定制配置 在这个工作流方式中,所有的配置文件( YAML 资源)都是用户所有,存在于私有 repo 中。其他人是无法使用的。 使用 git 创建一个目录 创建一个名为 ldap 的 kubernetes

阅读全文

好程序员分享ApacheSpark常见的三大误解

  **好程序员**分享ApacheSpark常见的三大误解 误解一:Spark是一种内存技术   大家对Spark最大的误解就是其是一种内存技术(in-memorytechnology)。其实不是这样的!没有一个Spark开发者正式说明这个,这是对Spar

阅读全文

阿里新一代分布式任务调度平台Schedulerx2.0破土而出

1. 产品简介 Schedulerx2.0是阿里中间件自研的基于Akka架构的新一代分布式任务调度平台,提供定时、任务编排、分布式跑批等功能。使用Schedulerx2.0,您可以在控制台配置管理您的定时任务,查询历史执行记录,查看运行日志。借助Schedu

阅读全文

分布式工作流任务调度系统Easy Scheduler正式开源

分布式工作流任务调度系统Easy Scheduler正式开源 背景 在多位技术小伙伴的努力下,经过近2年的研发迭代、内部业务剥离及重构,也经历一批种子用户试用一段时间后,EasyScheduler终于迎来了第一个正式开源发布版本 -- 1.0.0。 相信做过

阅读全文

如何搭建一个完整的手机直播系统源码?

首先第一步,采集,iOS是比较简单的,Android则要做些机型适配工作,PC最麻烦各种奇葩摄像头驱动,出了问题特别不好处理,建议放弃PC只支持手机主播,目前几个新进的直播平台都是这样的。 第二部,前处理,现在直播美颜已经是标配了,80%的主播没有美颜根本没

阅读全文

技本功丨利用 Atomic 构建 React 项目工作流,so easy!

近日刷微博,#2018年结婚率创新低#荣登热门话题NO.1,沪浙最不积极。 生活压力越大,缺爱的人也越来越多。。。据本萌的不完全观察,程序猿虽然是压力加成的职业,在袋鼠云还是有不少早早脱了单。至于,脱单失败的各位,那真的是凭实力单身啊~ ![1](https

阅读全文

Java大神进阶之路!每一位程序员值得借鉴!

既然励志在java路上走的更远,那就必须了解java的路径。先看图 image.png 更加细化的细节如下 一: 编程基础 不管是C还是C++,不管是Java还是PHP,想成为一名合格的程序员,基本的数据结构和算法基础还是要有的。下面几篇文章从思想到实现,为

阅读全文

工作流相关问答

查看更多 提问题

odps sdk core支不支持查询已有的工作流或任务节点?

sdk: odps-sdk-core version: 0.29.8-public 该SDK支不支持对项目中已有的工作流、任务节点进行查询和编程式调用?

阅读全文

Spark写入流到IBM Cloud对象存储失败,“Access KEY为空。请提供有效的访问密钥“

我目前正在使用Apache Spark 2.3.2并创建一个管道来从文件系统中读取流csv文件,然后将其写入IBM Cloud对象存储。 我正在使用Stocator连接器。通过以下配置,对IBM COS的常规读取和写入工作正常。但是,读写流操作会抛出错误

阅读全文

(Spark结构化流媒体)如何处理kafka主题中的旧数据

我开始使用spark结构化流媒体。 我通过waterMark从kafka主题(startOffset:latest)获取readStream,按窗口持续时间分组事件时间,并写入kafka主题。 我的问题是,如何在spark结构化流媒体作业之前处理写

阅读全文

如何有效地计算来自一个源的多个flink流

例如: 有一个视频播放日志,格式为:user_id,video_id,play_duration,video_duration,country,request_date 我想计算: A.最后一分钟的比赛次数 B.今天的比赛数量 C

阅读全文

Apache Flink:不会触发流加入窗口

我正在尝试加入apache flink中的两个流来获得一些结果。 我的项目的当前状态是,我正在获取Twitter数据并将其映射到2元组,其中保存用户的语言和定义的时间窗口中的推文总和。我根据每种语言的推文数量和每种语言的转发数量来做这些。tweet /

阅读全文

Flink中一个作业中的多个作业或多个管道

我有一个用例,我希望在Flink上运行2个独立的处理流程。所以2流看起来像 Source1 - > operator1 - > Sink1 Source2 - > operator2 - > Sink2 我想为两个流重用相同的Flink集群。

阅读全文

Apache Flink 1.6.0 - StateTtlConfig和ListState

我正在使用Apache Flink 1.6.0实现概念验证流处理系统,并存储一个按键分区的接收事件列表ListState。(不要担心我为什么这样做,只是在这里和我一起工作。)我StateTtlConfig有一套相应的ListStateDescriptor。 根

阅读全文

Apache flink 1.52 Rowtime时间戳为空

我正在使用以下代码进行一些查询: env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime); DataStream<Row> ds = SourceHelp.builde

阅读全文