1. 云栖社区>
  2. 全部标签>
  3. #调度#
调度

#调度#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

什么?你还不会使用DataWorks调度?

在DataWorks的强大功能背景的支持下,经过交互式分析加速查询的数据(MaxCompute、实时计算),可以通过HoloStudio直接对接到数据服务、调度等模块,轻松实现大数据的一站式开发对接。今天小编就来为大家讲讲,HoloStudio中的数据如何在Dataworks中实现周期性调度,搬好板...

云栖社区 数据存储与数据库 互联网产品及应用 大数据 storm 查询 配置 Image string 分区表 big data 调度 DataWorks 周期

《交互式分析六脉神剑》之Dataworks-HoloStudio初体验

HoloStudio是基于交互式分析的一站式开发平台,深度集成于DataWorks,除了提供可视化UI一键建表外,还支持纯SQL语言编写,也提供终端功能,像使用psql客户端一样使用HoloStudio来开发交互式分析,方便快捷,灵活巧妙,满足不同用户的不同开发习惯。

移动开发与客户端 大数据 PSQL SQL 模块 Image aliyun 调度 MaxCompute 数据服务 DataWorks 离线数据 六脉神剑

源码分析ElasticJob任务运行事件监听器

在任务执行的前后,ElasticJob可以提供扩展,其主要类图如下:ElastciJobListener:elasticJob任务执行事件监听器,提供如下两个方法: void beforeJobExecuted(final ShardingContexts shardingContexts); 在任务执行之前调用,shardingContexts为分片上下文信息。

分布式 Java核心技术 开发框架与中间件 java 源码 void 调度 定时 elasticjob

源码分析ElasticJob任务错过机制(misfire)与幂等性

任务在调度执行中,由于某种原因未执行完毕,下一次调度任务触发后,在同一个Job实例中,会出现两个线程处理同一个分片上的数据,这样就会造成两个线程可能处理到相同的数据。为了避免同一条数据可能会被多次执行的问题,ElasticJob引入幂等机制,确保同一条数据不会再被多个Job同时处理,也避免同一条数据在同一个Job实例的多个线程处理。

分布式 Java核心技术 开发框架与中间件 线程 源码 数据库 定时任务 调度 elasticjob

源码分析ElasticJob故障失效转移机制

本节将探讨ElasticJob故障失效转移机制。我们知道ElasticJob是一款基于Quartz的分布式任务调度框架,这里的分布式是数据的分布式,ElasticJob的核心设计理念是一个任务在多个节点上执行,每个节点处理一部分数据(任务待处理数据分片)。

分布式 Java核心技术 开发框架与中间件 源码 string 定时任务 调度 elasticjob 失效转移

源码分析ElasticJob分片机制(带分片机制流程图)

本文将重点分析 ElasticJob 的分片机制: ElasticJob分片工作机制: ElasticJob在启动时,首先会启动是否需要重新分片的监听器。代码见:ListenerManager#startAllListeners {...; shardingListenerManager.start();...}。

分布式 Java核心技术 算法 开发框架与中间件 java 源码 path 配置 string void 存储 分片 定时任务 调度 elasticjob

10 人,2 个月 | 虾米音乐的监控体系升级之路

背景监控一直是服务端掌握应用运行状态的重要手段,经过近几年的发展,阿里虾米服务端目前已经有 100 多个 Java 应用,承担核心业务的应用也有将近 50 个,对于应用的监控配置也是因人而异。有的人配置的监控比较细,有的应用在经历了多人开发阶段以后,监控就逐渐疏于管理,有些应用的监控项最后修改时间只停留到 2 年以前,早已不适应业务的发展。

java 监控 调度 HSF 应用服务中间件

使用DataWorks来调度AnalyticDB任务

DataWorks作为阿里云上广受欢迎的大数据开发调度服务,最近加入了对于AnalyticDB的支持,意味着所有的AnalyticDB客户可以获得任务开发、任务依赖关系管理、任务调度、任务运维等等全方位强大的能力,现在就给大家仔细介绍下如何使用DataWorks来调度AnalyticDB任务。

数据库 配置 Image aliyun varchar 调度 AnalyticDB DataWorks

一场稳定、高清、流畅的大型活动直播是怎么炼成的?

一场稳定、高清、流畅的大型活动直播是怎么炼成的? 双11猫晚是家喻户晓的综艺晚会,在今年的双11,阿里集团为2500万用户提供了一场在线直播视觉盛宴。网友评价这是一场既稳定流畅又高清的直播,当然在这背后离不开阿里云的技术支持。

安全 架构 监控 双11 模块 视频 cdn 直播 调度 转码 视频监控 优酷 点播 编解码 视频加速

大数据调度系统--EasyScheduler架构分享

EasyScheduler(易调度)是主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

分布式 大数据 架构 监控 日志 线程 集群 static 分布式系统 zookeeper 调度 分布式调度 easyscheduler调度 大数据调度 调度架构

干货:调度算法的价值与阿里的应用实践

资源管理系统作为将数据中心资源向上抽象的关键一层,需要全面的能力。从保障应用的稳定性、性能(保证SLA,Service Level Agreement)到全面提高数据中心运行的效率,节约能源等等,今天这篇文章,我们重点讲一讲调度算法在资源管理中的作用。

系统软件 算法 服务器 高可用 集群 容器 容灾 数据中心 调度 调度算法 集群管理

你收到一封来自阿里全球调度算法大赛的邀请函,20万奖金池等你来瓜分

>>>>>>立即报名<<<<<< 大赛背景 互联网普及的20年来,互联网技术已经重塑各行各业,渗透到人们生活的方方面面,云计算已经成为了行业发展必不可少的基础设施,互联网服务规模和数据规模也随之大幅增长。

系统软件 算法 云栖大会 互联网 基础设施 实名认证 数据中心 调度

《CDN 之我见》系列一:原理篇(由来、调度)

CDN是将源站内容分发至全国所有的节点,从而缩短用户查看对象的延迟,提高用户访问网站的响应速度与网站的可用性的技术。它能够有效解决网络带宽小、用户访问量大、网点分布不均等问题。为了让大家更全面的了解CDN的原理、调度、缓存和安全等关键技术点,阿里云高级技术专家白金将自己从事 CDN 相关领域工作 8 年来的一些经验、收获和个人认知撰写成《CDN之我见》系列文章,分享给大家。

服务器 域名 Image cdn DNS 电信 调度 网站加速 视频加速

容器开启数据服务之旅系列(四):Kubernetes QoS 助力在线运用与大数据离线运用的带宽控制和磁盘控制

本文是2018年大数据峰会上的一些分享,关于在线业务,离线业务在ACK(阿里云容器服务Kubernetes)的平台上通过对bandwidth, disk quota的灵活组合完成在线,离线业务场景的混合部署,来提高总体资源的使用率,以及带宽,本地盘资源的动态分配调整,来控制离线,在线资源水位。

大数据 容器服务 容器 测试 Image request CPU 带宽 磁盘 kubernetes 调度 混部

2
GO