1. 云栖社区>
  2. 全部标签>
  3. #分布式调度#
分布式调度

#分布式调度#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

解密阿里云大规模深度学习性能优化实践

近日,斯坦福大学公布了最新的 DAWNBench 深度学习榜单,这是人工智能领域最权威的竞赛之一,是衡量深度学习优化策略、模型架构、软件框架、云和硬件等综合解决方案实力的标准之一。

深度学习 分布式 架构 性能优化 服务器 性能 集群 Image 带宽 GPU 存储 分布式调度

【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度

大数据平台的数据与计算分布在多个数据中心的不同集群,每个集群的存储和计算能力有限,受地域影响,集群间的网络带宽和延迟也各有差异。如何平衡各集群的存储和计算利用率,降低带宽成本,是亟待解决的一大难题。

大数据 集群 Image 钉钉 分布式计算 分布式存储 数据中心 带宽 MaxCompute 分布式调度

IG-REPORT企业智能报表 基于springboot+vue 轻松实现30s出报表

传统报表方式的弊端 报表是所有企业都必要的分析决策工具,传统的展示报表的方式特别麻烦,还记得两年前我入职的时候,领导让我做一个报表,步骤大概要经历1、数据库中创建一个目的表 存储SQL跑批后的结果 2、开发后端代码 从service到dao层都要开发 还要实现定时调度 3、开发前端代码 htmlcssjqueryajax等这些步骤从技术的角度来看算简单的、但却永远在做重复的事情。

大数据 Java核心技术 分布式系统与计算 java 服务器 SQL 日志 配置 Image 报表 存储 分布式调度

定时和延时问题在业务场景中的常见处理

如何优雅的处理业务流程和信息分发中的定时和延时问题? 本文将从如何处理业务流程和信息分发中的定时和延时问题出发,横向比较了业界常见的几种方案,如直接多线程编码、Spring定时调度框、大型分布式调度框架、消息中间件定时消息,因为消息中间件接口友好,调用方便,性能稳定,特别推荐了使用消息中间件来处理此类问题。

云栖社区 分布式 消息系统 架构 消息队列 性能 高可用 消息中间件 钉钉 多线程 ActiveMQ 分布式调度

解密阿里云大规模深度学习性能优化实践

近日,斯坦福大学公布了最新的 DAWNBench 深度学习榜单,这是人工智能领域最权威的竞赛之一,是衡量深度学习优化策略、模型架构、软件框架、云和硬件等综合解决方案实力的标准之一。

深度学习 分布式 架构 性能优化 服务器 性能 集群 Image 带宽 GPU 存储 分布式调度

Schedulerx2.0支持应用级别资源管理和任务优先级

1. 前言 Schedulerx2.0是一套分布式的任务调度+计算框架。作为一套分布式计算引擎,用户经常需要资源管理的需求,当前schedulerx仅仅支持单个任务实例的管控(比如单机子任务并发数、拉模型全局子任务并发数等),这一点是远远不够的。

大数据 开发框架与中间件 分布式系统与计算 配置 Image 分布式计算 报表 分布式调度 SchedulerX 任务调度 scheduler

源码分析Elastic-Job前置篇二-基于Spring启动序列图与核心类图

本文主要目的:简单梳理了基于 Spring ElasticJob 的启动流程,从下文开始,将重点剖析 ElasticJob 的核心实现细节,例如选主、分片、失效转移机制等等。 1、在Spring中使用Elastic-Job的示例如下: <job:simple id="areaSyncJob" cl...

分布式 Java核心技术 开发框架与中间件 服务器 源码 spring 序列 数据同步 quartz 分布式调度 elasticjob

如何编写分布式的数据传输

如何编写分布式的数据传输

分布式 大数据 java 线程 插件 Mapreduce 分布式调度

scrapy相关专题总结

本月的scrapy已经写完,关于scrapy写了常用的中间件、数据管道、以及scrapy的相关源码,但是感觉可写的内容不是很多,要门是使用相关的要么是一些不用关注的源码。 所以写完scrapy之后还写了些一些其他内容,算是在充数吧,同时预下一个专题是python的数据结构和算法,将对九大算法及其常用数据结构分享,同时将算法应用于数据结构上。

python 分布式 算法 模块 源码 面向对象 配置 中间件 数据结构 scrapy 分布式调度

分布式scrapy_redis源码总结,及其架构

分布式scrapy的组件源码介绍完了,大致总结一下,相关组件目录如下: 《RedisSpider的调度队列实现过程及其源码》 《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》 《scrapy分布式调度源码及其实现过程》 《scrapy分布式Spider源码分析及...

分布式 redis 架构 源码 配置 request pipeline scrapy 分布式调度

scrapy分布式调度源码及其实现过程

scrapy_redis.scheduler取代了scrapy自带的scheduler调度,scheduler实现队列、url去重、Request管理的功能, 负责调度各个spider的request请求,scheduler初始化时,通过settings文件读取queue和dupefilters的...

redis 源码 配置 request Server class scrapy 分布式调度

SpringBoot使用Elastic-Job

本文介绍SpringBoot整合Elastic-Job分布式调度任务(简单任务)

Java核心技术 java spring 配置 Maven string class zookeeper 分布式调度

基于DAG的分布式任务调度平台-Maat

背景 什么是Maat Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。 Maat的所有节点分布式地运行在Hippo上,由Drogo调度。

分布式 配置 集群 脚本 工作流 分布式调度

技术变化那么快,Java程序员如何做到不被淘汰?

写了这么久的代码,你是否曾经有过这样的迷茫和困惑:技术发展日新月异,奋力追赶的我们,究竟是技术的主人还是技术的奴隶? 技术人真的挺辛苦,除了在办公室高强度、高压力搬砖外,还要时刻关注最新的市场信息、技术动态、行业信息等等。

分布式 架构 java 性能优化 docker 程序员 源码 高并发 spring 微服务 消息中间件 分布式架构 高性能 zookeeper 分布式调度

月薪8k和月薪38K的程序员差距在哪里?

回想做开发的这八年多,获得了很多,技术能力、培训、出国、大公司的,还记得刚刚出来第一年那段时间,太多东西不懂的,都是一切听从老大的安排,敲敲代码,看看数据库,测试自己和别人的代码;这样干了一年 第二年的时候在想,自己还要这样吗? 当然是否定的,不可能的...

分布式 架构 java 性能优化 程序员 源码 数据库 高并发 微服务 消息中间件 分布式架构 高性能 数据存储 分布式调度

4
GO