1. 云栖社区>
  2. 全部标签>
  3. #分布式调度#
分布式调度

#分布式调度#

已有0人关注此标签

内容分类:
博客 | 问答 | 视频 | 资料 |

如何编写分布式的数据传输

如何编写分布式的数据传输

分布式 大数据 java 线程 插件 Mapreduce 分布式调度

scrapy相关专题总结

本月的scrapy已经写完,关于scrapy写了常用的中间件、数据管道、以及scrapy的相关源码,但是感觉可写的内容不是很多,要门是使用相关的要么是一些不用关注的源码。 所以写完scrapy之后还写了些一些其他内容,算是在充数吧,同时预下一个专题是python的数据结构和算法,将对九大算法及其常用数据结构分享,同时将算法应用于数据结构上。

python 分布式 算法 模块 源码 面向对象 配置 中间件 数据结构 scrapy 分布式调度

分布式scrapy_redis源码总结,及其架构

分布式scrapy的组件源码介绍完了,大致总结一下,相关组件目录如下: 《RedisSpider的调度队列实现过程及其源码》 《scrapy中scrapy_redis分布式内置pipeline源码及其工作原理》 《scrapy分布式调度源码及其实现过程》 《scrapy分布式Spider源码分析及...

分布式 redis 架构 源码 配置 request pipeline scrapy 分布式调度

scrapy分布式调度源码及其实现过程

scrapy_redis.scheduler取代了scrapy自带的scheduler调度,scheduler实现队列、url去重、Request管理的功能, 负责调度各个spider的request请求,scheduler初始化时,通过settings文件读取queue和dupefilters的...

redis 源码 配置 request Server class scrapy 分布式调度

SpringBoot使用Elastic-Job

本文介绍SpringBoot整合Elastic-Job分布式调度任务(简单任务)

Java核心技术 java spring 配置 Maven string class zookeeper 分布式调度

基于DAG的分布式任务调度平台-Maat

背景 什么是Maat Maat是一个基于开源项目Airflow的流程调度系统,它支持用户自定义地组装流程节点,流程可以在用户指定的时间触发(支持crontab格式),或由用户手动触发。 Maat的所有节点分布式地运行在Hippo上,由Drogo调度。

分布式 配置 集群 脚本 工作流 分布式调度

学习大数据要掌握哪些语言?需要学习哪些内容?

:大数据是近五年兴起的行业,发展迅速,很多技术经过这些年的迭代也变得比较成熟了,同时新的东西也不断涌现,想要保持自己竞争力的唯一办法就是不断学习。但是,大数据需要学习什么?01 思维导图下面的是我之前整理的一张思维导图,内容分成几大块,包括了分布式计算与查询,分布式调度与管理,持久化存储,大数据常用的编程语言等等内容,每个大类下有很多的开源工具。

编程语言 分布式 大数据 java 服务器 源码 集群 spark scala 分布式计算 分布式存储 存储 大数据分析 分布式调度 大数据学习

大数据调度系统--EasyScheduler架构分享

EasyScheduler(易调度)是主要解决数据研发ETL 错综复杂的依赖关系,而不能直观监控任务健康状态等问题。EasyScheduler以DAG流式的方式将Task组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。

分布式 大数据 架构 监控 日志 线程 集群 static 分布式系统 zookeeper 调度 分布式调度 easyscheduler调度 大数据调度 调度架构

技术变化那么快,Java程序员如何做到不被淘汰?

写了这么久的代码,你是否曾经有过这样的迷茫和困惑:技术发展日新月异,奋力追赶的我们,究竟是技术的主人还是技术的奴隶? 技术人真的挺辛苦,除了在办公室高强度、高压力搬砖外,还要时刻关注最新的市场信息、技术动态、行业信息等等。

分布式 架构 java 性能优化 docker 程序员 源码 高并发 spring 微服务 消息中间件 分布式架构 高性能 zookeeper 分布式调度

月薪8k和月薪38K的程序员差距在哪里?

回想做开发的这八年多,获得了很多,技术能力、培训、出国、大公司的,还记得刚刚出来第一年那段时间,太多东西不懂的,都是一切听从老大的安排,敲敲代码,看看数据库,测试自己和别人的代码;这样干了一年 第二年的时候在想,自己还要这样吗? 当然是否定的,不可能的...

分布式 架构 java 性能优化 程序员 源码 数据库 高并发 微服务 消息中间件 分布式架构 高性能 数据存储 分布式调度

(转载)分布式任务调度系统

来源:https://my.oschina.net/editorial-story/blog/883856 分布式调度在互联网企业中占据着十分重要的作用,尤其是电子商务领域,由于存在数据量大、高并发的特点,对数据处理的要求较高,既要保证高效性,也要保证准确性和安全性,相对比较耗时的业务逻辑往往会从中剥离开来进行异步处理。

分布式 监控 数据处理 高并发 集群 控制台 解决方案 quartz 分布式调度

年薪80w的阿里P7专家,顶尖的技术人才,只因做到了这几点

       最近部门招聘,很多工程师,包括我在内都参与了内推和面试的过程,经过这次招聘,我发现能够最终拿到offer的人,基本上在看到简历的那一瞬间就已经定下来了,后续的面试只不过是一种验证而已(注意,是验证,而不是走过场),除非你面试过程中犯错误,或者你不想来,否则,那个offer一定是可以拿下的。

分布式 大数据 redis 架构 性能优化 MongoDB spring 集群 微服务 分布式架构 数据同步 查询优化 offer 分布式调度

同样是工作3年程序员,为什么别人每月25K你却只有15K?

你有没有静下心来思考过:同样是做了x年Java开发,为什么你的技术比别人差很多?为什么别人每月26K你却只有15K? 其实技术水平的高低和个人智商关系不大(毕竟能做Java编程开发大家都不会差),主要和勤奋程度、提升方法有关。

分布式 架构 java 程序员 模块 源码 高并发 分布式架构 高性能 分布式系统 分布式调度

同样是工作3年程序员,为什么别人每月25K你却只有15K?

你有没有静下心来思考过:同样是做了x年Java开发,为什么你的技术比别人差很多?为什么别人每月26K你却只有15K? 其实技术水平的高低和个人智商关系不大(毕竟能做Java编程开发大家都不会差),主要和勤奋程度、提升方法有关。

分布式 架构 java 程序员 模块 源码 高并发 分布式架构 高性能 分布式系统 分布式调度

Hadoop 3.x 新特性剖析系列2

1.概述 接着上一篇博客的内容,继续介绍Hadoop3的其他新特性。其内容包含:优化Hadoop Shell脚本、重构Hadoop Client Jar包、支持等待Container、MapReduce任务级别本地优化、支持多个NameNode、部分默认服务端口被改变、支持文件系统连接器、DataNode内部添加负载均衡、重构后台程序和任务堆管理。

hdfs hadoop 配置 集群 容器 负载均衡 对象存储 脚本 磁盘 Mapreduce 分布式调度

3
GO