本文PPT来自蚂蚁金服财富线技术专家叶恺于10月14日在2016年杭州云栖大会上发表的演讲，分享主题为《余额宝超大规模基金文件处理——分布式调度组件：余额宝大白组件》。
基于单元化部署上的分布式环境无法充分利用机器资源等客观因素的存在，余额宝大白组件应运而生。今天技术专家叶恺为我们分享关于余额宝大白组件的相关知识。这次分享主要包括了四个部分：组件背景、组件功能、技术实现和未来展望。
组件背景。余额宝现有几十种任务类型，每日生成上百个文件，多种批量任务，几十种核对任务。然而，现有分布式调度中心不能区分资源类别，无法合理利用资源。大量类似的文件导入、导出任务，但文件格式多样，基础流程复用性低。此外，任务之间业务依赖关系，无统一通用的解决方案。这些都影响到余额宝的性能表现，也孕育出大白组件。
组件功能包含大文件导出，自适应调整及任务配置。大文件导出的思路概括为并行生成小文件后，合并成大文件；任务调度，任务执行独立。自适应调整创建高时效任务单独线程池，忙时集群内单机自发调度，自发调度开关自适应。任务配置建立任务模板，配置业务参数，建立任务依赖……
大白组件的技术实现分为实时任务管理、文件任务管理、文件读写、实时调度、定时调度和运维多个模块。每个模块各司其职。这其中，分布式调度和集中调度的实现机制尤为受人关注。对于未来的展望，大白组件会实现任务调度加资源调度的两级调度，更加合理使用集群资源。
