并发串行调用接口

简介: 这里思考比较少,不过因为事情本身比较简单,就简单处理了。毕竟我这种菜鸟,高大上的东西是从未停止过仰望的。备注下是因为如果有机会再用到类似的逻辑,可以拿来重新思考一下,另外,我还觉得有点儿TCP里”滑动窗口“的感觉喔,哈哈哈,毕竟场景类似,控制流量嘛/** * 代码块说明: 小并发串行调用接口处理大批量数据 * 依赖变量: data (原始数据) */va

这里思考比较少,不过因为事情本身比较简单,就简单处理了。毕竟我这种菜鸟,高大上的东西是从未停止过仰望的。备注下是因为如果有机会再用到类似的逻辑,可以拿来重新思考一下,另外,我还觉得有点儿TCP里”滑动窗口“的感觉喔,哈哈哈,毕竟场景类似,控制流量嘛

/** 
 * 代码块说明: 小并发串行调用接口处理大批量数据
 * 依赖变量: data (原始数据)
 */
var chunks = [],       // 数据切割存储
    size = 50,         // 数据分片大小
    concurrence = 4;   // 并发量

    /* 按数据分片大小切割原始数据 */
    while (data.length > 0){
        chunks.push(data.splice(0, size));
    }

    var batchLength = chunks.length; // 切割后数据块数量
    var steps = 0; // 游标,用于滑动读取切割后的数据块
    /**
     * 核心函数
     * 变量说明: _i (游标, 用于定位分片数据)
     *         cData (切割后的数据块数组) 
     *         len (切割后数据块数量)
     *         c (发送请求的并发量)
     */
    var batchPush = function(_i, cData, len, c){
        if (_i < len) {
            var _pulling = true; // 标识位
            var _j = 0; // 临时变量,定位并发数据块位置

            //分批请求
            while (_pulling){
                if (cData[_j + _i]){
                    $.ajax({
                        method: 'POST',
                        url: 'xxx',
                        data: JSON.stringify(cData[_j + _i]),
                        dataType: 'json',
                        success: function(rData){
                            // 接口返回码校验(此略)
                            ++steps;
                            // 并发都处理完后, 触发下一次并发(串行)
                            if (steps % c === 0) {
                                // 缓冲一秒
                                setTimeout(function(){
                                    batchPush(steps, cData, len, c);
                                }, 1000);
                            }
                            // 数据处理(此略)
                        },
                        error: function(){
                            // 异常处理(此略)
                        }
                    });
                }
                _j++;
                if (_j >= c){
                    _pulling = false;
                }
            }
        } else {
            // 全部发送完毕
            steps = 0;
        }
    };
    // 触发调用
    batchPush(steps, chunks, batchLength, concurrence);

Anyway, it works. 有机会读一读”滑动窗口”的处理逻辑, 哈哈.

目录
相关文章
使用队列解决高并发下使用Client对象调用webService接口
使用队列解决高并发下使用Client对象调用webService接口
|
4月前
|
Java
多线程创建方式三 - 实现Callable接口
多线程创建方式三 - 实现Callable接口
15 1
|
4月前
|
Java API 调度
Java多线程基础(线程与进程的区别,线程的创建方式及常用api,线程的状态)
Java多线程基础(线程与进程的区别,线程的创建方式及常用api,线程的状态)
52 0
Java多线程基础(线程与进程的区别,线程的创建方式及常用api,线程的状态)
|
7月前
|
Python
同步调用和异步调用
同步调用和异步调用
|
8月前
创建多线程的方式三:实现Callable接口。
创建多线程的方式三:实现Callable接口。
41 0
|
8月前
创建多线程的方式二:实现Runnable接口
创建多线程的方式二:实现Runnable接口
40 0
|
Java
CheerpJ调用的两种方式
CheerpJ调用的两种方式
200 0
|
Java 测试技术
Java 线程池模拟用户并发请求接口代码示例
Java 线程池模拟用户并发请求接口代码示例
|
小程序
小程序调用接口不生效?
小程序调用接口不生效?
309 0
|
Java
并发等待执行的几种方法
### 一、说明 工作中常有这样的场景,并发执行一些任务,并等待所有的任务执行完成,进行后续处理,这里总结了几种方法用于满足这种业务场景。 ### 二、闭锁方式 闭锁是Java早期提供的一种并发锁,其特点是每个任务颁发一个令牌,任务执行完成释放令牌,主进程可以一直阻塞等待所有的令牌被释放,当所有令牌都被释放后,主进程可以继续执行。依据闭锁的这种特效可以满足上面的任务场景。 ```jav
1683 0