【总结】Datax按record限速

简介:
{
    "job": {
        "content": [{
            "reader": {
                "name": "mysqlreader",
                "parameter": {
                    "connection": [{
                        "querySql": ["SELECT id, UserID, Ip, CreatTime FROM BWSimpleAdmin_Login_Log"],
                        "jdbcUrl": ["jdbc:mysql://10.10.59.12:3306/bw_simple_v2"]
                    }],
                    "password": "ba8Agx8aB00s#ffR",
                    "username": "zdp_read"
                }
            },
            "writer": {
                "name": "txtfilewriter",
                "parameter": {
                    "fieldDelimiter": "\t",
                    "fileName": "BWSimpleAdmin_Login_Log ",
                    "path": "/data/BWSimpleAdmin_Login_Log",
                    "writeMode": "truncate"
                }
            }
        }],
         "setting": {
            "speed": {
                "record": "1000"
            }
        }

    },
     "core": {
        "transport": {
            "channel": {
                "speed": {
                    "record": "1000"
                }
            }
        }
    }

}



     本文转自巧克力黒 51CTO博客,原文链接:http://blog.51cto.com/10120275/1783506,如需转载请自行联系原作者





相关文章
|
SQL 机器学习/深度学习 数据采集
Apache Doris Broker数据导入使用示例及介绍
Broker load 是一个异步的导入方式,支持的数据源取决于 Broker 进程支持的数据源。用户需要通过 MySQL 协议 创建 Broker load 导入,并通过查看导入命令检查导入结果。
1438 0
Apache Doris Broker数据导入使用示例及介绍
|
5月前
|
流计算
Flink CDC在运行过程中遇到"Could not upload job files"的问题
Flink CDC在运行过程中遇到"Could not upload job files"的问题
109 1
|
3月前
|
存储 数据库 流计算
Flink CDC 2.2.1 版本不支持通过 source 指定 binlog 或者 timestamp 的方式来做增量同步
Flink CDC 2.2.1 版本不支持通过 source 指定 binlog 或者 timestamp 的方式来做增量同步
31 3
|
4月前
|
分布式计算 DataWorks 关系型数据库
DataWorks中datax的odpsreader和tunnel是不同的读取mc方式?
DataWorks中datax的odpsreader和tunnel是不同的读取mc方式?
47 0
|
5月前
|
监控 DataX
DataX教程(09)- DataX是如何做到限速的?
DataX教程(09)- DataX是如何做到限速的?
154 0
|
分布式计算 关系型数据库 MySQL
导入 Import--全量数据导入 Hdfs--并行度设置&注意事项 | 学习笔记
快速学习 导入 Import--全量数据导入 Hdfs--并行度设置&注意事项
169 0
导入 Import--全量数据导入 Hdfs--并行度设置&注意事项 | 学习笔记
|
消息中间件 存储 SQL
使用Flink 读取kafka Catalog 源表数据展开json写入下游hologres表示例操作
本文主要介绍如何使用Flink 读取kafka Catalog 源表数据写入下游hologres存储,并演示'json.infer-schema.flatten-nested-columns.enable参数,递归的展开JSON中的嵌套列的效果。
使用Flink 读取kafka Catalog 源表数据展开json写入下游hologres表示例操作
|
存储 运维 Kubernetes
Elasticsearch8.2 使用snapshot备份能力
Elasticsearch8版本相较于之前版本参数和使用层面有了较多改动,但基本使用方式是一致的; 本文将介绍ES8版本如何在云环境中设计snapshot备份存储方案;
553 0
Elasticsearch8.2 使用snapshot备份能力
|
存储 API 索引
Elasticsearch集群数据备份与恢复 Snapshot & Restore
Elasticsearch集群数据备份与恢复 Snapshot & Restore
483 0