MySQL JDBC FetchSize解析

本文涉及的产品
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

根据http://boylook.blog.51cto.com/7934327/1298634提到MySQL JDBCfetchsize问题MySQl官方文档里只提到了streaming模式和fetchALL两种模式,那么是不是就没有中间的状态呢?

首先是看Java JDBCAPI查看setFetchSize:

setFetchSize(int rows) 
Givesthe JDBC driver a hint as to the number of rows that should be fetched from thedatabase when more rows are needed for this ResultSetobject.

查看的结果给出这里的rows只是一个hint,那么对于MySQL JDBC来说是如何实现的呢?

查到MySQL一个“bughttp://bugs.mysql.com/bug.php?id=18148里说:

There is experimental support for fetching rows in batches
When using Connector/J 5.0.1 along with more recent builds of the MySQL server, you can add "useCursorFetch=true" to your JDBC url parameters, and the driver will fetch rows in batches of size setFetchSize() as defined in the JDBC API.
One could also argue that the behavior _does_ follow the JDBC API, quoting from the APIDOCS for Statement.setFetchSize():
"Gives the JDBC driver a hint as to the number of rows that should be fetched from the database when more rows are needed. The number of rows specified affects only result sets created using this statement. If the value specified is zero, then the hint is ignored. The default value is zero."
It's only a _hint_. Driver vendors are allowed to ignore hints. The very reason that the wording is there is because there are quite a few vendors who can not adhere to this "contract" in all situations.

useCursorFetch

If connected to MySQL > 5.0.2, and setFetchSize() > 0 on a statement, should that statement use cursor-based fetching to retrieve rows?

false

又说是experiment,又说是hint可能被ignore,到底支持还不不支持呢?并且官方文档给出的这个参数没说到底是不是会忽略掉fetchSize.按照故事的尿性来说我该看MySQL JDBC的源码了:

1.首先判断是否可以进行cursor read

if (this.connection.versionMeetsMinimum(5, 0, 2)
 && this.connection.getUseCursorFetch()
 && isBinaryEncoded
 && callingStatement != null
 && callingStatement.getFetchSize() != 0
 && callingStatement.getResultSetType() == ResultSet.TYPE_FORWARD_ONLY)
OK,则RowData rows = new RowDataCursor

2.如果不满足,则判断是否可以进行Streaming Read

If(this.resultSetType== java.sql.ResultSet.TYPE_FORWARD_ONLY)

   && (this.resultSetConcurrency == java.sql.ResultSet.CONCUR_READ_ONLY) && (this.fetchSize == Integer.MIN_VALUE)
如果不满足则rowData = readSingleRowSet
3.否则rowData = new RowDataDynamic

这里主要关注RowDataCursornext实现方式:next会去调用fetchMoreRows
3.1 如果fetchsize==Integer.MIN_VALUE,则另fetchsize=1,类似stream 模式
3.2 否则回调fetchRowsViaCursor
this.sharedSendPacket.writeByte((byte) MysqlDefs.COM_FETCH);
 this.sharedSendPacket.writeLong(statementId);
 this.sharedSendPacket.writeLong(fetchSize);
 sendCommand(MysqlDefs.COM_FETCH, null, this.sharedSendPacket, true,
 null);
 while ((row = nextRow(columnTypes, columnTypes.length, true,
 ResultSet.CONCUR_READ_ONLY, false, useBufferRowExplicit, false, null)) != null) {
  
 fetchedRows.add(row);
}
当执行sendCommand后,看MySQL源码是如何处理的:
317 void Materialized_cursor::fetch(ulong num_rows)
 318 {
 
 319 THD *thd= table->in_use;
 320 
 321 int res=0;
 322 result->begin_dataset();
 323 for(fetch_limit+= num_rows; fetch_count < fetch_limit; fetch_count++)
 324 {
 
 325 if((res= table->file->rnd_next(table->record[0])))
 326 break;
 327 /* Send data only if the read was successful. */
 328 /*
 329 If network write failed (i.e. due to a closed socked),
 330 the error has already been set. Just return.
 331 */
 332 if(result->send_data(item_list))
 333 return;
 334 }
 335 
 336 switch(res) {
 
 337 case0:
 338 thd->server_status|= SERVER_STATUS_CURSOR_EXISTS;
 339 result->send_eof();
 340 break;
 341 case HA_ERR_END_OF_FILE:
 342 thd->server_status|= SERVER_STATUS_LAST_ROW_SENT;
 343 result->send_eof();
 344 close();
 345 break;
 346 default:
 347 table->file->print_error(res,MYF(0));
 348 close();
 349 break;
 350 }
 351 }

分析到这里基本上可以确定MySQL也是支持batch fetch.

本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1308511,如需转载请自行联系原作者



相关实践学习
如何快速连接云数据库RDS MySQL
本场景介绍如何通过阿里云数据管理服务DMS快速连接云数据库RDS MySQL,然后进行数据表的CRUD操作。
全面了解阿里云能为你做什么
阿里云在全球各地部署高效节能的绿色数据中心,利用清洁计算为万物互联的新世界提供源源不断的能源动力,目前开服的区域包括中国(华北、华东、华南、香港)、新加坡、美国(美东、美西)、欧洲、中东、澳大利亚、日本。目前阿里云的产品涵盖弹性计算、数据库、存储与CDN、分析与搜索、云通信、网络、管理与监控、应用服务、互联网中间件、移动服务、视频服务等。通过本课程,来了解阿里云能够为你的业务带来哪些帮助 &nbsp; &nbsp; 相关的阿里云产品:云服务器ECS 云服务器 ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。产品详情: https://www.aliyun.com/product/ecs
目录
打赏
0
0
0
0
69
分享
相关文章
深入解析MySQL的EXPLAIN:指标详解与索引优化
MySQL 中的 `EXPLAIN` 语句用于分析和优化 SQL 查询,帮助你了解查询优化器的执行计划。本文详细介绍了 `EXPLAIN` 输出的各项指标,如 `id`、`select_type`、`table`、`type`、`key` 等,并提供了如何利用这些指标优化索引结构和 SQL 语句的具体方法。通过实战案例,展示了如何通过创建合适索引和调整查询语句来提升查询性能。
728 9
MySQL Binlog 日志查看方法及查看内容解析
本文介绍了 MySQL 的 Binlog(二进制日志)功能及其使用方法。Binlog 记录了数据库的所有数据变更操作,如 INSERT、UPDATE 和 DELETE,对数据恢复、主从复制和审计至关重要。文章详细说明了如何开启 Binlog 功能、查看当前日志文件及内容,并解析了常见的事件类型,包括 Format_desc、Query、Table_map、Write_rows、Update_rows 和 Delete_rows 等,帮助用户掌握数据库变化历史,提升维护和排障能力。
double ,FLOAT还是double(m,n)--深入解析MySQL数据库中双精度浮点数的使用
本文探讨了在MySQL中使用`float`和`double`时指定精度和刻度的影响。对于`float`,指定精度会影响存储大小:0-23位使用4字节单精度存储,24-53位使用8字节双精度存储。而对于`double`,指定精度和刻度对存储空间没有影响,但可以限制数值的输入范围,提高数据的规范性和业务意义。从性能角度看,`float`和`double`的区别不大,但在存储空间和数据输入方面,指定精度和刻度有助于优化和约束。
665 5
MySQL自增ID耗尽应对策略:技术解决方案全解析
在数据库管理中,MySQL的自增ID(AUTO_INCREMENT)属性为表中的每一行提供了一个唯一的标识符。然而,当自增ID达到其最大值时,如何处理这一情况成为了数据库管理员和开发者必须面对的问题。本文将探讨MySQL自增ID耗尽的原因、影响以及有效的应对策略。
337 3
MySQL 字段类型深度解析:VARCHAR(50) 与 VARCHAR(500) 的差异
在MySQL数据库中,`VARCHAR`类型是一种非常灵活的字符串存储类型,它允许存储可变长度的字符串。然而,`VARCHAR(50)`和`VARCHAR(500)`之间的差异不仅仅是长度的不同,它们在存储效率、性能和使用场景上也有所不同。本文将深入探讨这两种字段类型的区别及其对数据库设计的影响。
199 2
PHP与MySQL动态网站开发深度解析####
本文作为技术性文章,深入探讨了PHP与MySQL结合在动态网站开发中的应用实践,从环境搭建到具体案例实现,旨在为开发者提供一套详尽的实战指南。不同于常规摘要仅概述内容,本文将以“手把手”的教学方式,引导读者逐步构建一个功能完备的动态网站,涵盖前端用户界面设计、后端逻辑处理及数据库高效管理等关键环节,确保读者能够全面掌握PHP与MySQL在动态网站开发中的精髓。 ####
MySQL MVCC深度解析:掌握并发控制的艺术
【10月更文挑战第23天】 在数据库领域,MVCC(Multi-Version Concurrency Control,多版本并发控制)是一种重要的并发控制机制,它允许多个事务并发执行而不产生冲突。MySQL作为广泛使用的数据库系统,其InnoDB存储引擎就采用了MVCC来处理事务。本文将深入探讨MySQL中的MVCC机制,帮助你在面试中自信应对相关问题。
310 3
MySQL执行计划深度解析:如何做出最优选择
【10月更文挑战第23天】 在数据库查询性能优化中,执行计划的选择至关重要。MySQL通过查询优化器来生成执行计划,但有时不同的执行计划会导致性能差异。理解如何选择合适的执行计划,以及为什么某些计划更优,对于数据库管理员和开发者来说是一项必备技能。
470 2
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
【YashanDB知识库】原生mysql驱动配置连接崖山数据库
docker拉取MySQL后数据库连接失败解决方案
通过以上方法,可以解决Docker中拉取MySQL镜像后数据库连接失败的常见问题。关键步骤包括确保容器正确启动、配置正确的环境变量、合理设置网络和权限,以及检查主机防火墙设置等。通过逐步排查,可以快速定位并解决连接问题,确保MySQL服务的正常使用。
226 82

热门文章

最新文章

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等