一次千万级别的SQL查询简单优化体验

简介: 背景:从两张有关联的表查询数据,A表数据量1400万,B表数据量8000万。A与B通过ID逻辑关联,没有实际的外键。B表是后来扩展出来的. 问题:根据某个ID查询时超时,运行时跑不出结果。 原因:使用一个or条件,条件里面有一个是A.ID=B.ID 简单优化:将or条件拆开,使用union all;将之前使用表变量的部分换成了临时表;对排序的字段加上了索引 结果:在50ms内能够查询出结果,这个与之前的超时简直不能相比。

背景:从两张有关联的表查询数据,A表数据量1400万,B表数据量8000万。A与B通过ID逻辑关联,没有实际的外键。B表是后来扩展出来的.

问题:根据某个ID查询时超时,运行时跑不出结果。

原因:使用一个or条件,条件里面有一个是A.ID=B.ID

简单优化:将or条件拆开,使用union all将之前使用表变量的部分换成了临时表对排序的字段加上了索引

结果:在50ms内能够查询出结果,这个与之前的超时简直不能相比。

感想:感谢DBA mm的帮助,让我有了这样的体验,不实际的处理(哪怕很简单的表关系)千万级的数据量,真不知道SQL语句的性能差异。

        实际的体验了使用or的性能居然能够差到这个地步,以后尽量避免使用了。

我没有描述清楚具体的问题,只是大致的说了下。我自己是明白了,记录下来以备后面参考。也希望能够给像我一样的SQL菜菜鸟有点启发。

SQL优化的实践之路还很长,我要慢慢走。工作过程中的体验随时记录下来,分享给大家。

 

相关文章
|
SQL 分布式计算 Spark
SPARK SQL中 Grouping sets转Expand怎么实现的(逻辑计划级别)
SPARK SQL中 Grouping sets转Expand怎么实现的(逻辑计划级别)
489 0
|
SQL 关系型数据库 PostgreSQL
PostgreSQL 10.1 手册_部分 II. SQL 语言_第 13 章 并发控制_13.4. 应用级别的数据完整性检查
13.4. 应用级别的数据完整性检查 13.4.1. 用可序列化事务来强制一致性 13.4.2. 使用显式锁定强制一致性 对于使用读已提交事务的数据完整性强制业务规则非常困难,因为对每一个语句数据视图都在变化,并且如果一个写冲突发生即使一个单一语句也不能把它自己限制到该语句的快照。
1160 0
|
SQL 关系型数据库 数据库
MSSQL-最佳实践-实例级别数据库上云RDS SQL Server
--- title: MSSQL-最佳实践-实例级别数据库上云RDS SQL Server author: 风移 --- # 摘要 到目前,我们完成了SQL Server备份还原专题系列八篇月报分享:三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案、如何监控备份还原进度、阿里云RDS SQL自动化迁移上云的一种
1728 0
|
SQL 关系型数据库 数据库
MSSQL · 最佳实践 · 实例级别数据库上云RDS SQL Server
摘要 到目前,我们完成了SQL Server备份还原专题系列八篇月报分享:三种常见的数据库备份、备份策略的制定、查找备份链、数据库的三种恢复模式与备份之间的关系、利用文件组实现冷热数据隔离备份方案、如何监控备份还原进度、阿里云RDS SQL自动化迁移上云的一种解决方案以及上个月分享的RDS SDK实现数据库迁移上阿里云,本期我们分享如何将用户线下或者ECS上自建实例级别数据库一键迁移上阿里云RDS SQL Server。
1953 0
|
SQL 测试技术 网络安全
《11招玩转网络安全》之第四招:low级别的DVWA SQL注入
PHP + MySQL、ASP + MSSQL、JSP + PostgreSQL各种组合层出不穷,最终LAMP占了绝对的上风。这种动态页面和数据库结合的方式好处在于可以快速地更换关键位置的参数,坏处则是有可能带来SQL注入漏洞。
1786 0
|
SQL 安全 数据库
SQL Server 2016 行级别权限控制
原文:SQL Server 2016 行级别权限控制 背景 假如我们有关键数据存储在一个表里面,比如人员表中包含员工、部门和薪水信息。只允许用户访问各自部门的信息,但是不能访问其他部门。一般我们都是在程序端实现这个功能,而在sqlserver2016以后也可以直接在数据库端实现这个功能。
1563 0