SQL Server 中VARCHAR(MAX)变量赋值引起的性能问题。

本文涉及的产品
云数据库 RDS SQL Server,独享型 2核4GB
简介:

案例环境:

          操作系统版本 : Windows Server 2008 R2 Standard  SP1

          数据库版本   :  Microsoft SQL Server 2012 (SP1) - 11.0.3000.0 (X64)

案例介绍:

 

由于不能将生产环境的代码和数据贴上来,所以我构造了下面一个小案例,当然没法和生产环境的案例一致。只能是接近而已。但是足以反映问题本质就足够了。

DROP TABLE ProductPrice; 
 
GO 
 
CREATE TABLE ProductPrice 
 
( 
 
ProductName VARCHAR(14), 
 
Sequence INT , 
 
ProductPrice FLOAT 
 
) 
 
GO 
 

 

构造8000条测试数据,然后将数据插入临时表#tmp(其实完全可以不用临时表,只因为生产环境也是临时表,故模拟接近案例环境)

DECLARE @index INT =1;
DECLARE @subindex INT;
 
 WHILE @index <= 800
 BEGIN
 SET @subindex = 1;
 WHILE @subindex <=10
  BEGIN 
   INSERT INTO ProductPrice
    SELECT 'product' + convert(varchar,@index), @subindex, rand()*1000;
 
   SET @subindex = @subindex +1;
  END;
 
  SET @index = @index +1;
END
 
 
 
SELECT * INTO #tmp FROM ProductPrice;
GO

 

本来开发人人员也许是要使用动态SQL语句获取下面这样一段SQL语句(随意构造小例子,形似神不似)

 

DECLARE @sqlText NVARCHAR(MAX) =''; 
  
SELECT @sqlText=@sqlText+ quotename(productname)+
    '=CAST(MAX(CASE WHEN [productname]='+QUOTENAME(productname,'''')
      +' THEN [productPrice] END) AS VARCHAR)' 
FROM #tmp 
GROUP BY ProductName 
 
  

SELECT datalength(@sqlText);

 

 

clipboard

 

但是由于疏忽或是对动态SQL不了解,写成了这样一个SQL语句,结果执行时间一下子飚增到7分多钟。

 

DECLARE @sqlText NVARCHAR(MAX) =''; 
  
SELECT @sqlText=@sqlText+ quotename(productname)+
    '=CAST(MAX(CASE WHEN [productname]='+QUOTENAME(productname,'''')
      +' THEN [productPrice] END) AS VARCHAR)' 
FROM #tmp ; 
SELECT datalength(@sqlText);

 

clipboard[1]

看来SQL对于处理非常长的字符串对象有一定的性能问题,于是为了验证我的想法,我又构造了下面一个例子。创建临时表#tmp,数据来源于 sys.all_columns

 

DROP TABLE #tmp;
GO
SELECT * INTO #tmp FROM sys.all_columns;
GO
 
 
7364 行受影响)

然后我们来看一下下面SQL语句

DECLARE @output NVARCHAR(MAX)
SELECT @output=ISNULL(@output,'') + QUOTENAME(name) + REPLICATE('it is only a test ', 200)
FROM #tmp

clipboard[2]

那么我们来看看这条SQL的执行计划,如下所示,很普通的执行计划,看不出有啥特别之处。但是执行性能那叫一个糟糕透顶!

SET SHOWPLAN_ALL ON;
 
GO
 
DECLARE @output NVARCHAR(MAX)
 
SELECT @output=ISNULL(@output,'') + QUOTENAME(name) + REPLICATE('it is only a test ', 200)
 
FROM #tmp 

clipboard[3]

StmtText的内容,如下所示:

DECLARE @output NVARCHAR(MAX)

SELECT @output=ISNULL(@output,'') + QUOTENAME(name) + REPLICATE('it is only a test ', 200)

FROM #tmp

  |--Compute Scalar(DEFINE:([Expr1004]=isnull([@output],CONVERT_IMPLICIT(nvarchar(max),'',0))+quotename([tempdb].[dbo].[#tmp].[name])+N'it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is only a test it is onl'))

       |--Table Scan(OBJECT:([tempdb].[dbo].[#tmp]))

 

虽然能理解处理大对象需要很多资源,会产生一定的性能问题,但是执行时间这么长,还是让我觉得有点不可思议,但是又不清楚具体原因!

相关实践学习
使用SQL语句管理索引
本次实验主要介绍如何在RDS-SQLServer数据库中,使用SQL语句管理索引。
SQL Server on Linux入门教程
SQL Server数据库一直只提供Windows下的版本。2016年微软宣布推出可运行在Linux系统下的SQL Server数据库,该版本目前还是早期预览版本。本课程主要介绍SQLServer On Linux的基本知识。 相关的阿里云产品:云数据库RDS&nbsp;SQL Server版 RDS SQL Server不仅拥有高可用架构和任意时间点的数据恢复功能,强力支撑各种企业应用,同时也包含了微软的License费用,减少额外支出。 了解产品详情:&nbsp;https://www.aliyun.com/product/rds/sqlserver
相关文章
|
7天前
|
SQL 人工智能 算法
【SQL server】玩转SQL server数据库:第二章 关系数据库
【SQL server】玩转SQL server数据库:第二章 关系数据库
45 10
|
1月前
|
SQL 数据库 数据安全/隐私保护
Sql Server数据库Sa密码如何修改
Sql Server数据库Sa密码如何修改
|
17天前
|
SQL
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
启动mysq异常The server quit without updating PID file [FAILED]sql/data/***.pi根本解决方案
15 0
|
7天前
|
SQL 算法 数据库
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
【SQL server】玩转SQL server数据库:第三章 关系数据库标准语言SQL(二)数据查询
61 6
|
7天前
|
SQL 存储 数据挖掘
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
服务器数据恢复环境: 一台安装windows server操作系统的服务器。一组由8块硬盘组建的RAID5,划分LUN供这台服务器使用。 在windows服务器内装有SqlServer数据库。存储空间LUN划分了两个逻辑分区。 服务器故障&初检: 由于未知原因,Sql Server数据库文件丢失,丢失数据涉及到3个库,表的数量有3000左右。数据库文件丢失原因还没有查清楚,也不能确定数据存储位置。 数据库文件丢失后服务器仍处于开机状态,所幸没有大量数据写入。 将raid5中所有磁盘编号后取出,经过硬件工程师检测,没有发现明显的硬件故障。以只读方式将所有磁盘进行扇区级的全盘镜像,镜像完成后将所
数据库数据恢复—RAID5上层Sql Server数据库数据恢复案例
|
11天前
|
SQL 安全 Java
SQL server 2017安装教程
SQL server 2017安装教程
14 1
|
24天前
|
SQL 存储 Python
Microsoft SQL Server 编写汉字转拼音函数
Microsoft SQL Server 编写汉字转拼音函数
|
30天前
|
SQL 关系型数据库 数据处理
详解SQL语句中的GROUP BY和聚合函数COUNT、SUM、AVG、MIN和MAX。
详解SQL语句中的GROUP BY和聚合函数COUNT、SUM、AVG、MIN和MAX。
16 0
|
1月前
|
SQL 存储 数据库
数据安全无忧,SQL Server 2014数据库定时备份解密
数据安全无忧,SQL Server 2014数据库定时备份解密
|
1月前
|
SQL 网络协议 Windows
破解SQL Server迷局,彻底解决“管道的另一端无任何进程错误233”
破解SQL Server迷局,彻底解决“管道的另一端无任何进程错误233”