MERGE INTO 性能问题疑问

简介:

今天同事碰到一个SQL的性能问题,主要是MERGE INTO的性能问题,执行脚本的时候,居然耗时50多分钟,汗!简直让人抓狂,脚本如下:


MERGE  INTO EDS.TW_DP_B_TDTERM_IMEI_DAY DM                   
        USING T_IMEI_DAY_1111 TEMP                                                 
                    ON(                                                            
                        DM.DATE_CD      =  TEMP.DATE_CD          AND               
                        DM.CITY_ID      = TEMP.CITY_ID           AND                
                        DM.IMEI          =  TEMP.IMEI AND                          
                        DM.USR_NBR      =  TEMP.USR_NBR                            
                      )                                                            
  WHEN MATCHED THEN  UPDATE SET                                                    
                      DM.GSM_FLUX        =  TEMP.GSM_FLUX           ,          
                      DM.TD_FLUX         =  TEMP.TD_FLUX            ,            
                      DM.GPRS_FLUX       =  TEMP.GPRS_FLUX                         
  WHEN NOT MATCHED THEN INSERT(                                                    
                      DM.DATE_CD                                    ,              
                      DM.CITY_ID                                    ,              
                      DM.IMEI                                       ,             
                      DM.BUSS_CITY_ID                               ,             
                      DM.TYPE_ID                                    ,              
                      DM.USR_NBR                                    ,              
                      DM.GSM_FLUX                                   ,             
                      DM.TD_FLUX                                    ,              
                      DM.GPRS_FLUX                                                 
                      )                                                            
                VALUES(                                                            
                      TEMP.DATE_CD                                  ,              
                      TEMP.CITY_ID                                  ,              
                      TEMP.IMEI                                     ,             
                      TEMP.BUSS_CITY_ID                             ,             
                      TEMP.TYPE_ID                                  ,              
                      TEMP.USR_NBR                                  ,              
                      TEMP.GSM_FLUX                                 ,              
                      TEMP.TD_FLUX                                  ,              
                      TEMP.GPRS_FLUX                                               
                      );  


这 两个表的数据量大致如下: T_IMEI_DAY_1111  三十多万,  EDS.TW_DP_B_TDTERM_IMEI_DAY  三百多万数据,跑数前都做过表的相关信息 收集。 EDS.TW_DP_B_TDTERM_IMEI_DAY表的索引有效,碎片很少:


SQL> select count(1) from T_IMEI_DAY_1111;


  COUNT(1)
----------
    333575


SQL> select count(1) from EDS.TW_DP_B_TDTERM_IMEI_DAY;


  COUNT(1)
----------
   3731336


SQL> 


脚本的执行计划如下:
SQL> MERGE  INTO EDS.TW_DP_B_TDTERM_IMEI_DAY DM                   
        USING T_IMEI_DAY_1111 TEMP                                                 
                    ON(                                                            
                        DM.DATE_CD      =  TEMP.DATE_CD          AND               
                        DM.CITY_ID      = TEMP.CITY_ID           AND                
                        DM.IMEI          =  TEMP.IMEI AND                          
                        DM.USR_NBR      =  TEMP.USR_NBR                            
                      )                                                            
  WHEN MATCHED THEN  UPDATE SET                                                    
                      DM.GSM_FLUX        =  TEMP.GSM_FLUX             ,          
                      DM.TD_FLUX         =  TEMP.TD_FLUX              ,            
                      DM.GPRS_FLUX       =  TEMP.GPRS_FLUX                         
  WHEN NOT MATCHED THEN INSERT(                                                    
                      DM.DATE_CD                                    ,              
                      DM.CITY_ID                                    ,              
                      DM.IMEI                                       ,             
                      DM.BUSS_CITY_ID                               ,             
                      DM.TYPE_ID                                    ,              
                      DM.USR_NBR                                    ,              
                      DM.GSM_FLUX                                   ,             
                      DM.TD_FLUX                                    ,              
                      DM.GPRS_FLUX                                                 
                      )                                                            
                VALUES(                                                            
                      TEMP.DATE_CD                                  ,              
                      TEMP.CITY_ID                                  ,              
                      TEMP.IMEI                                     ,             
                      TEMP.BUSS_CITY_ID                             ,             
                      TEMP.TYPE_ID                                  ,              
                      TEMP.USR_NBR                                  ,              
                      TEMP.GSM_FLUX                                 ,              
                      TEMP.TD_FLUX                                  ,              
                      TEMP.GPRS_FLUX                                               
                      );    




333575 rows merged.




Execution Plan
----------------------------------------------------------
Plan hash value: 3661285687


--------------------------------------------------------------------------------------------------------------------------
| Id  | Operation              | Name                    | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
--------------------------------------------------------------------------------------------------------------------------
|   0 | MERGE STATEMENT        |                         |   264K|    54M|       |  3576   (2)| 00:01:20 |       |       |
|   1 |  MERGE                 | TW_DP_B_TDTERM_IMEI_DAY |       |       |       |            |          |       |       |
|   2 |   VIEW                 |                         |       |       |       |            |          |       |       |
|*  3 |    HASH JOIN OUTER     |                         |   264K|    44M|    31M|  3576   (2)| 00:01:20 |       |       |
|   4 |     TABLE ACCESS FULL  | T_IMEI_DAY_1111         |   264K|    28M|       |   100   (2)| 00:00:03 |       |       |
|   5 |     PARTITION RANGE ALL|                         |  2128K|   125M|       |   765   (7)| 00:00:17 |     1 |   365 |
|   6 |      TABLE ACCESS FULL | TW_DP_B_TDTERM_IMEI_DAY |  2128K|   125M|       |   765   (7)| 00:00:17 |     1 |   365 |
--------------------------------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   3 - access("DM"."USR_NBR"(+)="TEMP"."USR_NBR" AND "DM"."IMEI"(+)="TEMP"."IMEI" AND
              "DM"."CITY_ID"(+)="TEMP"."CITY_ID" AND "DM"."DATE_CD"(+)="TEMP"."DATE_CD")


Note
-----
   - dynamic sampling used for this statement




Statistics
----------------------------------------------------------
       9975  recursive calls
    1212324  db block gets
     111135  consistent gets
       2447  physical reads
  228686840  redo size
        822  bytes sent via SQL*Net to client
       2571  bytes received via SQL*Net from client
          3  SQL*Net roundtrips to/from client
          1  sorts (memory)
          0  sorts (disk)
     333575  rows processed


SQL>


在优化脚本期间,我添加了USE_MERGE提示,结果执行脚本的时间一下子缩短到几十秒。但是让我很纳闷的是, 无论怎么看,添加USE_MERGE提示的脚本的执行计划怎么比较都比上面没添加提示的脚本的执行计划查(执行计划如下所示)
SQL> MERGE /*+ USE_MERGE(DM TEMP) */ INTO EDS.TW_DP_B_TDTERM_IMEI_DAY DM                   
        USING T_IMEI_DAY_1111 TEMP                                                 
                    ON(                                                            
                        DM.DATE_CD      =  TEMP.DATE_CD          AND               
                        DM.CITY_ID      = TEMP.CITY_ID          AND                
                        DM.IMEI          =  TEMP.IMEI AND                          
                        DM.USR_NBR      =  TEMP.USR_NBR                            
                      )                                                            
  WHEN MATCHED THEN  UPDATE SET                                                    
                      DM.GSM_FLUX        =  TEMP.GSM_FLUX               ,          
                      DM.TD_FLUX         =  TEMP.TD_FLUX              ,            
                      DM.GPRS_FLUX       =  TEMP.GPRS_FLUX                         
  WHEN NOT MATCHED THEN INSERT(                                                    
                      DM.DATE_CD                                    ,              
                      DM.CITY_ID                                    ,              
                      DM.IMEI                                        ,             
                      DM.BUSS_CITY_ID                                ,             
                      DM.TYPE_ID                                    ,              
                      DM.USR_NBR                                    ,              
                      DM.GSM_FLUX                                    ,             
                      DM.TD_FLUX                                    ,              
                      DM.GPRS_FLUX                                                 
                      )                                                            
                VALUES(                                                            
                      TEMP.DATE_CD                                  ,              
                      TEMP.CITY_ID                                  ,              
                      TEMP.IMEI                                      ,             
                      TEMP.BUSS_CITY_ID                              ,             
                      TEMP.TYPE_ID                                  ,              
                      TEMP.USR_NBR                                  ,              
                      TEMP.GSM_FLUX                                 ,              
                      TEMP.TD_FLUX                                  ,              
                      TEMP.GPRS_FLUX                                               
                      )                                                            
  ;     


333575 rows merged.




Execution Plan
----------------------------------------------------------
Plan hash value: 2993229602


---------------------------------------------------------------------------------------------------------------------------
| Id  | Operation               | Name                    | Rows  | Bytes |TempSpc| Cost (%CPU)| Time     | Pstart| Pstop |
---------------------------------------------------------------------------------------------------------------------------
|   0 | MERGE STATEMENT         |                         |  1688K|   346M|       | 14060   (1)| 00:05:13 |       |       |
|   1 |  MERGE                  | TW_DP_B_TDTERM_IMEI_DAY |       |       |       |            |          |       |       |
|   2 |   VIEW                  |                         |       |       |       |            |          |       |       |
|   3 |    MERGE JOIN OUTER     |                         |  1688K|   283M|       | 14060   (1)| 00:05:13 |       |       |
|   4 |     SORT JOIN           |                         |   264K|    28M|    68M|  2424   (1)| 00:00:54 |       |       |
|   5 |      TABLE ACCESS FULL  | T_IMEI_DAY_1111         |   264K|    28M|       |   100   (2)| 00:00:03 |       |       |
|*  6 |     SORT JOIN           |                         |  2128K|   125M|   586M| 11636   (2)| 00:04:19 |       |       |
|   7 |      PARTITION RANGE ALL|                         |  2128K|   125M|       |   765   (7)| 00:00:17 |     1 |   365 |
|   8 |       TABLE ACCESS FULL | TW_DP_B_TDTERM_IMEI_DAY |  2128K|   125M|       |   765   (7)| 00:00:17 |     1 |   365 |
---------------------------------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   6 - access("DM"."USR_NBR"(+)="TEMP"."USR_NBR" AND "DM"."IMEI"(+)="TEMP"."IMEI" AND
              "DM"."CITY_ID"(+)="TEMP"."CITY_ID" AND "DM"."DATE_CD"(+)="TEMP"."DATE_CD")
       filter("DM"."DATE_CD"(+)="TEMP"."DATE_CD" AND "DM"."CITY_ID"(+)="TEMP"."CITY_ID" AND
              "DM"."IMEI"(+)="TEMP"."IMEI" AND "DM"."USR_NBR"(+)="TEMP"."USR_NBR")


Note
-----
   - dynamic sampling used for this statement




Statistics
----------------------------------------------------------
       1884  recursive calls
    1217983  db block gets
      90427  consistent gets
        654  physical reads
  259129380  redo size
        814  bytes sent via SQL*Net to client
       2667  bytes received via SQL*Net from client
          3  SQL*Net roundtrips to/from client
         11  sorts (memory)
          0  sorts (disk)
     333575  rows processed


SQL> exit

相关文章
|
6月前
|
IDE 程序员 编译器
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性(上)
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性
|
12天前
|
缓存 关系型数据库 MySQL
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
MySQL查询优化:提速查询效率的13大秘籍(合理使用索引合并、优化配置参数、使用分区优化性能、避免不必要的排序和group by操作)(下)
|
6月前
|
C++ 容器
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性(下)
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性(下)
|
6月前
|
存储 SQL 关系型数据库
MySQL 优化 index merge(索引合并)引起的死锁分析(强烈推荐)
生产环境出现死锁流水,通过查看死锁日志,看到造成死锁的是两条一样的update语句(只有where条件中的值不同),如下:
|
6月前
|
存储 安全 编译器
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性(中)
[学习][记录] c++语言:从放弃到入门 <一> c++11新关键字以及引入的新特性(中)
|
6月前
|
存储
面试官眼前一亮:Hash冲突解决方案一览
面试官眼前一亮:Hash冲突解决方案一览
|
11月前
|
自然语言处理 前端开发 UED
🌈 关于我给dumi2.0提pr的完整记录
博主最近一年时间在工作业余都在写开源组件库 concis ,其中文档站点生成框架采取了 dumi,前几天不久dumi2.0正式发布,博主也是顺势而为直接把项目升级(dumi1 -> dumi2)
103 1
🌈 关于我给dumi2.0提pr的完整记录
|
SQL Oracle 关系型数据库
【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS 和 INNER JOIN效率,我们要分场景不要死记网上结论
从执行计划角度分析IN、EXISTS 和 INNER JOIN效率而不是死记网上结论、表的5种关联:INNER JOIN、LEFT JOIN、RIGHT JOIN 和 FULL JOIN 解析【SQL开发实战技巧】这一系列博主当作复习旧知识来进行写作,毕竟SQL开发在数据分析场景非常重要且基础,面试也会经常问SQL开发和调优经验,相信当我写完这一系列文章,也能再有所收获,未来面对SQL面试也能游刃有余~。
【SQL开发实战技巧】系列(五):从执行计划看IN、EXISTS 和 INNER JOIN效率,我们要分场景不要死记网上结论
jira学习案例117-排序乐观更新
jira学习案例117-排序乐观更新
33 0
jira学习案例117-排序乐观更新
|
SQL NoSQL 关系型数据库
性能优化反思:不要在for循环中操作DB
我们应该根据自己的业务场景,在for循环之前批量拿到数据,用尽量少的sql查询批量查到结果。 在for循环中进行数据的匹配组装
124 0