1.问题描述:
ECSS中有一条BI ETL的SQL语句(如下),当S_ETL_I_IMG_26表的数据量达到15W, S_ETL_R_IMG_26表有150W后,这条SQL语句将会执行10多个小时.
DELETE FROM S_ETL_R_IMG_26
WHERE EXISTS
( SELECT 'X'
FROM S_ETL_I_IMG_26
WHERE S_ETL_R_IMG_26.ROW_ID = S_ETL_I_IMG_26.ROW_ID
)
2.问题分析与处理:
经过DBA优化后,这条SQL语句在数据量达到15W以后,执行所花费的时间是在一分钟以下.
以下是DBA的详细分析和优化过程.我们大家可以好好的学习一下.
==2009-6-23 DBA更新
今天上午观察,该sql已经使用上昨天导入的outline,效率很快。该问题解决了。
==2009-6-22 DBA更新
经过2009-6-19 21:00 对S_ETL_R_IMG_26表 作exp/imp,重整以后,S_ETL_R_IMG_26目前这个表大小才56M了,缩小为原来的1/10,数据空洞已经消除了。
但是今天生产库上的该sql的执行计划还是没有变,执行效率也没有提高。
进一步分析,把生产库上的S_ETL_I_IMG_26/S_ETL_R_IMG_26两个表的数据导入开发库,在开发库的执行计划是(如下),使用hash join ,效率很快,大概4分钟就完成delete 50w的记录。
开发库执行计划:
SQL> select * from table(dbms_xplan.display);
PLAN_TABLE_OUTPUT
--------------------------------------------------------------------------------
Plan hash value: 1335637332
--------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes |TempSpc| Cost
--------------------------------------------------------------------------------
| 0 | DELETE STATEMENT | | 475K| 15M| | 475
| 1 | DELETE | S_ETL_R_IMG_26 | | | |
|* 2 | HASH JOIN RIGHT SEMI| | 475K| 15M| 10M| 475
| 3 | INDEX FULL SCAN | S_ETL_I_IMG_26_M2 | 475K| 5576K| |
| 4 | TABLE ACCESS FULL | S_ETL_R_IMG_26 | 1596K| 33M| | 160
--------------------------------------------------------------------------------
生产库执行计划:
SQL> select * from table(dbms_xplan.display_cursor('bs5h9z7kp1qa2', 0));
PLAN_TABLE_OUTPUT
--------------------------------------------------------------------------------
SQL_ID bs5h9z7kp1qa2, child number 0
-------------------------------------
DELETE FROM S_ETL_R_IMG_26 WHERE EXISTS ( SELECT 'X' FROM
S_ETL_I_IMG_26 WHERE S_ETL_R_IMG_26.ROW_ID = S_ETL_I_IMG_26.ROW_ID )
Plan hash value: 2166185037
--------------------------------------------------------------------------------
| Id | Operation | Name | Rows | Bytes | Cost (%CPU)
--------------------------------------------------------------------------------
| 0 | DELETE STATEMENT | | | | 111 (100)
| 1 | DELETE | S_ETL_R_IMG_26 | | |
| 2 | NESTED LOOPS SEMI | | 475K| 15M| 111 (0)
| 3 | INDEX FULL SCAN | S_ETL_R_IMG_26_M3 | 1596K| 33M| 109 (0)
|* 4 | INDEX FAST FULL SCAN| S_ETL_I_IMG_26_M2 | 141K| 1662K| 0 (0)
--------------------------------------------------------------------------------
于是进一步研究,为何该sql在开发/生产库上的执行计划不一样,发现是生产的参数不同引起。OPTIMIZER_INDEX_COST_ADJ这个参数在生产上为1,开发库为100,意思是在生产库上告诉优化器,使用index的代价为1,而在开发库上告诉优化器,使用index的代价为100,所以优化器在生产库上偏重走index,导致通过index full scan做nested loop来完成,由于S_ETL_R_IMG_26在生产库上有150万行记录,nestloop需要做150万次以上查询,故执行效率很低。
生产ecss
SQL> show parameter OPTIMIZER_INDEX_COST_ADJ;
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
optimizer_index_cost_adj integer 1
开发ecssint
SQL> show parameter OPTIMIZER_INDEX_COST_ADJ
NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
optimizer_index_cost_adj integer 100
===2009-6-19 DBA更新
S_ETL_R_IMG_26这个表应该有很多空间浪费, 因为S_ETL_R_IMG_26 637M (150万条记录),S_ETL_I_IMG_26 仅9M(26万条记录),而两个表结构是一致的,这样估算,S_ETL_R_IMG_26这个表实际最多60M空间就可以了,浪费90%的空间,也有很多数据空洞。
最好作一次exp、imp,这样可以重建index也可以消除数据空洞。
SQL> select bytes/1024/1024 from dba_segments where segment_name='S_ETL_R_IMG_26';
BYTES/1024/1024
---------------
637
SQL> select bytes/1024/1024 from dba_segments where segment_name='S_ETL_I_IMG_26';
BYTES/1024/1024
---------------
9
SQL> select count(*) from siebel.S_ETL_R_IMG_26;
COUNT(*)
----------
1584586
SQL> select count(*) from siebel.S_ETL_I_IMG_26;
COUNT(*)
----------
266396
SQL>
SQL> desc siebel.S_ETL_I_IMG_26
Name Type Nullable Default Comments
---------------- ----------------- -------- ------- --------
ROW_ID VARCHAR2(15 CHAR)
LAST_UPD DATE sysdate
MODIFICATION_NUM NUMBER(10)
OPERATION VARCHAR2(1 CHAR)
SQL> desc siebel.S_ETL_R_IMG_26
Name Type Nullable Default Comments
---------------- ----------------- -------- ------- --------
ROW_ID VARCHAR2(15 CHAR)
LAST_UPD DATE sysdate
MODIFICATION_NUM NUMBER(10)
SQL>
对于这个参数OPTIMIZER_INDEX_COST_ADJ在google查了一个.
OPTIMIZER_INDEX_COST_ADJ
这个初始化参数代表一个百分比,取值范围在1到10000之间.该参数表示索引扫描和全表扫描成本的比较。缺省值100表示索引扫描成本等价转换与全表扫描成本。
这些参数对于CBO的执行具有重大影响,其缺省值对于数据库来说通常需要调整。一般来说对于OPTIMIZER_INDEX_CACHING可以设置为90左右。
对于大多数OLTP系统,OPTIMIZER_INDEX_COST_ADJ可以设置在10到50之间。对于数据仓库和DSS系统,可能不能简单的把OPTIMIZER_INDEX_COST_ADJ设置为50,
通常我们需要反复调整取得一个合理值。更为具体的可以根据统计信息,db file scattered reads/db file sequential reads来计算.
这个参数当时是Oracle 的优化工程师过来调整为1的.调整1表示使用索引的Cost是全表扫描的Cost 的1%才使用索引.
在生产环境上调整这个参数得再认真观察和评审.
这条SQL语句的优化已经不是我们增加索引所能解决的了,跟数据库的参数有非常大的关系.
分享到:
相关推荐
在了解这个问题之前,我们通常认为存储过程具有以下优点:首先,存储过程只在创造时进行编译即可,以后每次执行存储过程都不需再重新编译,而我们通常使用的 SQL 语句每执行一次就编译一次,所以使用存储过程可以...
面试高频题目,一条SQL语句为什么执行这么慢? 这其中涉及的知识也是各种各样,今天就让我们来完全剖析这个问题。 一条SQL语句为什么执行这么慢?一、执行偶尔变慢1. 刷脏页,写磁盘2. 还在等锁3. 回滚日志过多二、...
一、SQL 语句执行步骤 * 语法分析:检查 SQL 语句的语法正确性 * 语义分析:分析 SQL 语句的逻辑含义 * 视图转换:将 SQL 语句转换为视图 * 表达式转换:将视图转换为表达式 * 选择优化器:选择最优的执行计划 * ...
对sql语句上的优化手段,作为程序员必须学会的一门技能,也是企业经常问到的一些问题。对mysql语句上优化的整理,面试的时候若能答上七八条,基本上这一问题就算过了。
不同的情况,一条SQL可能有多种执行计划,但在某一时点,一定只有一种执行计划是最优的,花费时间是最少的。相信你一定会用Pl/sql Developer、Toad等工具去看一个语句的执行计划,不过你可能对Rule、Choose、First rows、...
主要介绍了Mysql查询最近一条记录的sql语句,非常不错,具有一定的参考借鉴价值,需要的朋友参考下吧
SQL查询条件优化30条原则 SQL查询是系统开发中的一个极重要的方面,做好SQL查询的优化是非常必要的,它直接影响系统的运行效率
python封装利用begin end执行多条sql 因为业务需求,优化模型运行时间。考虑到sql语句每一次执行都要建立连接,查询,获取数据耗时过多。就想到将sql一起提交上去运行,能够节省很多时间。原本1.6-2.5秒耗时的sql...
图5 测试结果 我们把SQL124放入源代码中,结束一条SQL语句的优化工作。从上例可以看到,LECCO SQL Expert的自动重写技术使原来需要几小时才能完成的SQL语句的优化工作,缩减到几分钟之内就可以完成。数据库管理员和...
一条SQL查询语句是如何执行的
通过这50条SQL语句案例的学习,用户将能够深入理解SQL的核心概念和语法,提升处理数据库问题的能力。这些案例将涵盖从简单的单表查询到复杂的多表连接、子查询、聚合函数和事务处理等高级特性。此外,这些案例还将...
最快想到的是可以通过一条sql语句来解决,无奈自己对于复杂sql语句的道行太浅,所以想找大佬帮忙。 找人帮忙 因为这个需求有点着急,所以最开始想到的是,可以找这方面的同行来解决,然后分享这个问题给同事,结果这...
一条SQL更新语句是如何执行的?
2、如果知道查询结果只有一条或者只要最大/最小一条记录,建议用limit 1,3、3、应尽量避免在where子句中使用or来连接条件,4、优化limit分页,5、5、优化like语句,6、使用where条件限定要查询的数据,避免返回多余...
图7 在线执行计划帮助 如果觉得对写法的改变难以理解,还可以点中“执行计划”复选框,通过比较两条SQL语句的执行计划的不同来了解为什么两条SQL在性能上有差异。在查看执行计划过程中如果有什么不明白的地方,可以...
字段的类型,以及长度,是一个很考究开发者优化功力的一个方面。如果表数据有一定的量了,不妨用PROCEDURE ANALYSE()命令来取得字段的优化建议!(在phpmyadmin里可以在查看表时,点击 “Propose table structure” ...
Oracle 语句优化是 SQL 性能调优的关键要素之一。以下是 53 个规则详解: 规则 1: 选用适合的 Oracle 优化器 Oracle 的优化器共有 3 种:基于规则(RULE)、基于成本(COST)和选择性(CHOOSE)。设置缺省的优化器...
很多人不知道SQL语句在SQL SERVER中是如何执行的,他们担心自己所写的SQL语句会被SQL SERVER误解。比如: select * from table1 where name=’zhangsan’ and tID > 10000 和执行: select * from table1 where tID >...
很简单的一次调整,语句加了适当的索引后性能就有大幅的提升。当时看到这条语句的时候,第一感觉就是执行效率肯定低下。语句的功能是求某一客户当天产品的总销量。