- 浏览: 32020 次
- 性别:
- 来自: 西安
文章分类
最新评论
最近遇到Oracle 表中数据量很大查询和更新比较慢 需要删除,发现删除后查询速度还是很慢,原来是delete oracle 高水位没有下降的原因。
在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。
因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位线在日常的增删操作中只会上涨,不会下跌,所以数据库容量也只会上升,不会下降。而使用select语句查询数据时,数据库会扫描高水位线以下的数据块,因为高水位线没有变化,所以扫描的时间不会减少,所以才会出现使用delete删除数据以后,查询的速度还是和delete以前一样
解决方案:
1.首先导出表,然后truncate这张表,最后导入这张表。
2.在存储空间当中移动表,但是由于rowid会被打乱,所以需要重建索引.
3.如果是oracle 10g.可是直接更新表的高水位线。
对应的SQL:
9i中:
create table aa_bak as select * from aa where record_time > sysdate - 10;
truncate table aa;
insert into aa select * from aa_bak;
drop table aa_bak;
10g 版本(也适用于11G)
alter tablename enable row movement;
alter tablename shrink space;
实战:
select count(*) from wlkp_fp_kj
查询结果显示2301245 条记录
我们需要删除一部分数据
删除之前我们先查看表的高水位线(wlkp_fp_kj 是张分区表)
SELECT segment_name, segment_type, blocks FROM dba_segments WHERE segment_name = 'WLKP_FP_KJ'
删除数据SQL
select count(*) from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
记录条数 54802
删除语句
delete from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
删除后查询WLKP_FP_KJ 表的高水位
发现查询结果和上面没有删除之前一样没有变化。说明DELETE 语句高水位不会下降
我数据库10G 直接用方法二实现
执行如下语句:
alter table wlkp_fp_kj enable row movement; alter table wlkp_fp_kj shrink space;
执行后结果在查询WLKP_FP_KJ的高水位
很明显看到执行后高水位下降了。
----->>补充说明:
select blocks, empty_blocks from dba_tables where table_name='xxx' and owner='xx';
blocks就是已经分配的空间即HWM,实际分配的空间,不是实际大小
--->>Oracle 10g Shrink Table和Shrink Space使用详解
Oracle 10gShrink Table的使用是本文我们主要要介绍的内容,我们知道,如果经常在表上执行DML操作,会造成数据库块中数据分布稀疏,浪费大量空间。同时也会影响全表扫描的性能,因为全表扫描需要访问更多的数据块。从Oracle 10g开始,表可以通过shrink来重组数据使数据分布更紧密,同时降低HWM释放空闲数据块。
segment shrink分为两个阶段:
1、数据重组(compact):通过一系列insert、delete操作,将数据尽量排列在段的前面。在这个过程中需要在表上加RX锁,即只在需要移动的行上加锁。由于涉及到rowid的改变,需要enable row movement.同时要disable基于rowid的trigger.这一过程对业务影响比较小。
2、HWM调整:第二阶段是调整HWM位置,释放空闲数据块。此过程需要在表上加X锁,会造成表上的所有DML语句阻塞。在业务特别繁忙的系统上可能造成比较大的影响。Shrink Space语句两个阶段都执行。Shrink Space compact只执行第一个阶段。
如果系统业务比较繁忙,可以先执行Shrink Space compact重组数据,然后在业务不忙的时候再执行Shrink Space降低HWM释放空闲数据块。shrink必须开启行迁移功能。
alter table table_name enable row movement ;
注意:alter table XXX enable row movement语句会造成引用表XXX的对象(如存储过程、包、视图等)变为无效。执行完成后,最好执行一下utlrp.sql来编译无效的对象。
语法:
alter table shrink space [ | compact | cascade ]; alter table shrink space compcat;
收缩表,相当于把块中数据打结实了,但会保持high water mark;
alter table Shrink Space;
收缩表,降低 high water mark;
alter table Shrink Space cascade;
收缩表,降低 high water mark,并且相关索引也要收缩一下下。
alter index idxname Shrink Space;
回缩索引
1:普通表
Sql脚本,改脚本会生成相应的语句
select'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10)from user_tables; select'alter index '||index_name||' shrink space;'||chr(10)from user_indexes;
2:分区表的处理
进行Shrink Space时 发生ORA-10631错误.Shrink Space有一些限制.
在表上建有函数索引(包括全文索引)会失败。
Sql脚本,改脚本会生成相应的语句
select 'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10) from user_tables where ; select 'alter index '||index_name||' shrink space;'||chr(10) from user_indexes where uniqueness='NONUNIQUE' ; select 'alter table '||segment_name||' modify subpartition '||partition_name||' shrink space;'||chr(10) from user_segments where segment_type='TABLE SUBPARTITION' ';
Shrink的几点问题:
1. shrink后index是否需要rebuild:因为shrink的操作也会改变行数据的rowid,那么,如果table上有index时,shrink table后index会不会变为UNUSABLE呢?
我们来看这样的实验,同样构建my_objects的测试表:
create table my_objects tablespace ASSM as select * from all_objects where rownum<20000;
create index i_my_objects on my_objects (object_id);
delete from my_objects where object_name like '%C%';
delete from my_objects where object_name like '%U%';
现在我们来shrink table my_objects:
SQL> alter table my_objects enable row movement; Table altered
SQL> alter table my_objects shrink space; Table altered
SQL> select index_name,status from user_indexes where index_name='I_MY_OBJECTS';
INDEX_NAME STATUS ------------------------------ --------
I_MY_OBJECTS VALID
我们发现,table my_objects上的index的状态为VALID,估计shrink在移动行数据时,也一起维护了index上相应行的数据rowid的信息。我们认为,这是对于move操作后需要rebuild index的改进。但是如果一个table上的index数量较多,我们知道,维护index的成本是比较高的,shrink过程中用来维护index的成本也会比较高。
2. shrink时对table的lock
在对table进行shrink时,会对table进行怎样的锁定呢?当我们对table MY_OBJECTS进行shrink操作时,查询v$locked_objects视图可以发现,table MY_OBJECTS上加了row-X (SX) 的lock:
SQL>select OBJECT_ID, SESSION_ID,ORACLE_USERNAME,LOCKED_MODE from v$locked_objects;
OBJECT_ID SESSION_ID ORACLE_USERNAME LOCKED_MODE ---------- ---------- ------------------ -----------
55422 153 DLINGER 3
SQL> select object_id from user_objects where object_name = 'MY_OBJECTS';
OBJECT_ID ---------- 55422
那么,当table在进行shrink时,我们对table是可以进行DML操作的。
3.shrink对空间的要求
我们在前面讨论了shrink的数据的移动机制,既然oracle是从后向前移动行数据,那么,shrink的操作就不会像move一样,shrink不需要使用额外的空闲空间。
链接地址:http://blog.itpub.net/29119536/viewspace-1140368/
在oracle里,使用delete删除数据以后,数据库的存储容量不会减少,而且使用delete删除某个表的数据以后,查询这张表的速度和删除之前一样,不会发生变化。
因为oralce有一个HWM高水位,它是oracle的一个表使用空间最高水位线。当插入了数据以后,高水位线就会上涨,但是如果你采用delete语句删除数据的话,数据虽然被删除了,但是高水位线却没有降低,还是你刚才删除数据以前那么高的水位。除非使用truncate删除数据。那么,这条高水位线在日常的增删操作中只会上涨,不会下跌,所以数据库容量也只会上升,不会下降。而使用select语句查询数据时,数据库会扫描高水位线以下的数据块,因为高水位线没有变化,所以扫描的时间不会减少,所以才会出现使用delete删除数据以后,查询的速度还是和delete以前一样
解决方案:
1.首先导出表,然后truncate这张表,最后导入这张表。
2.在存储空间当中移动表,但是由于rowid会被打乱,所以需要重建索引.
3.如果是oracle 10g.可是直接更新表的高水位线。
对应的SQL:
9i中:
create table aa_bak as select * from aa where record_time > sysdate - 10;
truncate table aa;
insert into aa select * from aa_bak;
drop table aa_bak;
10g 版本(也适用于11G)
alter tablename enable row movement;
alter tablename shrink space;
实战:
select count(*) from wlkp_fp_kj
查询结果显示2301245 条记录
我们需要删除一部分数据
删除之前我们先查看表的高水位线(wlkp_fp_kj 是张分区表)
SELECT segment_name, segment_type, blocks FROM dba_segments WHERE segment_name = 'WLKP_FP_KJ'
删除数据SQL
select count(*) from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
记录条数 54802
删除语句
delete from wlkp_fp_kj where kprq'2011-12-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
and kprq>to_date('2011-11-01 14:00:00', 'yyyy-mm-dd,hh24:mi:ss')
删除后查询WLKP_FP_KJ 表的高水位
发现查询结果和上面没有删除之前一样没有变化。说明DELETE 语句高水位不会下降
我数据库10G 直接用方法二实现
执行如下语句:
alter table wlkp_fp_kj enable row movement; alter table wlkp_fp_kj shrink space;
执行后结果在查询WLKP_FP_KJ的高水位
很明显看到执行后高水位下降了。
----->>补充说明:
select blocks, empty_blocks from dba_tables where table_name='xxx' and owner='xx';
blocks就是已经分配的空间即HWM,实际分配的空间,不是实际大小
--->>Oracle 10g Shrink Table和Shrink Space使用详解
Oracle 10gShrink Table的使用是本文我们主要要介绍的内容,我们知道,如果经常在表上执行DML操作,会造成数据库块中数据分布稀疏,浪费大量空间。同时也会影响全表扫描的性能,因为全表扫描需要访问更多的数据块。从Oracle 10g开始,表可以通过shrink来重组数据使数据分布更紧密,同时降低HWM释放空闲数据块。
segment shrink分为两个阶段:
1、数据重组(compact):通过一系列insert、delete操作,将数据尽量排列在段的前面。在这个过程中需要在表上加RX锁,即只在需要移动的行上加锁。由于涉及到rowid的改变,需要enable row movement.同时要disable基于rowid的trigger.这一过程对业务影响比较小。
2、HWM调整:第二阶段是调整HWM位置,释放空闲数据块。此过程需要在表上加X锁,会造成表上的所有DML语句阻塞。在业务特别繁忙的系统上可能造成比较大的影响。Shrink Space语句两个阶段都执行。Shrink Space compact只执行第一个阶段。
如果系统业务比较繁忙,可以先执行Shrink Space compact重组数据,然后在业务不忙的时候再执行Shrink Space降低HWM释放空闲数据块。shrink必须开启行迁移功能。
alter table table_name enable row movement ;
注意:alter table XXX enable row movement语句会造成引用表XXX的对象(如存储过程、包、视图等)变为无效。执行完成后,最好执行一下utlrp.sql来编译无效的对象。
语法:
alter table shrink space [ | compact | cascade ]; alter table shrink space compcat;
收缩表,相当于把块中数据打结实了,但会保持high water mark;
alter table Shrink Space;
收缩表,降低 high water mark;
alter table Shrink Space cascade;
收缩表,降低 high water mark,并且相关索引也要收缩一下下。
alter index idxname Shrink Space;
回缩索引
1:普通表
Sql脚本,改脚本会生成相应的语句
select'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10)from user_tables; select'alter index '||index_name||' shrink space;'||chr(10)from user_indexes;
2:分区表的处理
进行Shrink Space时 发生ORA-10631错误.Shrink Space有一些限制.
在表上建有函数索引(包括全文索引)会失败。
Sql脚本,改脚本会生成相应的语句
select 'alter table '||table_name||' enable row movement;'||chr(10)||'alter table '||table_name||' shrink space;'||chr(10) from user_tables where ; select 'alter index '||index_name||' shrink space;'||chr(10) from user_indexes where uniqueness='NONUNIQUE' ; select 'alter table '||segment_name||' modify subpartition '||partition_name||' shrink space;'||chr(10) from user_segments where segment_type='TABLE SUBPARTITION' ';
Shrink的几点问题:
1. shrink后index是否需要rebuild:因为shrink的操作也会改变行数据的rowid,那么,如果table上有index时,shrink table后index会不会变为UNUSABLE呢?
我们来看这样的实验,同样构建my_objects的测试表:
create table my_objects tablespace ASSM as select * from all_objects where rownum<20000;
create index i_my_objects on my_objects (object_id);
delete from my_objects where object_name like '%C%';
delete from my_objects where object_name like '%U%';
现在我们来shrink table my_objects:
SQL> alter table my_objects enable row movement; Table altered
SQL> alter table my_objects shrink space; Table altered
SQL> select index_name,status from user_indexes where index_name='I_MY_OBJECTS';
INDEX_NAME STATUS ------------------------------ --------
I_MY_OBJECTS VALID
我们发现,table my_objects上的index的状态为VALID,估计shrink在移动行数据时,也一起维护了index上相应行的数据rowid的信息。我们认为,这是对于move操作后需要rebuild index的改进。但是如果一个table上的index数量较多,我们知道,维护index的成本是比较高的,shrink过程中用来维护index的成本也会比较高。
2. shrink时对table的lock
在对table进行shrink时,会对table进行怎样的锁定呢?当我们对table MY_OBJECTS进行shrink操作时,查询v$locked_objects视图可以发现,table MY_OBJECTS上加了row-X (SX) 的lock:
SQL>select OBJECT_ID, SESSION_ID,ORACLE_USERNAME,LOCKED_MODE from v$locked_objects;
OBJECT_ID SESSION_ID ORACLE_USERNAME LOCKED_MODE ---------- ---------- ------------------ -----------
55422 153 DLINGER 3
SQL> select object_id from user_objects where object_name = 'MY_OBJECTS';
OBJECT_ID ---------- 55422
那么,当table在进行shrink时,我们对table是可以进行DML操作的。
3.shrink对空间的要求
我们在前面讨论了shrink的数据的移动机制,既然oracle是从后向前移动行数据,那么,shrink的操作就不会像move一样,shrink不需要使用额外的空闲空间。
链接地址:http://blog.itpub.net/29119536/viewspace-1140368/
发表评论
-
java.sql.SQLException: 无效的列索引
2016-01-04 11:44 1533java.sql.SQLException: 无效的列索引 “ ... -
32位hadoop编译实现与64位操作系统兼容
2015-12-08 20:47 1171没有安装过集群的朋友,可能没有发现,hadoop版本没有64位 ... -
shell中的tput命令讲解
2015-12-04 15:05 2263什么是 tput? tput 命令将通过 terminfo ... -
linux的bc计算器
2015-11-23 13:06 1296bc 命令: bc 命令是用于命令行计算器。 它类似 ... -
pctfree和pctused
2015-11-19 11:19 756一、建立表时候,注意PCTFREE参数的作用 P ... -
物化视图
2015-11-19 10:52 442一、准备条件以及备注 假设双方数据库都是ORAC ... -
set feedback
2015-11-19 09:27 6141。set feedback 有三种方式: set feedb ... -
hive 的CLI使用手册
2015-11-18 15:18 1722写的不够全,后面有时间再补吧<个人汉语水平有限,语言组织 ... -
面试经验总结
2015-11-06 21:53 638今天是面试的第一天,从西安来北京这么久,感觉今天的挫败感 ... -
MapReduce 从作业、任务(task)、管理员角度调优
2015-10-14 00:53 970【摘自hyj博主】 Hadoop为 ... -
hadoop作业的优化常用手段
2015-10-13 23:38 779在mapreduce应用机制全部完成后,常面临一个常见问题“作 ... -
oracle中修改有数据的表的字段类型
2015-10-10 02:00 5862【修改时会涉及到数据类型转换,小心】 在修改列的长度时候,只能 ... -
初始化参数设置—processes与session
2015-10-10 01:18 1895【摘自jslfl的微博,感谢大神的总结,很有帮助所以收藏了】 ... -
ORACLE并行度
2015-10-10 00:50 1715在索引create 和rebuild的时候,在CPU 允许的情 ...
相关推荐
oracle高水位处理脚本
该文档对oracle高水位线进行了详细的总结
NULL 博文链接:https://teddywang.iteye.com/blog/849735
浅谈ORACLE高水位线的解决方法.pdf
理解oracle的高水位以及如何降低, 增加空间的利用
在Oracle数据库中,“高水位”(High Water Mark)是指表中数据的存储位置已经达到的最高位置。在表中插入、更新或删除数据时,数据库会自动管理数据的存储位置,但是删除操作并不会立即释放空间,而是标记为可重用...
在 Oracle 数据的存储中,可以把存储空间想象为一个水库,数据想象为水 库中的水。水库中的水的位置有一条线叫做水位线,在 Oracle 中,这条线被称为`高水位线(High-warter mark, HWM)
oracle 高端水位
oracle常见问题处理快速处理 帮助初学ORACLE
Oracle并发问题处理Oracle并发问题处理
解决linux下oracle中文乱码问题,添加中文支持解决linux下oracle中文乱码问题,添加中文支持解决linux下oracle中文乱码问题,添加中文支持解决linux下oracle中文乱码问题,添加中文支持解决linux下oracle中文乱码...
Oracle监听问题及解决方法Oracle监听问题及解决方法Oracle监听问题及解决方法
oracle_常见故障处理.startup mount alter
Oracle_Trigger_及_Oracle_常见问题解决方法 Oracle_Trigger_及_Oracle_常见问题解决方法
字符集的设置不当是影响ORACLE数据库汉字显示的关键问题。本文从实践经验出发,介绍了ORACLE关于字符集的分类、构成及设定方法,分析了ORACLE数据库汉字显示乱码的常见现象及原因,并针对各种现象及原因提出了...
第一课 Oracle高可用的概述 第二课 RAC-原理和安装 第三课 RAC-日常管理 第四课 RAC-性能分析优化 第五课 RAC-故障定位和处理 第六课 Data Gaurd 概念和配置 第七课 Data Gaurd 设计和管理 ...
随着表中数据的不断增长,表的高水位也被不断的推高。当高水位达到一定程度之后,会对该表上的SQL查询效率产生负面影响,因此需要采取有效措施降低高水位。有时候即便是表中数据很少,一条全表扫描的sql仍然很慢,有...
Oracle 性能问题一般解决思路.ppt
Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能优化全攻略Oracle 高性能...
ORACLE常见问题及解决办法 Oracle用户管理