借助内存表处理复杂的oracle查询要求.
在日常业务处理过程中,我们经常会碰到一些非常规的查询需求, 这些需求我们或者可以借助动态语句,或者其他现有的oracle函数完成查询结果, 但效率往往差强人意.
假设我们有一个客户订单业务表{订单号, 订单客户, 订单日期, 数量, 金额}存储了订单的往来明细数据,订单表中保存最近3个月的往来明细共1000w条记录, 其中客户总量约500000. 并假定在订单表上有针对日期和客户的单独索引.
现在要求提供对任意集合的多个客户的某段时间的订单明细数据.
Select 订单号, 订单客户, 订单日期, 数量, 金额
From 订单业务表
Where 订单日期 between 开始日期 and 结束日期
And 订单客户 in (客户1, 客户2, 客户3…)
面对这种需求, 我们可以要求前台程序传回三个参数, 开始日期, 结束日期, 客户列表(类似于 客户1, 客户2, 客户3, 客户4…)
一, 创建测试用表.
Create table t_order_cust(
O_id varchar2(20),
O_customer varchar2(20),
O_date date,
O_qty numeric(18,2),
O_amount numeric(18,2)
);
Create index ind_t_order_cust_01 on t_order_cust(o_customer);
Create index ind_t_order_cust_02 on t_order_cust(o_date);
二, 方法1 , 使用动态语句拼凑实现.
针对上述查询, 我们可以拼凑动态语句实现, 如下代码所示.
Declare
V_beg_date date := trunc(sysdate,’month’);
V_end_date date := trunk(sysdate);
V_cust_str varchar2(1000) := ‘’’客户1’’, ’’客户2’’, ’’客户3’’…’;
V_sql_str varchar2(2000) ;
Begin
V_sql_str := ‘select * from t_order_cust
Where o_date between ’ || v_beg_date || ‘ and ’ || v_end_date ||’
And o_customer in (’||v_cust_str||’)’;
Execute immediate v_sql_str;
End;
根据表明细数据的特点我们知道, 客户索引的选择性为 1000w/50w= 20, 而日期索引的选择性为 1000w/(3*30) = 10w, 明显使用日期索引效率极差, 我们只能选择使用客户上的索引,使用这种处理方法的优势是可以用到客户上的索引, 但in使用索引的效率相对较差, 并且这种处理方式下, oracle每次执行查询都需要重新建立查询执行树, 也是需要一定的额外开销.
三, 方法2 使用like查询
除了上面的拼凑动态执行语句的方法之外, 我们可以设想的到的第二种方法就是借助于oracle提供的like功能. 如下代码所示.这种处理方式下对客户列表字符串的要求跟方法一少有区别.
Declare
V_beg_date date := trunc(sysdate,’month’);
V_end_date date := trunk(sysdate);
V_cust_str varchar2(1000) := ‘客户1, 客户2, 客户3…’;
Begin
select * from t_order_cust
Where o_date between v_beg_date and v_end_date
And v_cust_str like ‘%’||o_customer||’%’;
End;
这种处理方式的优点在于代码书写简单, 但由于对客户索引所在字段o_customer做了拼接处理||, 所以将导致客户索引ind_t_order_cust_01无效, 而只能使用效率较差的日期索引. 在数据量较小, 对效率无法造成影响时这种方法可以接受, 但数据量较大时, 这种方法的缺点将是致命的.
四, 方法3 使用instr函数处理
Declare
V_beg_date date := trunc(sysdate,’month’);
V_end_date date := trunk(sysdate);
V_cust_str varchar2(1000) := ‘客户1, 客户2, 客户3…’;
Begin
select * from t_order_cust
Where o_date between v_beg_date and v_end_date
And instr(v_cust_str like ,o_custome) >0
End;
这种处理方式的优缺点跟使用like相似, 同样由于对o_customer使用了函数, 导致该索引不可用, 函数索引同样也不适用于这种情况.
五, 方法4 使用内存表处理
我们知道, oracle, sqlserver等关系数据库最善于处理的数据类型是集合, 而不是单独的记录. 同样的100条记录, 如果逐条循环处理和批量处理其效率的差别将是几何单位的.
所以, 为了提高查询效率, 我们这里考虑将给定的客户字符串转变为一个集合或者临时表来处理. Oracle使用全局临时表和复杂数据类型集合来支持这一点.
这里我们介绍一下使用复杂数据类型集合来处理的方式.
首先我们定义一个复杂类型.
create or replace type ctl.type_jax_varc2tab is table of varchar2(2000);
然后定义一个函数实现将给定的字符串转换为嵌套内存表.
CREATE OR REPLACE FUNCTION f_jax_str2tab(p_str IN VARCHAR2,
p_sep varchar2 default ','
) RETURN ctl.type_jax_varc2tab IS
/******************************************************************
Ver1.0 Created by jaxzhang on 2009-06-08
把字符串(1*2*3*4*5)转换为内存表形式
create or replace type type_jax_varc2tab is table of varchar2(2000);
测试用例:SELECT * FROM TABLE(f_jax_str2tab('1*2*3*4*5','*'));
******************************************************************/
v_str varchar2(2000);
v_cnt NUMBER ;
v_numtab type_jax_varc2tab := type_jax_varc2tab(); --返回内存表
BEGIN
select decode(substr(p_str,-1),p_sep,p_str,p_str || p_sep) into v_str from dual;
select length(v_str) - length(REPLACE(v_str, p_sep)) into v_cnt from dual;
FOR i IN 1 .. v_cnt LOOP
v_numtab.EXTEND;
v_numtab(i) := substr(v_str, 1, instr(v_str, p_sep) - 1);
v_str := substr(v_str, instr(v_str,p_sep) + 1);
END LOOP;
RETURN v_numtab;
EXCEPTION
WHEN OTHERS THEN
v_numtab.DELETE;
END;
上述函数的功能就是要将类似于’客户1,客户2,客户3’的字符串转换为如下形式.
SELECT * FROM TABLE(f_jax_str2tab('客户1,客户2,客户3',','));
COLUMN_VALUE |
客户1 |
客户2 |
客户3 |
得到上述的内存表之后, 我们就可以使用类似于一个表或者视图的方式来与正式表t_order_cust关联得到我们需要的查询结果.
Select /*+ ordered use_nl(a b)*/
From TABLE(f_jax_str2tab('客户1,客户2,客户3',',')) a,
T_order_cust b
Where b.o_customer = a.column_value
发表评论
-
查看当前Session SQL
2014-07-08 11:51 1038SELECT (SELECT listagg(b.sql_te ... -
CLOB列 XML信息查看
2014-05-28 10:28 980--使用该SQL查询节点情况 SELECT * FROM ... -
【转】ORACLE 临时表空间使用率过高的原因及解决方案
2012-12-25 15:24 926http://www.cnblogs.com/wonder31 ... -
oracle:获取session的IP地址
2012-10-20 02:38 4197方法1 创建触发器: create orreplace ... -
Oracle ora-01002
2012-08-11 02:43 28743ORA-01002:fetch超出序列 ... -
提高Oracle SQL的执行效率的3个方案
2012-08-08 00:57 947如果你想要提高Oracle SQL ... -
Oracle STA
2012-08-06 11:32 0第一步:创建优化任务 ... -
Oracle SQL小技巧
2012-08-06 11:21 01.两个字段可空的判断相等,用decode判断。 例子:d ... -
自动工作负载库(Automatic Workload Repository,AWR)
2012-07-23 22:45 1353自动工作负载库(Automatic Workload Repo ... -
orace的隔离级别
2012-07-21 01:06 1074隔离级别(isoation eve) 隔离级别定义了事务与 ... -
Oracle SQLID 与 Hash_value 之间的相互转化
2012-07-20 00:55 4667一、什么是SQLID SQLID是根据SQL 文本,经过 ... -
Oracle优化器和索引原
2012-07-13 00:34 1242Oracle优化器和索引原理 ============ ... -
Oracle优化器的RBO和CBO方式
2012-07-13 00:25 2374[/size]Or[size=large][size=smal ... -
Oracle 优化器详解
2012-07-13 00:18 1328一、优化器基本知识 Oracle在执行一个SQL之前,首先 ... -
SQL中使用WITH AS提高性能
2012-07-05 23:30 1148摘要:本文结合笔者实 ... -
Ibatis调用Oracle存储过程,以及返回Cursor结果集的问题
2012-07-01 23:46 2073最近开始接触Oracle了,接触的越多越感受到自己的渺小!(o ... -
Oracle表连接操作——Hash Join(哈希连接
2012-05-20 17:05 0连接 http://space.itpub.net/?uid ... -
Oracle hash join
2012-05-20 17:00 872hash join是oracle里面一个 ... -
转--一次HASH JOIN 临时表空间不足的分析和优化思路
2012-05-20 15:36 4474最近遇到一个语句, 只要一执行这个语句就会出现报错临时表空间 ... -
SQL*PLUS SET 变量
2012-05-02 22:46 851SQL*PLUS SET变量 SQL*PLUS维护系 ...
相关推荐
该技术以其独特的高性能、实时分析和处理能力,为企业提供了无与伦比的数据管理和业务洞察力。通过利用SAP内存数据库,企业能够即时访问和分析海量数据,实现快速决策和敏捷响应市场变化。这不仅优化了业务流程,...
27、查看放在ORACLE的内存区里的表 SQL>select table_name,cache from user_tables where instr(cache,\'Y\')>0; 28、约束条件 create table employee (empno number(10) primary key, name varchar2(40) ...
SQL编辑器中不仅包括标准的编辑命令,也包括一些增强的功能,如快速查询表中的字段、将SQL语句的内容格式化等等。这个窗口可以处理大到4GB 的内容,对大的开发项目来说非常有用。便捷的书签可以让开发人员非常容易地...
Oracle的新一代数据库云服务器Oracle Exadata X3结合了大量内存和低成本磁盘,能以最低的成本实现最高的性能,因此是处理云计算中多变、不可预测负载的理想数据库平台。 Oracle Exadata X3 系统凭借新一代技术得到...
<br>4、 提供了强大的QueryFilter类构造查询条件,使得实现数据查询不再需要编写复杂的SQL语句; <br>5、 提供类似IBatisNet的Sql模板功能,为复杂的查询统计提供较直观的开发模式; <br>6、 提供代码生成...
<br>4、 提供了强大的QueryFilter类构造查询条件,使得实现数据查询不再需要编写复杂的SQL语句; <br>5、 提供类似IBatisNet的Sql模板功能,为复杂的查询统计提供较直观的开发模式; <br>6、 提供代码生成...
在数据库处理方面,不需要在数据层借助存储过程及数据库服务器端函数封装过多的业务逻辑,因此数据库系统采用相对精巧的MySQL[6]。 该在线博客系统服务器端如果需要布置到其他主机上,则该主机必备条件如下: 1. ...
<br>4、 提供了强大的QueryFilter类构造查询条件,使得实现数据查询不再需要编写复杂的SQL语句; <br>5、 提供类似IBatisNet的Sql模板功能,为复杂的查询统计提供较直观的开发模式; <br>6、 提供代码生成...
实例027 实现两个变量的互换(不借助 第3个变量) 37 2.3 条件语句 38 实例028 判断某一年是否为闰年 38 实例029 验证登录信息的合法性 39 实例030 为新员工分配部门 40 实例031 用Switch语句根据消费金额计算折扣 ...
在数据库处理方面,不需要在数据层借助存储过程及数据库服务器端函数封装过多的业务逻辑,因此数据库系统采用相对精巧的MySQL[6]。 该在线博客系统服务器端如果需要布置到其他主机上,则该主机必备条件如下: 1. ...
经过长期研究,我们借助数据库管理系统的选择依据,比较、分析了四种常用数据库系统的功能特点:(1)ORACLE:开发工具丰富,覆盖全面;使用第四代语言开发的工具和图文界面;具有数据保护和分布优化查询功能;数据...
媒体查询 CSS媒体查询允许开发者基于浏览网站的设备的特性来应用不同的样式申明,最常用的特性是视口宽度。 GCF 谷歌内嵌浏览器框架, 使用此插件,用户可以通过Internet Explorer的用户界面,以Chrome内核的渲染方式...
Java舍弃了C ++语言中容易引起错误的指针(以引用取代)、运算符重载(operator overloading)、多重继承(以接口取代)等特性,增加了垃圾回收器功能用于回收不再被引用的对象所占据的内存空间,使得程序员不用再为...