`
hotjava
  • 浏览: 182516 次
  • 性别: Icon_minigender_1
  • 来自: 天津
社区版块
存档分类
最新评论

转oracle中的hash join详解

阅读更多

转自:http://blog.csdn.net/47522341/archive/2008/03/17/2192203.aspx

Q9,oracle中的hash join详解。
作者: fuyuncat

一、  hash join概念
     hash join(HJ)是一种用于equi-join(而anti-join就是使用NOT IN时的join)的技术。在Oracle中,它是从7.3开始引入的,以代替sort-merge和nested-loop join方式,提高效率。在CBO(hash join只有在CBO才可能被使用到)模式下,优化器计算代价时,首先会考虑hash join。可以通过提示use_hash来强制使用hash join,也可以通过修改会话或数据库参数HASH_JOIN_ENABLED=FALSE(默认为TRUE)强制不使用hash join。
     Hash join的主要资源消耗在于CPU(在内存中创建临时的hash表,并进行hash计算),而merge join的资源消耗主要在于磁盘IO(扫描表或索引)。在并行系统中,hash join对CPU的消耗更加明显。所以在CPU紧张时,最好限制使用hash join。
在绝大多数情况下,hash join效率比其他join方式效率更高:
     在Sort-Merge Join(SMJ),两张表的数据都需要先做排序,然后做merge。因此效率相对最差;
     Nested-Loop Join(NL)效率比SMJ更高。特别是当驱动表的数据量很大(集的势高)时。这样可以并行扫描内表。
     Hash join效率最高,因为只要对两张表扫描一次。 
     Hash join一般用于一张小表和一张大表进行join时。Hash join的过程大致如下(下面所说的内存就指sort area,关于过程,后面会作详细讨论):
1. 一张小表被hash在内存中。因为数据量小,所以这张小表的大多数数据已经驻入在内存中,剩下的少量数据被放置在临时表空间中;
2. 每读取大表的一条记录,就和小表中内存中的数据进行比较,如果符合,则立即输出数据(也就是说没有读取临时表空间中的小表的数据)。而如果大表的数据与小表中临时表空间的数据相符合,则不直接输出,而是也被存储临时表空间中。
3. 当大表的所有数据都读取完毕,将临时表空间中的数据以其输出。
      如果小表的数据量足够小(小于hash area size),那所有数据就都在内存中了,可以避免对临时表空间的读写。
如果是并行环境下,前面中的第2步就变成如下了:每读取一条大表的记录,和内存中小表的数据比较,如果符合先做join,而不直接输出,直到整张大表数据读取完毕。如果内存足够,Join好的数据就保存在内存中。否则,就保存在临时表空间中。
二、  Oracle中与hash join相关的参数
     首先,要注意的是,hash join只有在CBO方式下才会被激活。在oracle中与hash join相关的参数主要有以下几个:
1.             HASH_JOIN_ENABLED
     这个参数是控制查询计划是否采用hash join的“总开关”。它可以在会话级和实例级被修改。默认为TRUE,既可以(不是一定,要看优化器计算出来的代价)使用。如果设为FALSE,则禁止使用hash join。
2.             HASH_AREA_SIZE
     这个参数控制每个会话的hash内存空间有多大。它也可以在会话级和实例级被修改。默认(也是推荐)值是sort area空间大小的两倍(2*SORT_AREA_SIZE)。要提高hash join的效率,就一定尽量保证sort area足够大,能容纳下整个小表的数据。但是因为每个会话都会开辟一个这么大的内存空间作为hash内存,所以不能过大(一般不建议超过2M)。在Oracle9i及以后版本中,Oracle不推荐在dedicated server中使用这个参数来设置hash内存,而是推荐通过设置PGA_AGGRATE_TARGET参数来自动管理PGA内存。保留HASH_AREA_SIZE只是为了向后兼容。在dedicated server中,hash area是从PGA中分配的,而在MTS(Multi-Threaded Server)中,hash area是从UGA中分配的。
     另外,还要注意的是,每个会话并不一定只打开一个hash area,因为一个查询中可能不止一个hash join,这是就会相应同时打开多个hash area。
3.             HAHS_MULTIBLOCK_IO_COUNT
     这个参数决定每次读入hash area的数据块数量。因此它会对IO性能产生影响。他只能在init.ora或spfile中修改。在8.0及之前版本,它的默认值是1,在8i及以后版本,默认值是0。一般设置为1-(65536/DB_BLOCK_SIZE)。
     在9i中,这个参数是一个隐藏参数:_HASH_MULTIBLOCK_IO_COUNT,可以通过表x$ksppi查询和修改。
     另外,在MTS中,这个参数将不起作用(只会使用1)。
     它的最大值受到OS的IO带宽和DB_BLOCK_SIZE的影响。既不能大于MAX_IO_SIZE/DB_BLOCK_SIZE。
     在8i及以后版本,如果这个值设置为0,则表示在每次查询时,Oracle自己自动计算这个值。这个值对IO性能影响非常大,因此,建议不要修改这个参数,使用默认值0,让Oracle自己去计算这个值。如果一定要设置这个值,要保证以下不等式能成立:R/M < Po2(M/C)其中,R表示小表的大小;M=HASH_AREA_SIZE*0.9;Po2(n)为n的2次方;C=HASH_MULTIBLOCK_IO_COUNT*DB_BLOCK_SIZE。
三、  Hash join的过程
     一次完整的hash join如下:
1.             计算小表的分区(bucket)数
     决定hash join的一个重要因素是小表的分区(bucket)数。这个数字由hash_area_size、hash_multiblock_io_count和db_block_size参数共同决定。Oracle会保留hash area的20%来存储分区的头信息、hash位图信息和hash表。因此,这个数字的计算公式是:
     Bucket数=0.8*hash_area_size/(hash_multiblock_io_count*db_block_size)
2.             Hash计算   
     读取小表数据(简称为R),并对每一条数据根据hash算法进行计算。Oracle采用两种hash算法进行计算,计算出能达到最快速度的hash值(第一hash值和第二hash值)。而关于这些分区的全部hash值(第一hash值)就成为hash表。
3.             存放数据到hash内存中
     将经过hash算法计算的数据,根据各个bucket的hash值(第一hash值)分别放入相应的bucket中。第二hash值就存放在各条记录中。
4.             创建hash位图
     与此同时,也创建了一个关于这两个hash值映射关系的hash位图。
5.             超出内存大小部分被移到磁盘
     如果hash area被占满,那最大一个分区就会被写到磁盘(临时表空间)上去。任何需要写入到磁盘分区上的记录都会导致磁盘分区被更新。这样的话,就会严重影响性能,因此一定要尽量避免这种情况。2-5一直持续到整个表的数据读取完毕。
6.             对分区排序
     为了能充分利用内存,尽量存储更多的分区,Oracle会按照各个分区的大小将他们在内存中排序。
7.             读取大表数据,进行hash匹配
     接下来就开始读取大表(简称S)中的数据。按顺序每读取一条记录,计算它的hash值,并检查是否与内存中的分区的hash值一致。如果是,返回join数据。如果内存中的分区没有符合的,就将S中的数据写入到一个新的分区中,这个分区也采用与计算R一样的算法计算出hash值。也就是说这些S中的数据产生的新的分区数应该和R的分区集的分区数一样。这些新的分区被存储在磁盘(临时表空间)上。
8.             完全大表全部数据的读取
     一直按照7进行,直到大表中的所有数据的读取完毕。 
9.             处理没有join的数据
     这个时候就产生了一大堆join好的数据和从R和S中计算存储在磁盘上的分区。
10.       二次hash计算
     从R和S的分区集中抽取出最小的一个分区,使用第二种hash函数计算出并在内存中创建hash表。采用第二种hash函数的原因是为了使数据分布性更好。
11.       二次hash匹配
     在从另一个数据源(与hash在内存的那个分区所属数据源不同的)中读取分区数据,与内存中的新hash表进行匹配。返回join数据。
12.       完成全部hash join
     继续按照9-11处理剩余分区,直到全部处理完毕。 
     整个hash join就完成了。 
四、 关于唯一健值的hash位图
     这个位图包含了每个hash分区是否有有值的信息。它记录了有数据的分区的hash值。这个位图的最大作用就是,如果S表中的数据没有与内存中的
hash表匹配上,先查看这个位图,已决定是否将没有匹配的数据写入磁盘。那些不可能匹配到的数据(即位图上对应的分区没有数据)就不再写入磁盘。

分享到:
评论

相关推荐

    Oracle中hash join研究.pdf

    【Oracle中的Hash Join详解】 哈希连接(Hash Join)是Oracle数据库中的一种高效连接方法,主要针对等值连接操作,其引入旨在解决嵌套循环连接(Nested Loop Join)中的大量随机读取问题以及排序合并连接(Sort-...

    ORACLE的执行计划详解文档

    在执行计划中,ORACLE 会对 SQL 语句进行hashed,生成一个唯一的hash值,然后将该hash值与共享池中的已有执行计划进行比较。如果找到相同的执行计划,则直接使用该执行计划,否则,ORACLE 将生成新的执行计划。 在...

    oracle性能优化技巧

    ### Oracle性能优化技巧详解 #### 一、Oracle优化器模式 在Oracle数据库中,优化器是决定查询执行计划的关键组件,其目标是最小化资源消耗并最大化查询性能。Oracle提供了三种主要的优化器模式:基于规则(RULE)...

    oracle执行计划详解

    Oracle 执行计划详解是数据库管理系统中一个非常重要的概念。本文将详细介绍 Oracle 执行计划的相关概念、访问数据的存取方法、表之间的连接等内容,并对总结和概述,以便于理解和记忆。 一、相关的概念 1. Rowid ...

    Oracle SQL 优化与调优技术详解-附录:SQL提示

    这里提供的知识是基于黄玮编写的《Oracle高性能SQL引擎剖析:Oracle SQL优化与调优技术详解》一书的内容,以及上述文档提供的相关知识点。在实际应用中,可以参考这些内容来优化Oracle数据库中的SQL查询。同时,为了...

    oracle初始化参数详解

    `always_anti_join`控制优化器如何处理NOT IN子查询,可以选择NESTED_LOOPS、MERGE或HASH方法。`always_semi_join`则影响EXISTS子查询的执行,当没有索引时,半连接可能会提高性能。 2. **aq_tm_processes**:此...

    ORACLE EXPLAIN PLAN的总结

    4. JOIN操作:JOIN操作显示了不同表之间的连接方式,如HASH JOIN、NESTED LOOP JOIN等。 五、Explain Plan的实际应用 1. 性能调优:通过比较不同执行计划的成本,可以找出性能瓶颈并优化SQL语句。 2. 索引评估:...

    Oracle的分页查询详解及效率.doc

    对于包含多表联接的查询,Oracle通常使用NESTED LOOP JOIN或HASH JOIN。在分页查询中,如果数据量较大,NESTED LOOP JOIN可以在达到最大记录数后停止,而HASH JOIN需要处理完整个结果集。因此,对于分页查询,特别是...

    ORACLE初始化参数详解

    ### ORACLE 初始化参数详解 #### 一、概述 在Oracle 8i系统中,初始化参数是配置数据库行为的重要工具。这些参数控制了数据库的各种运行特性,包括但不限于性能优化、安全性设置、故障诊断等方面。本文将详细解读...

    oracle中exists_和in的效率问题详解

    Oracle 中 EXISTS 和 IN 的效率问题详解 EXISTS 和 IN 都是 Oracle 中的集合操作符,但它们在使用和执行效率上有所不同。本文将深入探讨 EXISTS 和 IN 的使用场景、执行机制和效率问题。 EXISTS 的使用场景和机制 ...

    oracle认证详解Oracle的几种分页查询语句

    在Oracle中,表连接可能采用NESTED LOOP、HASH JOIN或MERGE JOIN等方式。对于分页查询而言,NESTED LOOP通常更为合适,因为它能够在返回的记录数达到指定上限时立即停止,而HASH JOIN需要处理完整个结果集才能返回...

    oracle核心技术读书笔记一附件1

    哈希连接(Hash Join)、嵌套循环连接(Nested Loop Join)和归并连接(Merge Join)是Oracle支持的三种主要的连接操作。CBO(Cost-Based Optimizer)是Oracle默认的优化器,它根据数据量和操作成本来选择执行计划。...

    oracle表的连接方式

    Oracle提供了三种主要的表连接方式:NESTED LOOP JOIN、HASH JOIN和SORT MERGE JOIN。每种方法都有其独特的应用场景和性能特点。 #### NESTED LOOP JOIN NESTED LOOP JOIN是一种简单的连接方式,适用于连接的数据...

    Oracle的三种表连接方式

    Oracle 的三种表连接方式是指在做表 join 的时候, Oracle 有三种方式,分别是:sort merge join(SMJ) ·nest loop(NL) ·hash join(HJ)。下面是对这三种策略的详细讲解: sort merge join(SMJ) sort merge join ...

    oracle参数详解.docx

    例如,`always_anti_join`是一个优化程序参数,它影响反连接操作的处理方式,可以设置为`NESTED_LOOPS`、`MERGE`或`HASH`,默认值通常是`NESTED_LOOPS`。这种参数调整可以影响查询性能,尤其是在处理复杂查询和子...

    Oracle语句优化53个规则详解

    例如,明智地创建和使用索引可以减少全表扫描,选择合适的连接方法(如NLJ或HASH JOIN)可以提升多表查询的效率。此外,避免在WHERE子句中使用非索引的函数,可以防止索引失效。在处理大量数据时,考虑使用并行查询...

    详解Oracle执行计划.doc

    问计划在Oracle数据库中起着至关重要的作用,它揭示了SQL查询如何被数据库引擎执行,包括数据检索的路径、使用的索引以及数据处理的方式。理解执行计划有助于优化查询性能,减少资源消耗,提升系统效率。 一、执行...

    Oracle SQL 优化与调优技术详解-随书脚本.zip

    4. **哈希操作**:06_15_Hash.pl 可能涉及到Oracle的哈希连接和哈希聚合操作。哈希连接是处理大型JOIN的一种高效方式,尤其在数据分布均匀时。哈希聚合则用于计算分组统计数据。这个脚本可能帮助分析哈希操作的性能...

Global site tag (gtag.js) - Google Analytics