`

深入浅出理解索引结构

阅读更多

深入浅出理解索引结构 

(一)深入浅出理解索引结构

        实际上,您可以把索引理解为一种特殊的目录。微软的 SQL SERVER 提供了两种索引:聚集索引( clustered index ,也称聚类索引、簇集索引)和非聚集索引( nonclustered index ,也称非聚类索引、非簇集索引)。下面,我们举例来说明一下聚集索引和非聚集索引的区别:   

其实,我们的汉语字典的正文本身就是一个聚集索引。比如,我们要查“安”字,就会很自然地翻开字典的前几页,因为“安”的拼音是“ an” ,而按照拼音排序汉字的字典是以英文字母“ a” 开头并以“ z” 结尾的,那么“安”字就自然地排在字典的前部。如果您翻完了所有以“ a” 开头的部分仍然找不到这个字,那么就说明您的字典中没有这个字;同样的,如果查“张”字,那您也会将您的字典翻到最后部分,因为“张”的拼音是“ zhang” 。也就是说,字典的正文部分本身就是一个目录,您不需要再去查其他目录来找到您需要找的内容。

        我们把这种正文内容本身就是一种按照一定规则排列的目录称为“聚集索引”。

        如 果您认识某个字,您可以快速地从自动中查到这个字。但您也可能会遇到您不认识的字,不知道它的发音,这时候,您就不能按照刚才的方法找到您要查的字,而需 要去根据“偏旁部首”查到您要找的字,然后根据这个字后的页码直接翻到某页来找到您要找的字。但您结合“部首目录”和“检字表”而查到的字的排序并不是真 正的正文的排序方法,比如您查“张”字,我们可以看到在查部首之后的检字表中“张”的页码是 672 页,检字表中“张”的上面是“驰”字,但页码却是 63 页,“张”的下面是“弩”字,页面是 390 页。 很显然,这些字并不是真正的分别位于“张”字的上下方,现在您看到的连续的“驰、张、弩”三字实际上就是他们在非聚集索引中的排序,是字典正文中的字在非 聚集索引中的映射。我们可以通过这种方式来找到您所需要的字,但它需要两个过程,先找到目录中的结果,然后再翻到您所需要的页码。   

       我们把这种目录纯粹是目录,正文纯粹是正文的排序方式称为“非聚集索引”。

       通过以上例子,我们可以理解到什么是“聚集索引”和“非聚集索引”。   

       进一步引申一下,我们可以很容易的理解:每个表只能有一个聚集索引,因为目录只能按照一种方法进行排序。  

(二)何时使用聚集索引或非聚集索引   

      下面的表总结了何时使用聚集索引或非聚集索引(很重要)。   

     

动作描述

使用聚集索引

使用非聚集索引

列经常被分组排序  

返回某范围内的数据

不应

一个或极少不同值

不应

不应

小数目的不同值

不应

大数目的不同值

不应

频繁更新的列

不应

外键列

主键列

频繁修改索引列

不应

 

        事实上,我们可以通过前面聚集索引和非聚集索引的定义的例子来理解上表。如:返回某范围内的数据一项。比如您的某个表有一个时间列,恰好您把聚合索引建立在了该列,这时您查询 2004 1 1 日至 2004 10 1 日之间的全部数据时,这个速度就将是很快的,因为您的这本字典正文是按日期进行排序的,聚类索引只需要找到要检索的所有数据中的开头和结尾数据即可;而不像非聚集索引,必须先查到目录中查到每一项数据对应的页码,然后再根据页码查到具体内容。   

(三)结合实际,谈索引使用的误区   

        理论的目的是应用。虽然我们刚才列出了何时应使用聚集索引或非聚集索引,但在实践中以上规则却很容易被忽视或不能根据实际情况进行综合分析。下面我们将根据在实践中遇到的实际问题来谈一下索引使用的误区,以便于大家掌握索引建立的方法。  

1 、主键就是聚集索引   

      这种想法笔者认为是极端错误的,是对聚集索引的一种浪费。虽然 SQL SERVER 默认是在主键上建立聚集索引的。   

        通常,我们会在每个表中都建立一个 ID 列,以区分每条数据,并且这个 ID 列是自动增大的,步长一般为 1 。我们的这个办公自动化的实例中的列 Gid 就是如此。此时,如果我们将这个列设为主键, SQL SERVER 会将此列默认为聚集索引。这样做有好处,就是可以让您的数据在数据库中按照 ID 进行物理排序,但笔者认为这样做意义不大。  

        显而易见,聚集索引的优势是很明显的,而每个表中只能有一个聚集索引的规则,这使得聚集索引变得更加珍贵。   

        从我们前面谈到的聚集索引的定义我们可以看出,使用聚集索引的最大好处就是能够根据查询要求,迅速缩小查询范围,避免全表扫描。在实际应用中,因为 ID 号是自动生成的,我们并不知道每条记录的 ID 号,所以我们很难在实践中用 ID 号来进行查询。这就使让 ID 号这个主键作为聚集索引成为一种资源浪费。其次,让每个 ID 号都不同的字段作为聚集索引也不符合“大数目的不同值情况下不应建立聚合索引”规则;当然,这种情况只是针对用户经常修改记录内容,特别是索引项的时候会负作用,但对于查询速度并没有影响。   

        在办公自动化系统中,无论是系统首页显示的需要用户签收的文件、会议还是用户进行文件查询等任何情况下进行数据查询都离不开字段的是“日期”还有用户本身的“用户名”。   

        通常,办公自动化的首页会显示每个用户尚未签收的文件或会议。虽然我们的 where 语句可以仅仅限制当前用户尚未签收的情况,但如果您的系统已建立了很长时间,并且数据量很大,那么,每次每个用户打开首页的时候都进行一次全表扫描,这样做意义是不大的,绝大多数的用户 1 个月前的文件都已经浏览过了,这样做只能徒增数据库的开销而已。事实上,我们完全可以让用户打开系统首页时,数据库仅仅查询这个用户近 3 个月来未阅览的文件,通过“日期”这个字段来限制表扫描,提高查询速度。如果您的办公自动化系统已经建立的 2 年,那么您的首页显示速度理论上将是原来速度 8 倍,甚至更快。   

        在这里之所以提到“理论上”三字,是因为如果您的聚集索引还是盲目地建在 ID 这个主键上时,您的查询速度是没有这么高的,即使您在“日期”这个字段上建立的索引(非聚合索引)。下面我们就来看一下在 1000 万条数据量的情况下各种查询的速度表现( 3 个月内的数据为 25 万条):   

1) 仅在主键上建立聚集索引,并且不划分时间段:   

Select gid,fariqi,neibuyonghu,title from tgongwen 用时: 128470 毫秒(即: 128 秒)   

2 )在主键上建立聚集索引,在 fariq 上建立非聚集索引:   

select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi> dateadd(day,-90,getdate())  用时: 53763 毫秒( 54 秒)  

3 )将聚合索引建立在日期列( fariqi )上:   

select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi> dateadd(day,-90,getdate()) 用时: 2423 毫秒( 2 秒)   

        虽然每条语句提取出来的都是 25 万条数据,各种情况的差异却是巨大的,特别是将聚集索引建立在日期列时的差异。事实上,如果您的数据库真的有 1000 万容量的话,把主键建立在 ID 列上,就像以上的第 1 2 种情况,在网页上的表现就是超时,根本就无法显示。这也是我摒弃 ID 列作为聚集索引的一个最重要的因素。   

得出以上速度的方法是:在各个 select 语句前加: declare @d datetime set @d=getdate()   

并在 select 语句后加:   

select [ 语句执行花费时间 ( 毫秒 )]=datediff(ms,@d,getdate())   

2 、只要建立索引就能显著提高查询速度   

        事实上,我们可以发现上面的例子中,第 2 3 条语句完全相同,且建立索引的字段也相同;不同的仅是前者在 fariqi 字段上建立的是非聚合索引,后者在此字段上建立的是聚合索引,但查询速度却有着天壤之别。所以,并非是在任何字段上简单地建立索引就能提高查询速度。   

        从建表的语句中,我们可以看到这个有着 1000 万数据的表中 fariqi 字段有 5003 个 不同记录。在此字段上建立聚合索引是再合适不过了。在现实中,我们每天都会发几个文件,这几个文件的发文日期就相同,这完全符合建立聚集索引要求的:“既 不能绝大多数都相同,又不能只有极少数相同”的规则。由此看来,我们建立“适当”的聚合索引对于我们提高查询速度是非常重要的。   

3 、把所有需要提高查询速度的字段都加进聚集索引,以提高查询速度   

       上面已经谈到:在进行数据查询时都离不开字段的是“日期”还有用户本身的“用户名”。既然这两个字段都是如此的重要,我们可以把他们合并起来,建立一个复合索引( compound index )。   

        很多人认为只要把任何字段加进聚集索引,就能提高查询速度,也有人感到迷惑:如果把复合的聚集索引字段分开查询,那么查询速度会减慢吗?带着这个问题,我们来看一下以下的查询速度(结果集都是 25 万条数据):(日期列 fariqi 首先排在复合聚集索引的起始列,用户名 neibuyonghu 排在后列)   

1 select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5'  查询速度: 2513 毫秒   

2 select gid,fariqi,neibuyonghu,title from Tgongwen where fariqi>'2004-5-5' and neibuyonghu=' 办公室 '  查询速度: 2516 毫秒   

3 select gid,fariqi,neibuyonghu,title from Tgongwen where neibuyonghu=' 办公室 '  查询速度: 60280 毫秒   

       从以上试验中,我们可以看到如果仅用聚集索引的起始列作为查询条件和同时用到复合聚集索引的全部列的查询速度是几乎一样的,甚至比用上全部的复合索引列还 要略快(在查询结果集数目一样的情况下);而如果仅用复合聚集索引的非起始列作为查询条件的话,这个索引是不起任何作用的。当然,语句 1 2 的查询速度一样是因为查询的条目数一样,如果复合索引的所有列都用上,而且查询结果少的话,这样就会形成“索引覆盖”,因而性能可以达到最优。同时,请记住:无论您是否经常使用聚合索引的其他列,但其前导列一定要是使用最频繁的列。  

(四)其他书上没有的索引使用经验总结   

1 、用聚合索引比用不是聚合索引的主键速度快   

      下面是实例语句:(都是提取 25 万条数据)   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16' 使用时间: 3326 毫秒   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where gid<=250000 使用时间: 4470 毫秒   

      这里,用聚合索引比用不是聚合索引的主键速度快了近 1/4   

2 、用聚合索引比用一般的主键作 order by 时速度快,特别是在小数据量情况下   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by fariqi 用时: 12936   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen order by gid  用时: 18843  

       这里,用聚合索引比用一般的主键作 order by 时,速度快了 3/10 。事实上,如果数据量很小的话,用聚集索引作为排序列要比使用非聚集索引速度快得明显的多;而数据量如果很大的话,如 10 万以上,则二者的速度差别不明显。  

3 、使用聚合索引内的时间段,搜索时间会按数据占整个数据表的百分比成比例减少,而无论聚合索引使用了多少个  

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' 用时: 6343 毫秒(提取 100 万条)    

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-6-6' 用时: 3170 毫秒(提取 50 万条)   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi='2004-9-16'   

用时: 3326 毫秒(和上句的结果一模一样。如果采集的数量一样,那么用大于号和等于号是一样的)   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' and fariqi<'2004-6-6' 用时: 3280 毫秒  

4 、日期列不会因为有分秒的输入而减慢查询速度   

       下面的例子中,共有 100 万条数据, 2004 1 1 日以后的数据有 50 万条,但只有两个不同的日期,日期精确到日;之前有数据 50 万条,有 5000 个不同的日期,日期精确到秒。  

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi>'2004-1-1' order by fariqi 用时: 6390 毫秒   

select gid,fariqi,neibuyonghu,reader,title from Tgongwen where fariqi<'2004-1-1' order by fariqi 用时: 6453 毫秒   

(五)其他注意事项   

      “水可载舟,亦可覆舟”,索引也一样。索引有助于提高检索性能,但过多或不当的索引也会导致系统低效。因为用户在表中每加进一个索引,数据库就要做更多的工作。过多的索引甚至会导致索引碎片。  

        所以说,我们要建立一个“适当”的索引体系,特别是对聚合索引的创建,更应精益求精,以使您的数据库能得到高性能的发挥。   

       当然,在实践中,作为一个尽职的数据库管理员,您还要多测试一些方案,找出哪种方案效率最高、最为有效。   

二、改善 SQL 语句   

       很多人不知道 SQL 语句在 SQL SERVER 中是如何执行的,他们担心自己所写的 SQL 语句会被 SQL SERVER 误解。比如:   

select * from table1 where name='zhangsan' and tID > 10000 和执行 : select * from table1 where tID > 10000 and name='zhangsan'   

       一些人不知道以上两条语句的执行效率是否一样,因为如果简单的从语句先后上看,这两个语句的确是不一样,如果 tID 是一个聚合索引,那么后一句仅仅从表的 10000 条以后的记录中查找就行了;而前一句则要先从全表中查找看有几个 name='zhangsan' 的,而后再根据限制条件条件 tID>10000 来提出查询结果。   

        事实上,这样的担心是不必要的。 SQL SERVER 中有一个“查询分析优化器”,它可以计算出 where 子句中的搜索条件并确定哪个索引能缩小表扫描的搜索空间,也就是说,它能实现自动优化。   

        虽然查询优化器可以根据 where 子句自动的进行查询优化,但大家仍然有必要了解一下“查询优化器”的工作原理,如非这样,有时查询优化器就会不按照您的本意进行快速查询。   

        在查询分析阶段,查询优化器查看查询的每个阶段并决定限制需要扫描的数据量是否有用。如果一个阶段可以被用作一个扫描参数( SARG ),那么就称之为可优化的,并且可以利用索引快速获得所需数据。   

        SARG 的定义:用于限制搜索的一个操作,因为它通常是指一个特定的匹配,一个值得范围内的匹配或者两个以上条件的 AND 连接。形式如下:   

列名 操作符 < 常数 变量 > < 常数 变量 > 操作符列名  

列名可以出现在操作符的一边,而常数或变量出现在操作符的另一边。如:   

Name=’ 张三’   

价格 >5000  

5000< 价格  

Name=’ 张三’ and 价格 >5000   

        如果一个表达式不能满足 SARG 的形式,那它就无法限制搜索的范围了,也就是 SQL SERVER 必须对每一行都判断它是否满足 WHERE 子句中的所有条件。所以一个索引对于不满足 SARG 形式的表达式来说是无用的。   

介绍完 SARG 后,我们来总结一下使用 SARG 以及在实践中遇到的和某些资料上结论不同的经验:   

1 Like 语句是否属于 SARG 取决于所使用的通配符的类型   

如: name like ‘ %’ ,这就属于 SARG   

而: name like ‘% 张’ , 就不属于 SARG   

原因是通配符 % 在字符串的开通使得索引无法使用。   

2 or 会引起全表扫描   

Name=’ 张三’ and 价格 >5000 符号 SARG ,而: Name=’ 张三’ or 价格 >5000 则不符合 SARG 。使用 or 会引起全表扫描。   

3 、非操作符、函数引起的不满足 SARG 形式的语句   

       不满足 SARG 形式的语句最典型的情况就是包括非操作符的语句,如: NOT != <> !< !> NOT EXISTS NOT IN NOT LIKE 等,另外还有函数。 下面就是几个不满足 SARG 形式的例子:   

ABS( 价格 )<5000   

Name like % 三’   

有些表达式,如:   

WHERE 价格 *2>5000   

SQL SERVER 也会认为是 SARG SQL SERVER

分享到:
评论

相关推荐

    SQL Server 索引结构及其使用(一)--深入浅出理解索引结构第1/4页

    深入浅出理解索引结构

    SQL Server 索引结构及其使用(一)–深入浅出理解索引结构第1/4页

    一、深入浅出理解索引结构 实际上,您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,也称非聚类索引、...

    深入浅出理解索引

    (一)深入浅出理解索引结构  实际上,您可以把索引理解为一种特殊的目录。  SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,也称非聚类...

    深入浅出理解数据库索引结构 .doc

    实际上,您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,也称非聚类索引、非簇集索引)。下面,我们...

    SQLServer2000索引结构及其使用

    一、深入浅出理解索引结构 实际上,您可以把索引理解为一种特殊的目录。微软的SQLSERVER提供了两种索引:聚集索引(clusteredindex,也称聚类索引、簇集索引)和非聚集索引(nonclusteredindex,也称非聚类索引、非...

    SQL 优化

    (一)深入浅出理解索引结构    实际上,您可以把索引理解为一种特殊的目录。微软的SQL SERVER提供了两种索引:聚集索引(clustered index,也称聚类索引、簇集索引)和非聚集索引(nonclustered index,也称非...

    C++ Primer第五版pdf_带源码+泛型编程与STL中文版+opencv编程入门_带源码

    本书以当前最新版本的OpenCV最常用最核心的组件模块为索引,深入浅出地介绍了OpenCV2和OpenCV3中的强大功能、性能,以及新特性。书本配套的OpenCV2和OpenCV3双版本的示例代码包中,含有总计两百多个详细注释的程序源...

    boutique-books:我读过的一些好书

    boutique-books Some of the fine books I have read. ...《深入浅出NodeJs》 《深入理解ES6》 《你不知道JavaScript-上卷》 《你不知道JavaScript-中卷》 《你不知道JavaScript-下卷》 《JavaScript模式》 《JavaScrip

    深入解析ATL(第2版).pdf

    全书内容丰富,深入浅出,主要涵盖了ATL内部架构和实现方法、运用向导简化ATL开发、C++/COM/ATL中字符串的使用技巧、理解并正确实现IUnknown、充分利用ATL提供的Smart Types、撰写能够暴露COM服务器上COM对象的粘合...

    SQL Server 2008数据库设计与实现

    本书深入浅出地介绍了目前世界上最受欢迎的数据库管理系统之一——SQL Server。全书共分三个部分:第一部分阐释了数据库的基本概念,讲解了数据库建模语言;第二部分展示了从概念建模到在SQL Server 2008上真正实现...

    最新Java面试题视频网盘,Java面试题84集、java面试专属及面试必问课程

    ├─面试必问-微服务架构深入浅出讲解springcloud │ 微服务架构 --深入浅出讲解springcloud.mp4 │ ├─面试必问-教你手写MyBatis框架 │ 一小时教你手写MyBatis框架.mp4 │ ├─面试必问-架构杀手锏——java混乱...

    组合数学(原书第4版)(美)Richard A. Brualdi

    本书侧重于组合数学的概念和思想,包括鸽巢原理、计数技术、排列组合、Polya计数法、二项式系数、容斥原理、生成函数和递推关系以及组合结构(匹配、实验设计、图)等,深入浅出地表达了作者对该领域全面和深刻的理解,...

    算法导论(part1)

    它深入浅出地介绍了大量的算法及相关的数据结构,以及用于解决一些复杂计算问题的高级策略(如动态规划、贪心算法、平摊分析等),重点在于算法的分析和设计。对于每一个专题,作者都试图提供目前最新的研究成果及样例...

    算法导论(part2)

    它深入浅出地介绍了大量的算法及相关的数据结构,以及用于解决一些复杂计算问题的高级策略(如动态规划、贪心算法、平摊分析等),重点在于算法的分析和设计。对于每一个专题,作者都试图提供目前最新的研究成果及样例...

    统计学方法与数据分析(上下册)

    在大部分章节中都使用实例未引入主题,并把统计概念和这些非常实际的问题联系在一起进行讲解,深入浅出,从而可以避免许多人对统计所抱有的粗浅的感性认识,即认为统计仅仅是另一门数学课程。作者把统计数据的收集与...

    asp.net知识库

    在 SQL Server 2005 中查询表结构及索引 sql server 2005中的DDL触发器 在 SQL Server 2005 中使用表值函数来实现空间数据库 SQL Server 2005的30个最重要特点 同时安装sql2000和sql2005的经验 类如何与界面绑定 在...

Global site tag (gtag.js) - Google Analytics