我记得我在上大学的第一堂数据库的时候,老师告诉我们,索引在数据库里面是一个非常重要的东西,用好了数据库索引,会让觉得事半功倍的效果,用不好数据索引,往往是吃力不讨好。所以在出来工作的三四年的时间里面,一直都在关键的字段上面建索引来提高查找速度,当然这个也得看情况,如果是需要快速插入的地方,建立索引的过程又往往是性能消耗很大。但是又一次的一个项目,确让引发了我对索引的重新理解。
具体的要求是这样,对某个字段进行模糊查询,数据类型为vchar2(100),数据量在100W左右,要求查询相关记录的时间为1秒左右,当时我觉得这个是一个很好做的事情,我就想提高速度那我就在这个字段上面建立索引吧,这样速度应该就会很快的。很快索引建立起来,程序写好了,当时当真正测试的时候,发现速度根本就没有我想象的那么快,是不是索引用的不对,按照常理,100W的数据,用索引查找应该就在1秒之内完成呀。后来查看了mysql的官网才知道 ,在对整形数据建立索引,速度是超快的,对vchar2建立索引,如果你采用%##%来进行查询,索引是不起作用的,也就是全表遍历。只是在##%的查询的时候,索引才有效的。 后来把搜索条件该为##%,果然速度超快。
在这里突然想到,百度的搜索提示框,当你在百度搜索框里面输入某个字符的时候,你可以看到出来的下拉框提示信息都是以你输入的这个字符开头的,为什么会这样,这样符合逻辑吗? 其实不然。但是没有办法,如果出现不是这个字符开头的话,那么你必须采用%##%来进行查找,这样相当于全表扫描,速度肯定是无法接接受,所你看百度的提示搜索框都是以你输入的那个字符为开头的提示信息,就是可以用##%为搜索条件,来进行索引查询的。
那么有没有%##%这样查找的解决方案呢?Lucene就是专门应对这样的情况,我在建立自己的网站 bushere.com的时候,开始的时候也是采用mysq4.0l的%##%来进行搜索条件,发现速度根本就没有办法接受,因为有100W的数据,你在里这么多数据集查找某个线路的信息,速度肯定无法接受,后来采用lucene来改进,当然也花费了不少的时间来学习,效果不错。100W的数据 在查找起点和终点的线路信息时候,基本是在1秒之内,速度很快。当然用户体验也就自然上去了。
所以我想说。有的时候,正理也会有不适合的场景,是自己的理解错误还是其他的,需要自己实践才能知晓。困难时时都会遇到,但是肯定有解决之道。
分享到:
相关推荐
资源介绍:。易语言edb数据库搜索和模糊搜索源码。资源作者:。资源界面:。资源下载:。
模仿百度的搜索功能,采用java,jsp和ajax实现
基于QT、OCI实现ORACLE数据库模糊搜索.pdf
数据库实现 模糊版 数据库实现 模糊版 数据库实现 模糊版数据库实现 模糊版
C# ASP.NET 进行MVC数据库模糊查询.
ajax实现动态从数据库模糊查询显示到下拉框中(ajax方法返回Dataset的例子)
Python使用sql语句对mysql数据库多条件模糊查询
delphi 系统开发 数据库模糊查询系统
在MySQL下,在进行中文模糊检索时,经常会返回一些与之不相关的记录,本文介绍了实现MySQL数据库中文模糊检索的方法。
利用ASP,可以很容易地把HTML(超文本标记语言)文本、脚本命令及ActiveX组件混合在一起构成ASP页,以此来生成动态网页,创建交互式的Web站点,实现对Web数据库的访问。当用户使用浏览器请求ASP主页时,Web服务器响应,调用...
像百度一样的搜索代码,下载下来可以直接用,什么数据库都可以,绝对是好用的
数据库模糊查询算法,对于问题的多角度匹配是非常用的,
模糊数学在数据库模糊查询中的应用,耿春雨 ,郭嗣琮,本文介绍了模糊数学的概念及其研究内容的主要方面、应用。让计算机理解人的自然语言,是智能信息处理技术研究的一想重要的任务,
jsp分页技术可以与数据库的增删查改操作结合使用,实现对数据的全面管理。 在上述代码中,我们可以看到ContactDao类中有三个方法:getAllPage、getAll和getGrup。这些方法都是对数据库的操作,分别实现了数据的分页...
前端页面实现对数据库的操作
使用JSP JavaBean来实现对数据库分页显示与搜索 <br/>1、数据库MySQL,创建数据库Pagination MySQL.sql用来创建表结构 <br/>2、配置把PaginationJSPJavaBean.rar解压到%Tomcat%\webapps\...
最后使用Flask和Neo4j图数据库对模型进行了部署 实体关系抽取,使用了百度比赛的数据集。使用pytorch实现MultiHeadJointEntityRelationExtraction,包含Bert、Albert、gru的使用,并且添加了对抗训练。最后使用...
用lucene对数据库建立索引及搜索.doc
易语言edb数据库搜索和模糊搜索源码 三叶自学网