原文转载自:http://blog.csdn.net/yangyuankp/article/details/8085514
前言:
算法的基本特性在前几篇博客中已经做了详细的说明,经过不断的改进优化,到归仓的时候了,也就是说,该算法告一段落,不再更新。
作为最终的解决方案,简要的总结一下算法特性,以方便读者参阅。
目的:主要用于多条件模糊匹配。
贪婪特性:返回满足条件尽可能多的记录。
权重特性:为关键词分配权重,代表关键词的重要性,在不破坏贪婪特性的前提下,返回权重高的记录。
必要关键词指定特性:在不破坏贪婪特性和权重特性的前提下,返回的结果中必须包含指定的关键词。
典型应用:问-答系统,例如百度提问、京东商品咨询。
经过分析,在最终的解决方案中,提供两个版本的算法,已经封装成存储过程和函数,直接导入数据库即可。
普通版本:
描述:基于SQL的LIKE语句实现,使用简单,但受限于LIKE语句,不适合超大数据量处理。指定必要词会加快处理速度。
使用范围:万级别的数据量,数据量超过1万条,将导致运行缓慢。
使用方法:直接在查询分析器中运行脚本导入数据库即可。
调用示例:execute proc_Common_SuperLike'id','t_test','content','20','|','[i]|o|c'
参数说明:id表的主键字段名称。t_test表名。content匹配内容字段名称。20选出20个记录(从顶至下匹配度越来越低)。|关键字的分隔符号。[i]|o|c一共有i,o,c三个关键字,通过|分隔,其中i是必要词。
GO CREATE function Get_StrArrayLength ( @str varchar(1024), --要分割的字符串 @split varchar(10) --分隔符号 ) returns int as begin declare @location int declare @start int declare @length int set @str=ltrim(rtrim(@str)) set @location=charindex(@split,@str) set @length=1 while @location<>0 begin set @start=@location+1 set @location=charindex(@split,@str,@start) set @length=@length+1 end return @length end GO CREATE function Get_StrArrayStrOfIndex ( @str varchar(1024), --要分割的字符串 @split varchar(10), --分隔符号 @index int --取第几个元素 ) returns varchar(1024) as begin declare @location int declare @start int declare @next int declare @seed int set @str=ltrim(rtrim(@str)) set @start=1 set @next=1 set @seed=len(@split) set @location=charindex(@split,@str) while @location<>0 and @index>@next begin set @start=@location+@seed set @location=charindex(@split,@str,@start) set @next=@next+1 end if @location =0 select @location =len(@str)+1 --这儿存在两种情况:1、字符串不存在分隔符号 2、字符串中存在分隔符号,跳出while循环后,@location为0,那默认为字符串后边有一个分隔符号。 return substring(@str,@start,@location-@start) end GO CREATE PROCEDURE proc_Common_SuperLike --要查询的表的主键字段名称 @primaryKeyName varchar(999), --要查询的表名 @talbeName varchar(999), --要查询的表的字段名称,即内容所在的字段 @contentFieldName varchar(999), --查询记录的个数(TOP *),匹配的个数越多,排名越靠前 @selectNumber varchar(999), --匹配字符分隔标记 @splitString varchar(999), --匹配字符组合字符串 @words varchar(999) AS declare @sqlFirst varchar(999) declare @sqlCenter varchar(999) declare @sqlLast varchar(999) declare @next int declare @arrayLength int declare @newWords varchar(999) declare @newTable varchar(999) BEGIN set @newTable=@talbeName set @newWords=@words set @next=dbo.Get_StrArrayLength(@words,'[') --判断是否有必要词 if @next>1 begin set @newTable='' --构造必要表sql语句 while @next>1 begin set @newTable=@newTable+@contentFieldName+' like ''%'+dbo.Get_StrArrayStrOfIndex(dbo.Get_StrArrayStrOfIndex(@words,'[',@next),']',1)+'%'' AND ' set @next=@next-1 end set @newTable=left(@newTable,(len(@newTable)-4)) --构造临时表 set @newTable='SELECT * into ##tempTable FROM '+ @talbeName + ' WHERE ' + @newTable execute(@newTable) --指定临时表 set @newTable='##tempTable' --去掉关键词组中的必要词标记 set @newWords=REPLACE(REPLACE(@words,'[',''),']','') end set @sqlCenter='' set @next=1 set @arrayLength=dbo.Get_StrArrayLength(@newWords,@splitString) while @next<=@arrayLength begin --构造sql查询条件(中间部分) set @sqlCenter = @sqlCenter+'SELECT '+@primaryKeyName+','+CONVERT(varchar(999),@arrayLength-@next+1)+' AS wordPower FROM '+@newTable+' WHERE '+@contentFieldName+' like ''%'+dbo.Get_StrArrayStrOfIndex(@newWords,@splitString,@next)+'%'' UNION ALL ' set @next=@next+1 end --处理sql语句中间部分,去除最后无用语句 set @sqlCenter=left(@sqlCenter,(len(@sqlCenter)-10)) --构造sql语句开头部分 set @sqlFirst='SELECT TOP '+@selectNumber+' '+@primaryKeyName+',COUNT(*)+SUM(wordPower) AS finalPower FROM (' --构造sql语句结尾部分 set @sqlLast=') AS t_Temp GROUP BY '+@primaryKeyName+' ORDER BY finalPower DESC' --拼接出完整sql语句,并执行 Execute(@sqlFirst+@sqlCenter+@sqlLast) --判断临时表是否存在,存在则删除,一定要删除! if OBJECT_ID('tempDb..##tempTable') is not null begin drop table ##tempTable end END
大数据量版本:
描述:基于SQL的全文索引实现,使用较为复杂,但执行速度极快,适合处理大数据量。指定必要词会降低处理速度。
使用范围:千万级别的数据量,i3一代笔记本处理器,查询1千万条记录仅需2秒。
使用方法:在查询分析器中运行脚本导入数据库,再为要查询的表创建全文索引,索引字段设置为要查询的字段。
调用示例:execute proc_Common_SuperLike'id','t_test','content','20','|','[i]|o|c'
参数说明:id表的主键字段名称。t_test表名。content匹配内容字段名称。20选出20个记录(从顶至下匹配度越来越低)。|关键字的分隔符号。[i]|o|c一共有i,o,c三个关键字,通过|分隔,其中i是必要词。
GO CREATE function Get_StrArrayLength ( @str varchar(1024), --要分割的字符串 @split varchar(10) --分隔符号 ) returns int as begin declare @location int declare @start int declare @length int set @str=ltrim(rtrim(@str)) set @location=charindex(@split,@str) set @length=1 while @location<>0 begin set @start=@location+1 set @location=charindex(@split,@str,@start) set @length=@length+1 end return @length end GO CREATE function Get_StrArrayStrOfIndex ( @str varchar(1024), --要分割的字符串 @split varchar(10), --分隔符号 @index int --取第几个元素 ) returns varchar(1024) as begin declare @location int declare @start int declare @next int declare @seed int set @str=ltrim(rtrim(@str)) set @start=1 set @next=1 set @seed=len(@split) set @location=charindex(@split,@str) while @location<>0 and @index>@next begin set @start=@location+@seed set @location=charindex(@split,@str,@start) set @next=@next+1 end if @location =0 select @location =len(@str)+1 --这儿存在两种情况:1、字符串不存在分隔符号 2、字符串中存在分隔符号,跳出while循环后,@location为0,那默认为字符串后边有一个分隔符号。 return substring(@str,@start,@location-@start) end GO CREATE PROCEDURE proc_Common_SuperLike --要查询的表的主键字段名称 @primaryKeyName varchar(999), --要查询的表名 @talbeName varchar(999), --要查询的表的字段名称,即内容所在的字段 @contentFieldName varchar(999), --查询记录的个数(TOP *),匹配的个数越多,排名越靠前 @selectNumber varchar(999), --匹配字符分隔标记 @splitString varchar(999), --匹配字符组合字符串 @words varchar(999) AS declare @sqlFirst varchar(999) declare @sqlCenter varchar(999) declare @sqlLast varchar(999) declare @next int declare @arrayLength int declare @newTable varchar(999) BEGIN set @newTable='' set @sqlCenter='' set @next=1 set @arrayLength=dbo.Get_StrArrayLength(@words,@splitString) while @next<=@arrayLength begin --构造sql查询条件(中间部分) --判断是否是必要词 if CHARINDEX('[',dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next))>0 begin set @sqlCenter = @sqlCenter+'SELECT '+@primaryKeyName+','+CONVERT(varchar(999),@arrayLength-@next+1)+' AS wordPower FROM '+@talbeName+' WHERE CONTAINS(' + @contentFieldName + ',''"*'+REPLACE(REPLACE(dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next),'[',''),']','')+'*"'') UNION ALL ' --构造必要词 set @newTable=@newTable+'CONTAINS(' + @contentFieldName + ',''"*'+REPLACE(REPLACE(dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next),'[',''),']','')+'*"'') AND ' end else begin set @sqlCenter = @sqlCenter+'SELECT '+@primaryKeyName+','+CONVERT(varchar(999),@arrayLength-@next+1)+' AS wordPower FROM '+@talbeName+' WHERE CONTAINS(' + @contentFieldName + ',''"*'+dbo.Get_StrArrayStrOfIndex(@words,@splitString,@next)+'*"'') UNION ALL ' end set @next=@next+1 end --判断是否有必要词 if CHARINDEX('[',@words)>0 begin ---处理必要词部分,去除最后无用语句 set @newTable=left(@newTable,(len(@newTable)-4)) set @newTable='AS t_Temp WHERE '+ @primaryKeyName +' IN (SELECT '+@primaryKeyName+' FROM ' + @talbeName+' WHERE ' + @newTable + ')' end else begin set @newTable='AS t_Temp' end --处理sql语句中间部分,去除最后无用语句 set @sqlCenter=left(@sqlCenter,(len(@sqlCenter)-10)) --构造sql语句开头部分 set @sqlFirst='SELECT TOP '+@selectNumber+' '+@primaryKeyName+',COUNT(*)+SUM(wordPower) AS finalPower FROM (' --构造sql语句结尾部分 set @sqlLast=') ' + @newTable + ' GROUP BY '+@primaryKeyName+' ORDER BY finalPower DESC' --拼接出完整sql语句,并执行 Execute(@sqlFirst+@sqlCenter+@sqlLast) END
附-SQL数据库表全文索引创建指南:
--开启全文索引
sp_fulltext_database enable
--创建索引目录(创建出来是一个目录,用来放索引文件)
CREATE FULLTEXT CATALOG 索引目录名称 --例如myFullText
--创建全文索引
CREATE FULLTEXT INDEX ON 表名(字段名) --为哪个表的哪个字段创建全文索引,例如t_test(content)
KEY INDEX 主键索引名称 ON 索引目录名称 --注意是主键索引名称,而不是主键字段名称!例如,PK__t_test__3213E83F0EA330E9;指定全文索引目录,即放在哪个目录下,例如myFullText
注意:如果在创建数据库表全文索引之前,数据库表中已经有大量记录,那么创建全文索引是需要时间的,因此创建完全文索引后马上使用可能查不到数据。
相关推荐
Python使用sql语句对mysql数据库多条件模糊查询
解决方案:使用PDI构建开源ETL解决方案源码示例,书中PDI示例和SQL
主要内容包括SQL的基础理论、查询优化、查询算法及复杂度,以及在使用子查询、表表达式、排名函数、数据聚合和透视转换、TOP和APPLY、数据修改、分区表、特殊数据结构等实际应用时会遇到的各种高级查询问题和解决...
sqlserver 2008 模糊查询和联表查询
JAVA,多条件,模糊查询,多个条件同时查询显示结果
SQL使用Like模糊查询 vC实现
本文主要通过一下几个方面介绍:使用SQLDMV查找慢速查询、通过APM解决方案查询报告、SQLServer扩展事件、SQLAzure查询性能洞察等相关内容。本文来自博客园,由火龙果软件Anna编辑、推荐。SQLServer的一个重要功能是...
Sql1使用模糊查询学生相关信息.sqlSql1使用模糊查询学生相关信息.sqlSql1使用模糊查询学生相关信息.sqlSql1使用模糊查询学生相关信息.sql
在学习SQL中,模糊查询是很重要的,我们应当学好模糊查询,这在北大青鸟的考核中是很重要de!
SQL多条件查询.SQL多条件查询.SQL多条件查询.
Microsoft SQL Server 2008技术内幕:T-SQL查询
部分内容“sql server数据库模糊查询语句, ...[ ] 通配符的示例。...使用 ESCAPE 关键字定义转义符 ”
本书适合专业数据库开发者、BI开发者、DBA和以SQL Server作为后台数据库的一般应用程序开发者,读者可以通过书中的最佳实践、高级技巧和代码示例来掌握这门复杂的编程语言,以切合实际的方案来解决复杂的实际问题。...
本文面对的是“多条件模糊匹配搜索”,理解了多条件的,单一条件搜索也不过小菜一碟了。一般来讲,有两 种方法进行多条件搜索:枚举法和递进法。搜索条件不太多时(n),可使用枚举法,其语句频度为2的n次 方,成指数...
android数据库SQL模糊查询
SQL同一个表不同条件两个SUM两个count查询结果一次查询并显示
VBA+SQL模糊查询匹配多个表格信息,并提取出来
sql正宗模糊查询(仿百度)关键字密度排序查询,不一定要词组匹配,内有详细使用实例
查询条件是text的解决办法-sql sql text 数据类型为text解决办法 高老师
关于SQL Server SQL语句查询分页数据的解决方案