我正在做一个web项目,使用工具java,基本框架ssh,数据库sqlserver,遇到一个海量数据检索的问题:需要从数据库中2000万以上的商品类数据中,直接检索到要查询的商品列表信息,如我查询关键词“钢圈”,要所有包括“钢圈”的商品都分页显示出来。
我曾采用以下方法
1、sqlserver自带全文索引,存在速度太慢、检索不准确的问题
2、采用把这些企业数据放到java缓冲中,走不下去了,问题是不现实,因为我用tomcat作为服务,内存有限制,这些数据根本放不下,还有我采用只知道采用iterator方法来遍历这些数据,所以就不用了
3、听说lucene在做这方面工作有优势,奈何我还不知道还怎么使用,还有听说也存在检索不准确的问题,所以就暂时放弃了
现在只好把这些数据按大类别分了几十个表,查询的时候也必须选择这些大类别,在录入查询的关键词进行搜索才暂时可以使用了。
请教各位老师有什么办法可以象“百度,google”一样的搜索关键词呢?
不胜感谢!
分享到:
相关推荐
本书是斯坦福大学信息检索和...本书作为斯坦福大学信息检索课程的教材之一,具有一定的阅读难度,主要面向信息检索专业高年级本科 生和研究生、搜索引擎业界的专业技术人员和从事海量数据处理相关专业的技术人员。...
百万数据查询优化海量数据查询优化海量数据查询优化海量数据查询优化
MySQL海量数据查询优化策略,方法。 1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。 2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引...
海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化 SQL海量数据 优化...
海量数据处理-hive数据仓库 很好的讲解的大数据海量数据处理的数据仓库模型建设
《深入搜索引擎:海量信息的压缩、索引和查询》作为斯坦福大学信息检索课程的教材之一,具有一定的阅读难度,主要面向信息检索专业高年级本科生和研究生、搜索引擎业界的专业技术人员和从事海量数据处理相关专业的...
基于分布式计算系统Hadoop给出了新的海量多维数据的存储方法和查询方法。设计了HDFS上的列存储文件格式HCFile,基于HCFile给出了海量多维数据存储方案,该方案能够提高聚集计算效率,并有很好的可扩展性。同时,利用...
海量数据查询优化 包括聚集 非聚集索引的区别等内容
本文当是一个基于HBase的海量数据的实实时查询系统的原理分析。详细的介绍了大数据查询的原理。
给定一行文本,能够从海量的正则表达式中快速查询出命中了哪些正则,还可以返回该正则附加的一些数据。下方有简单的性能压测,5W个正则,匹配上只需要1ms.
大数据-算法
基于数据网格的分布式处理后海量数据的存储及管理,刘庆慧,,研究基于数据网格的分布式处理后海量数据的存储及查询问题。首先,根据软件不同组件的功能以及对于数据的要求,将海量数据进行分
海量数据分页,海量数据查询,海量数据排序
为提高多格式海量数据统一存取效率, 提出了一种基于Hadoop的分布式数据读取模式...实验表明, 该系列方法优化了统一存取中随机存取效率, 减少了相应的查询响应时间和数据传输开销, 提高了多格式海量数据统一存取的性能。
海量数据优化查询资料海量数据优化查询资料海量数据优化查询资料
sql server 海量数据处理操作,查询,插入,删除
oracle海量查询的数据优化! 建立“适当”的索引是实现查询优化的首要前提。
Java海量数据分页Bean, 适用于Oracle(适当修改,适用于任何数据库).功能描述:传入到达页码(具有容错性)、每页记录数、Select查询语句,返回该页所有的记录(整页是List集合,每条记录是一个 HashMap)、总行数、总...