对于类似lucene这样的搜索程序来说,首先了解其整个组件结构是非常有必要的,现在整体主观上对它有一个简单了解,然后逐一击破学习。初学者很多人都以为lucene是一个完成的搜索程序,其实这种理解是错误的。它其实仅仅是搜索程序的核心索引和搜索模块的一部分。刚才我们说过Lucene是有索引和搜索的两个过程,包含索引创建、索引、搜索三个要点。让我们更细一些看Lucene的各组件的构成和工作流程:
下面我们就简单来看一下lucene中两个最重要的组成部分
一:索引组件
使用索引可快速访问数据中的特定信息。索引是对数据记录中一列或多列的值进行排序的一种结构,索引是一个单独的、物理的数据结构,它是某个记录中一列或若干列值的集合和相应的指向表中物理标识这些值的数据页的逻辑指针清单。会帮助您更快地获得该信息。大家想象一下,如果没有索引的话,我们查找某个文件的记录,最简单想到的方式就是一条一条记录的顺序查找,如果数据量比较小的话还没什么,如果数据量达到上百万,上千万的话,大家可以想象一下这个搜索时间。在lucene中使用索引就要必须建立对文本文件的索引,将文本内容转换成能快速进行搜索的文件格式。从而消除由于慢速顺序扫描带来的效率低的影响。大家可以把索引想象成一种数据结构,它可以提供一种对文本文件内容随机访问的机制。下面我们就来看一下整个索引的步骤
1.获取内容
Lucene本身没有提供获取内容的工具或者组件,内容是要开发者自己提供相应的程序。这一步包括使用网络爬虫或蜘蛛程序来搜索和界定需要索引的内容。当然,数据来源可能包括数据库、分布式文件系统、本地xml等等。lucene作为一款核心搜索库,不提供任何功能来实现内容获取。目前有大量的开源爬虫软件可以实现这个功能,例如:Solr,lucene的子项;Nutch,apache项目,包含大规模的爬虫工具,抓取和分辨web站点数据;Grub,比较流行的开源web爬虫工具;Heritrix,一款开源的Internet文档搜索程序;Aperture,支持从web站点、文件系统和邮箱中抓取,并解析和索引其中的文本数据。
获取到内容之后,下一步我们来看一下如何根据获取到的内容来建立相应的小数据块,也成为文档。
2.建立文档
获取原始内容后,需要对这些内容进行索引,必须将这些内容转换成部件(文档)。文档主要包括几个带值的域,比如标题,正文,摘要,作者和链接。如果文档和域比较重要的话,还可以添加权值。设计完方案后,需要将原始内容中的文本提取出来写入各个文档,这一步可以使用文档过滤器,开源项目如Tika,实现很好的文档过滤。如果要获取的原始内容存储于数据库中,有一些项目通过无缝链接内容获取步骤和文档建立步骤就能轻易地对数据库表进行航所以操作和搜索操作,例如DBSight,Hibernate Search,LuSQL,Compass和Oracle/Lucene集成项目。
3文档分析
搜索引擎不能直接对文本进行索引:必须将文本分割成一系列被称为语汇单元的独立的原子元素。每一个语汇单元能大致与语言中的“单词”对应起来,这个步骤决定文档中的文本域如何分割成语汇单元系列。lucene提供了大量内嵌的分析器可以轻松控制这步操作。
4文档索引
将文档加入到索引列表中。Lucene在这一步骤中提供了强档的API,只需简单调用提供的几个方法就可以实现出文档索引的建立。
为了提供好的用户体验,索引是必须要处理好的一环:在设计和定制索引程序时必须围绕如何提高用户的搜索体验来进行。
二:搜索组件
搜索组件即为输入搜索短语,然后进行分词,然从索引中查找单词,从而找到包含该单词的文档。搜索质量由查准率和查全率来衡量。搜索的细节还是比较复杂的。这也是我们以后讲解lucene的主要内容之一。尤其是在搜索速度和搜索大容量数据的能力在搜索技术中是比较重要的。搜索组件主要包括以下内容:
1.用户搜索界面:主要是和用户进行交互的页面,也就是呈现在浏览器中能看到的东西,这里主要考虑的就是页面UI设计了。一个良好的UI设计是吸引用户的重要组成部分。
2.建立查询:建立查询主要是指用户输入所要查询的短语,以普通HTML表单或者ajax的方式提交到后台服务器端。然后把词语传递给后台搜索引擎。这就是一个简单建立查询的过程。
3.搜索查询:即为查询检索索引然后返回与查询词语匹配的文档。然后把返回来的结构按照查询请求来排序。搜索查询组件覆盖了搜索引擎中大部分的复杂内容。
常见的搜索理论模型主要有以下3种:
4.展现结果:所谓展现结果,和第一个搜索界面类似。都是一个与用户交互的前端展示页面,作为一个搜索引擎,用户体验永远是第一位。其中前端展示在用户体现上占据了重要地位
Ok,上面就主要讲解了搜索程序的两个比较重要的组件,这里只是简单介绍一下,在以后的博文中我们还会详细介绍。最后我们就简单看一下lucene在这两个组件方面所提供的几个API。
简单解释一下这个图:
1.被索引的文档用Document对象表示
2.IndexWriter通过函数addDocument将文档添加到索引中,实现创建索引的过程
3.Lucene的索引是反向索引
4.当用户查询请求时,Query代表用户查询语句
5.IndexSearcher通过函数search搜索Lucene Index
6.IndexSearcher计算Term Weight和Score并且将结果返回给用户
7.返回给用户的文档集合用TopDocsCollector表示
分享到:
相关推荐
**Lucene组件详解** Lucene是一个高性能、全文检索库,由Apache软件基金会开发并维护。它为Java开发者提供了强大的文本搜索功能,同时也被广泛应用于其他编程语言,如.NET平台的Lucene.Net。Lucene的核心特性包括...
### Lucene开发详解 #### 一、Lucene简介 Lucene是一个高性能、全功能的文本搜索引擎库,由Doug Cutting创建并捐赠给Apache Software Foundation。它主要用于构建全文搜索应用程序,能够帮助开发者快速地在其应用...
在"Lucene 实时搜索视频详解"的课程中,我们将深入探讨如何利用 Lucene 实现高效且实时的搜索功能。 一、Lucene 基础 1. **索引过程**:Lucene 的核心概念之一是建立索引,将原始文本数据转化为可快速查询的结构。...
"用 Lucene 加速 Web 搜索应用程序的开发" 这个标题指出,我们将探讨如何利用 Apache Lucene 这个全文搜索引擎库来提升 Web 应用程序的搜索性能。Lucene 是一个开源的Java库,专门用于文本搜索,它提供了高效的索引...
**Lucene.Net 2.0 for ASP.NET组件详解** Lucene.Net是一款开源全文搜索引擎库,是Apache软件基金会Lucene项目的.NET版本。这个压缩包“Lucene.Net.rar 2.0 ver”包含了适用于ASP.NET开发的组件,使得在.NET环境中...
本文将深入探讨Lucene3.0版本,结合“庖丁解牛”的精神,对其实现机制进行细致的剖析,并结合索引搜索程序的实例,帮助读者理解和应用这一强大的工具。 一、Lucene3.0概述 Lucene3.0是Apache软件基金会的一个项目...
**Lucene 搜索引擎实现详解** Lucene 是一个开源全文搜索引擎库,由 Apache 软件基金会维护。它提供了一套强大的数据结构和算法,用于高效地存储和检索大量文本数据。通过 Lucene,开发者可以轻松地在自己的应用...
SpringBoot与Lucene集成案例详解 本文将详细介绍如何将SpringBoot与Lucene集成,以实现站内搜索系统。 Lucene是一个高性能的全文检索引擎,它可以帮助我们快速地检索大量的文本数据。 一、案例介绍 在本案例中,...
**Lucene 应用程序扩展在 ASP.NET 中的实践与应用** Lucene 是一个高性能、全文本搜索库,由 Apache ...通过深入理解和熟练运用 Lucene.NET 的各种组件和机制,开发者可以创建出满足用户需求的定制化搜索解决方案。
Lucene的`Analyzer`类是处理文本的关键组件,它负责将输入的文本分解为可搜索的词元。默认的`StandardAnalyzer`适用于大多数英文文本,但对于其他语言或特定需求,可以自定义分析器。分析器包括分词器(Tokenizer)...
**Lucene站内搜索技术详解** Lucene是一个高性能、全文本搜索库,由Apache软件基金会开发,被广泛应用于各种搜索引擎和站内搜索解决方案中。它提供了丰富的文本分析、索引和搜索功能,使得开发者能够轻松地在自己的...
《基于Lucene的Java桌面搜索实现详解》 在信息技术日新月异的今天,高效、便捷的文件搜索已经成为用户日常操作的重要部分。本文将详细解析一个由Java编程语言实现,利用Lucene API技术构建的桌面搜索程序。该程序...
为了在Web环境中使用Lucene搜索器,我们需要将其部署到像Tomcat这样的Servlet容器中。首先,确保服务器环境中已经安装并配置好Tomcat。接着,将Lucene的JAR文件添加到Tomcat的类路径中,以便服务器能够识别和加载...
本文将深入探讨Lucene搜索引擎的配置过程,包括文件加载、索引创建和搜索操作,帮助你理解其核心技术。 ### 文件加载 在Lucene中,首先需要将待搜索的数据加载到内存或磁盘上的某个结构中。这通常涉及到读取各种...
"DocSearch"可能是一个示例程序或库,展示了如何在Java项目中实际集成和使用Lucene进行文档搜索。 总之,Lucene作为Java全文搜索的基石,提供了强大的功能和灵活性,可以帮助开发者构建高效、精准的搜索功能,无论...
Apache Lucene 是一个开源全文搜索引擎库,为开发者提供了在Java应用程序中实现高效、可扩展的搜索功能的工具。在本篇文章中,我们将深入探讨Lucene 3.6版本中的搜索功能,通过实例解析其核心概念和操作流程。 一、...
作为一款开源的全文检索工具包,Lucene为开发者提供了构建搜索引擎所需的各种基础组件。它的设计目标是使得在Java应用程序中实现全文检索变得简单易行。 首先,我们要了解全文检索的基本概念。全文检索是一种信息...