阅读更多

9顶
0踩

互联网

转载新闻 beta技术沙龙:大型网站的Lucene应用

2009-08-12 14:49 by 副主编 ouspec 评论(2) 有6633人浏览
到目前为止,全文检索已经完全不算高技术门槛了,记得以前看过一本书里面写:“今天,任何程序员,都可以很容易地构造一个全文检索应用”。是的,全文检索的基本原理大家都知道差不多了,剩下的只是实践。我见过纯粹自己开发的,具有AS(Advanced Search)、BS(Basic Search)、DI(Digest)等结构,“像模像样”的全文检索架构,不过应用更多的,却是在开源项目上完善、定制而来的,Apache的Lucene就是众多开源全文检索项目中,名气最大、资格最老、应用也最广泛的一个。本期beta技术沙龙,讲的就是大型网站中lucene的应用,主讲人是手机之家团队的唐福林(“手机之家”总是有些东东来共享,比如上次的DAL,这真是不错)。


众所周知,用Lucene构造一个“索引-查询”的应用是非常简单的,搭好环境,参照(修改)示范代码,很容易就可以成功。但是,要构造一个真正大规模、稳定、可靠的应用,就不说这么简单。程序的编写、模块的分布、架构的设计,都有许多费心思的讲究。按照PPT提供的数据,手机之家目前的Lucene应用,采用的是Lucene 2.4.1 + JDK 1.6(64 bit)的组合,运行在8 CPU,32G内存的机器上,数据量超过3300万条,原始数据文件超过14G,每天需要支持超过35万次的查询,高峰时期QPS超过20。单看这些数据可能并没有大的亮点,但它的重建和更新都是自动化完成,而且两项任务可以同时运行,另一方面,在不影响服务可靠性的前提下,尽可能快地更新数据(如果两者发生冲突,则优先保证可用性,延迟更新),其中的工作量还是非常大的。



演讲的主要内容都PPT里,非常丰富,我就不再赘述了。要补充的是,这份PPT做得非常清楚,需求-目标-进度-设计-上线-测试-上线,整个流程非常清楚,给出的数据同样非常精当,我想,这也反映了手机之家团队的开发规范。



全文阅读:http://www.luanxiang.org/blog/archives/605.html
9
0
评论 共 2 条 请登录后发表评论
2 楼 aoliwen521 2010-08-16 17:41
好贴!!绝对的!!
1 楼 cqllang 2009-08-12 16:36
沙发。。


学习学习。。

最近也在做检索这块。
感觉搭一个Demo比较简单,但真正要做一个企业级应用,要考虑的东西还很多。。

发表评论

您还没有登录,请您登录后再发表评论

相关推荐

  • lilo--Linux加载程序

    LILO是一个在系统启动时运行的程序,它允许选择用于引导计算机的操作系统。

  • linux lilo命令,lilo命令_Linux lilo命令使用详解:安装核心载入开机管理程序

    lilo命令用于安装核心载入,开机管理程序。lilo是个Linux系统核心载入程序,同时具备管理开机的功能。单独执行lilo指令,它会读取/etc/lilo.conf配置文件,然后根据其内容安装lilo。Linux lilo已经成为所有 Linux 发行版的标准组成部分。作为一个 较老的/最老的 Linux 引导加载程序,它那不断壮大的 Linux 社区支持使它能够随时间的推移而发展,并始终能够充...

  • linux lilo命令,lilo命令_Linux lilo 命令用法详解:安装核心载入开机管理程序

    lilo命令用于安装核心载入,开机管理程序。lilo是个Linux系统核心载入程序,同时具备管理开机的功能。单独执行lilo指令,它会读取/etc/lilo.conf配置文件,然后根据其内容安装lilo。Linux lilo已经成为所有 Linux 发行版的标准组成部分。作为一个 较老的/最老的 Linux 引导加载程序,它那不断壮大的 Linux 社区支持使它能够随时间的推移而发展,并始终能够充...

  • LILO详解

    LILO详解 此文系转载 作者:佚名 原始网址:不详 LILO(Linux Loader)是Linux自带的一个优秀的引导管理器,使用它可以很方便地引导一台机器上的多个操作系统。与其他常用的引导加载程序相比,LILO引导 方式显得更具有艺术性,对其深入的理解,将有助于我们方便地处理多操作系统、网络引导、大硬盘及大内存等诸多棘手的问题。   通常我们谈到LILO,会涉及到两个方

  • LILO使用指南 MBR 根分区 lilo.conf 出错分析 忘记密码

    LILO使用指南LILO使用指南 2001-05-01 10:30 发布者:netbull 阅读次数:252 hubertzou hubertzou@linuxaid.com.cn 计算机的最初启动是由BIOS控制的,在对一些硬件(如:内存、键盘等)初始化之后,它会试图加载硬盘的主引导记录(MBR)或软盘的引导扇区。MBR可通过两种方式运行,其一是定位到活动分区并加载相应的

  • Liunx LILO安装使用经验集

    Linux是芬兰青年林努斯·托瓦茨开发并以其名字命名的著名的操作系统,由于它的免费和源代码开放等优点,越来越多的计算机爱好者在安装了Windows系统的PC机上同时安装Linux,以方便熟悉UNIX系统。LILO(Linux Loader)是Linux自带的一个优秀的引导管理器,使用它可以很方便地引导一台机器上的多个操作系统。虽然从Redhat7.3后有了GRUB引导系统,但很多用户还是喜

  • LILO详细介绍

    Download包含了几个种类,与通常所说的bootloader与uboot 完全不一样。 LILO(LInux Loader),LILO代表Linux加载程序。LILO是一个在系统启动时运行的程序,它允许选择用于引导计算机的操作系统。 简介 可以用LILO引导几个不同的操作系统,如Linux和MS-DOS。用LILO可以定义一个默认的要引导的

  • Linux的LILO引导程序,LILO引导装载器详解

    LILO(即 LInuxLOader)是最常用的两种 Linux 引导装载程序之一。LILO可以被安装进可引导硬盘驱动器的 MBR或者分区的分区引导记录。它还可以安装在可移除设备上,比如软盘、CD 或USB 钥匙。如果您还不熟悉 LILO,那么在软盘或 USB钥匙上进行实践是好办法,所以我们在例子中就是这么做的。在安装 Linux期间,常常指定 LILO 或 GRUB 之一作为引导管理程序。如果选...

  • GRUB和LILO的区别

    从普通的桌面用户到 Linux?系统管理员,大部分 Linux 用户都使用过一种名为引导加载程序的工具。此类工具的不同变种会提供不同层次的支持和功能。在很多情况下,Linux 发行版默认安装的引导加载程序并不总是适合需要;每个引导加载程序的默认设置也是如此。在本文中,Laurence Bonney 讨论了两个流行的引导加载程序 —— LILO 和 GRUB —— 的优点和缺点,并建议了很多配置,以

  • linux lilo密码,LILO Security

    2、LILO Security在"/etc/lilo.conf"文件中加入下面三个参数:time-out,restricted,password。这三个参数可以使你的系统在启动lilo时就要求密码验证。第一步:编辑lilo.conf文件(vi /etc/lilo.comf),假如或改变这三个参数:boot=/dev/hdamap=/boot/mapinstall=/boot/boot.btime-...

  • linux lilo_LInux装箱商(LILO)| 免费和开源软件

    linux lilo 力乐 (LILO) LILO is the LInux LOader, the most well-known boot loader for Linux. It is utilized to stack Linux into memory and start the OS. On a machine with the various OS, LILO can be set ...

  • LILO(LInux LOader)引导加载程序

    一.什么是引导加载程序 最简单地讲,引导加载程序(Boot Loader)会引导操作系统。当机器引导它的操作系统时,BIOS会读取引导介质上最前面的512字节(即人们所知的主引导记录(Master Boot Record,MBR))。在单一的MBR中只能存储一个操作系统的引导记录,所以当需要多个操作系统时就会出现问题,所以需要更灵活的引导加载程序。 主引导记录...

  • Lilo启动参数

    Lilo启动参数null null〖返回〗〖转发〗Q:2。4内核编译好得到bzImage lilo怎么改?image=? initrd=? root=? A:cp /usr/scr/linux/arch/i386/boot/bzImage /boot/bzImage vi /etc/lilo.conf 该为 image=bzImage 即可 注意留下启动软盘 以备不测A:更

  • LILO配置攻略

    LILO配置攻略转 周迪〖返回〗〖转发〗  LILO(Linux Loader)是Linux自带的一个优秀的引导管理器,使用它可以很方便地引导一台机器上的多个操作系统。与其他常用的引导加载程序相比,LILO引导方式显得更具有艺术性,对其深入的理解,将有助于我们方便地处理多操作系统、网络引导、大硬盘及大内存等诸多棘手的问题。   通常我们谈到LILO,会涉及到两个方面——LILO

  • LILO使用指南(中)

    LILO使用指南(中)linuxaid.com.cn hubertzou〖返回〗〖转发〗LILO使用指南(中)hubertzou@linuxaid.com.cn三,关于lilo的问题、先装了Windows,再装Linux时,不能安装LILO。这是大多数Linux新手的问题;有些BIOS不能识别大于8.4G的硬盘,旧的LILO不能识别位置大于1024柱面的系统内核(kenerl)

  • 内核_Lilo详解大杂烩

    Lilo 功能非常强大,它不仅仅可以作为Linux操作系统的引导器,还可引导多个操作系统(eg: Win2000, Win9x, dos, Minix…),以及启动多个Linux内核映像。    在后面的内容中,我们将通过运行在自己计算机上的真实例子,讨论lilo最主要的用法。在开始学习lilo之前,我们还需要一些预备知识--什么是硬盘分区,Linux对硬盘分区的命名方法。 什么是硬盘分区?   

  • LILO使用指南(下)

    LILO使用指南(下)linuxaid.com.cn hubertzou〖返回〗〖转发〗LILO使用指南(下)hubertzou@linuxaid.com.cn四,lilo的启动错误显示分析当LILO装入它自己的时候,显示单词"LILO": 每完成一个特定的过程显示一个字母。如果LILO在某个地方失败了,屏幕上就停留几个字母,以指示错误发生的地方。在技术文档中有更详细的描述。 

Global site tag (gtag.js) - Google Analytics