`
ansjsun
  • 浏览: 199622 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

<<这就是搜索引擎>>学习笔记-算法之索引压缩

阅读更多
前一段时间.在微博上中奖了.
一个叫张俊林的帅锅.送了俺一本书.由于工作(其实是懒惰),一直木有好好看..书到手一个月了才看了80多页.
现在终于要过年了.开始看了..顺路给自己做个笔记.在这里我郑重推荐此书

<<这就是搜索引擎：核心技术详解>>

定　　价：￥45.00

作　　者：张俊林　著

出 版 社：电子工业出版社

出版时间：2012-1-1

http://product.dangdang.com/product.aspx?product_id=22574992


好了广告 做完了..我先介绍一些索引压缩算法..

一.为什么压缩索引
海量的网页保存.需要消耗大量的磁盘空间.同事在索引读取的时候增加的磁盘的io.影响了性能所以压缩.


二.压缩的标准指标
1.压缩率  2.压缩速度 3.解压速度


三现在下面介绍第一种压缩算法.

EliasGamma算法

EG压缩算法利用分解函数将待压缩的数字分解为两个因子.之后分别用医院编码和二进制编码来表达这两个因子.

Elias Gamma 分解式如下  X = 2e + d (是2的e次方 .但是打不出来)

这里x为待解压的数字.e和d分别为其因子.对于因子 e+1采用一元编码表示.对于d用宽度为e的二进制编码来表示

分享到：
| 文本相似度计算-Levenshtein
评论
11 楼 ansjsun 2012-04-06  
lsycxyj 写道
ansjsun 写道
EliasGamma
ansjsun 写道
s delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！
lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！

lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！


我理解的是比如e 那么就是2的e次方  如果是9  e=3 那么3个bit可以表示..内存中是001




写错了 9应该是0001001


两倍的e为字节的宽度.d为后续的字

解码就是2前面3个0代表3次方 , 后面为001 则为1  即是9


9的Gamma是1110：001，Delta是110：00：001，如果把分隔符“：”也算一位的话，明显占用空间比9要大，为什么还能称为“压缩”？还是大位宽的情况下才算是“压缩”？



9是一个int..int是32位...小于32就算压缩吧..
10 楼 lsycxyj 2012-04-05  
ansjsun 写道
EliasGamma
ansjsun 写道
s delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！
lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！

lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！


我理解的是比如e 那么就是2的e次方  如果是9  e=3 那么3个bit可以表示..内存中是001




写错了 9应该是0001001


两倍的e为字节的宽度.d为后续的字

解码就是2前面3个0代表3次方 , 后面为001 则为1  即是9


9的Gamma是1110：001，Delta是110：00：001，如果把分隔符“：”也算一位的话，明显占用空间比9要大，为什么还能称为“压缩”？还是大位宽的情况下才算是“压缩”？
9 楼 ansjsun 2012-04-05  
EliasGamma
ansjsun 写道
s delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！
lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！

lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！


我理解的是比如e 那么就是2的e次方  如果是9  e=3 那么3个bit可以表示..内存中是001




写错了 9应该是0001001


两倍的e为字节的宽度.d为后续的字

解码就是2前面3个0代表3次方 , 后面为001 则为1  即是9
8 楼 ansjsun 2012-04-05  
s delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！
lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！

lsycxyj 写道
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！


我理解的是比如e 那么就是2的e次方  如果是9  e=3 那么3个bit可以表示..内存中是001
7 楼 lsycxyj 2012-04-05  
博主你好！我看了一下，利用elias delta的算法运算后，明明是一个数字9却变成占用了8位（连同分割位的话甚至更多）的数，为什么还称为“压缩”呢？希望能解答一下。谢谢！
6 楼 ansjsun 2012-02-08  
解比较浅显..就
cjf068 写道
我觉得垂直搜索关键就是专业，提取的信息专注于某一类业务，只是针对某个特定领域的专门搜索

受教了..专门的字典..术语库...专门的检索...我也感兴趣..正在试着写个索引程序等我写完了试试哈
5 楼 cjf068 2012-02-08  
我觉得垂直搜索关键就是专业，提取的信息专注于某一类业务，只是针对某个特定领域的专门搜索
4 楼 ansjsun 2012-02-08  
cjf068 写道

强烈吐血推荐这本书..真的真的狠好..入门..晋级都不是问题..如果你已经是高手了..那呵呵...就算了
ansjsun 写道
cjf068 写道
哈哈，运气这么嗨呢，我还打算买一本搜索方面的书

强烈吐血推荐这本书..真的真的狠好..入门..晋级都不是问题..如果你已经是高手了..那呵呵...就算了

哈哈 ，看来我得去入手一本，近期准备入门一下垂直搜索

这本书也有将爬虫..但是比较深入...用到pagereng 等...


对了你感觉垂直搜索..和普通搜索有啥区别啊..我的理解比较浅显..就是别采集到站外就可以了...说白了就是采集指定的网址..还有一点就是..支持定制抽取吧
3 楼 cjf068 2012-02-08  

强烈吐血推荐这本书..真的真的狠好..入门..晋级都不是问题..如果你已经是高手了..那呵呵...就算了
ansjsun 写道
cjf068 写道
哈哈，运气这么嗨呢，我还打算买一本搜索方面的书

强烈吐血推荐这本书..真的真的狠好..入门..晋级都不是问题..如果你已经是高手了..那呵呵...就算了

哈哈 ，看来我得去入手一本，近期准备入门一下垂直搜索
2 楼 ansjsun 2012-02-08  
cjf068 写道
哈哈，运气这么嗨呢，我还打算买一本搜索方面的书

强烈吐血推荐这本书..真的真的狠好..入门..晋级都不是问题..如果你已经是高手了..那呵呵...就算了
1 楼 cjf068 2012-02-08  
哈哈，运气这么嗨呢，我还打算买一本搜索方面的书
发表评论

您还没有登录,请您登录后再发表评论

相关推荐

    MYSQL学习笔记-索引

    MYSQL学习笔记-索引MYSQL学习笔记-索引MYSQL学习笔记-索引

    统计学习方法笔记-基于Python算法实现源码.zip

    统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于Python算法实现源码.zip 统计学习方法笔记-基于...

    2024届求职-C++后端-学习笔记-操作系统、计算机网络、C++语言+算法

    2024届求职-C++后端-学习笔记-操作系统、计算机网络、C++语言+算法 2024届求职-C++后端-学习笔记-操作系统、计算机网络、C++语言+算法 2024届求职-C++后端-学习笔记-操作系统、计算机网络、C++语言+算法 2024届求职-...

    html学习笔记.zip

    * `&lt;!DOCTYPE html&gt;`---------*注明文件使用格式* `&lt;html lang="en"&gt;`--------*注明网页使用语言 en-英语 zh-CN-中文*&lt;br /&gt; ... `&lt;meta charset=UTF-8&gt;`-------*设置字符集，一般都为UTF-8*&lt;br /&gt;

    分布式搜索引擎-学习笔记-3

    分布式搜索引擎-学习笔记-3

    Java 学习笔记－手机书 Rev.3 （080603）

    前言:&lt;br&gt;为了学习java方便，特整理成txt，这样上下班的一个多小时路程就可以充分利用了。&lt;br&gt;此份所有内容皆出自我的偶像：林信良（良葛格）的Java 学习笔记，网址：&lt;br&gt;...

    某国一python算法做题笔记-算法模板

    《某国一Python算法做题笔记-算法模板》是一本专为Python编程爱好者与算法学习者精心打造的实用指南。本书通过一系列精心设计的算法模板，帮助读者快速掌握Python算法的核心技巧，提升编程能力。书中详细介绍了各种...

    <>读书笔记

    网上下载的&lt;&lt;软件测试的艺术&gt;&gt;读书笔记,精简,概括

    Java 学习笔记－手机书 Rev.2 （080411）

    &lt;br&gt;此份所有内容皆出自我的偶像：林信良（良葛格）的Java 学习笔记，网址：&lt;br&gt;http://caterpillar.onlyfun.net/Gossip/JavaGossip-V1/JavaGossip.htm&lt;br&gt;本人只是将其整理成适合手机阅读的格式。&lt;br&gt;&lt;br&gt;此为第二...

    Java 学习笔记－手机书 Rev.1 （080408）

    此份所有内容皆出自我的偶像：林信良（良葛格）的Java 学习笔记，网址：&lt;br&gt;http://caterpillar.onlyfun.net/Gossip/JavaGossip-V1/JavaGossip.htm&lt;br&gt;本人只是将其整理成适合手机阅读的格式。&lt;br&gt;此为第一版Java ...

    MYSQL学习笔记-索引[文].pdf

    MYSQL学习笔记-索引[文].pdf

    cpp-算法学习笔记

    算法学习笔记

    test-paint-meter.rar 表盘样例，建议配合文章观看效果更佳 >>>QT 5 相关实验-仪表盘-学习笔记-表

    test_paint_meter.rar 表盘样例，建议配合文章观看效果更佳 &gt;&gt;&gt;【QT 5 相关实验-仪表盘-学习笔记-表

    maven的优缺点 项目

    -- &lt;version&gt;3.6.1&lt;/version&gt; --&gt; &lt;configuration&gt; &lt;source&gt;1.7&lt;/source&gt; &lt;target&gt;1.7&lt;/target&gt; &lt;encoding&gt;UTF-8&lt;/encoding&gt; &lt;/configuration&gt; &lt;/plugin&gt; &lt;!-- 将源码打包成JAR包 -...

    Python学习笔记--皮大庆

    Python学习笔记--皮大庆

    天草<>全部1-58课的视频

    天草壳的世界全部1-58课的视频，包含课件和部分笔记。早期破解逆向脱壳大神的培训课程资料，学习后对付一般的脱壳，绰绰有余。解压密码请查看压缩包中的文件名。

    jive.chm

    &lt;br&gt;全文搜索&lt;br&gt; 1 使您的Jive搜索支持中文 &lt;br&gt; 2 关于Jive2中的中文搜索 &lt;br&gt; 3 基于JAVA的全文索引引擎Lucene简介 &lt;br&gt;&lt;br&gt; &lt;br&gt; &lt;br&gt;安全认证&lt;br&gt; 1 Jive2.1.1 License保护原理分析 &lt;br&gt; 2 用Java的加密机制来...

    javascrip上百技术总集

    -(5)&lt;br&gt;JavaScript面向对象的支持--(6)&lt;br&gt;JavaScript精简学习1：基础知识&lt;br&gt;JavaScript精简学习2：浏览器输出&lt;br&gt;JavaScript精简学习3：图像&lt;br&gt;JavaScript精简学习4：表单&lt;br&gt;事半功倍之Javascript--(1)&lt;br&gt;...

    这就是搜索引擎核心技术详解@学习笔记

    搜索引擎,核心技术,详解,学习笔记,关于本篇学习笔记，只是把书中的一些概念进行了归纳，同时把个人的一些认知和看法写了下来，方便日后个人翻阅。本篇文章中作者提到了一个概念：强调原理不纠结细节，本人非常赞同，...

Magicbox
Global site tag (gtag.js) - Google Analytics